한국어 개인정보 모델을 학습하고 문서 검색에 연결하기
· 약 11분
업무 문서에서 이름과 연락처를 지우고 나면, 검색에 필요한 정보도 함께 사라질 수 있습니다. 이름을 단서로 담당 부서를 찾거나 같은 조직의 업무를 모아 보는 경우가 그렇습니다.
문서 처리 프로젝트에서 저희가 풀어야 했던 문제도 여기에 있었습니다. 개인정보가 포함된 구간을 찾아 처리하면서, 문서를 다시 활용할 때 필요한 업무 문맥을 남겨야 했습니다. 한국어 개인정보 탐지 모델을 학습하고 서비스에 연결한 뒤에는 이름을 부서로 바꾸는 방식, 본문과 검색용 메타데이터를 분리하는 방식까지 검토했습니다.
이 글은 그 과정에서 선택한 구조와 실험하며 확인한 한계를 정리한 적용기입니다. 수치는 2026년 9월에 실행한 실험 기록을 기준으로 합니다. 서비스 연동 구현, 로컬 모델 평가, 가상 문서를 사용한 검색 실험은 각각의 근거 범위를 구분해 설명합니다.
공개 구현은 KoPII-Pipeline, 학습한 모델은 ko-pii-ner-roberta-base에서 확인할 수 있습니다.