AI 및 RAG 검색을 위한 Ami Pro 아카이브 준비

보이지 않는 말뭉치 문제

내부 AI 어시스턴트를 구축하는 조직들은 보통 동일한 격차를 발견한다. 시스템은 최근 15년간 작성된 내용에 대한 질문에는 답변하지만, 그보다 이전의 내용에 대해서는 아무 것도 알지 못한다. 이는 오래된 자료가 어떤 수집 파이프라인으로도 읽을 수 없는 형식에 있기 때문이다. 1990년대 초에 Ami Pro를 사용하던 기관의 경우, 이는 정책, 제품, 또는 법적 입장의 창립 시기 전체가 누락될 수 있음을 의미한다.

결과는 불완전한 색인보다 더 미묘하다. 역사적 맥락이 조용히 부족한 검색 시스템은 '그건 없어요'라고 말하지 않는다. 그것은 자신이 가진 것에서 자신 있게 답하며, 그 답변은 그 이후 모든 것을 형성한 추론을 생략한다. 아무도 눈치채지 못하는데, 그 격차는 외부에서는 보이지 않기 때문이다.

따라서 기존 아카이브를 변환하는 것은 단순한 정리 작업이 아닙니다. 이는 왜 결정이 내려졌는지를 아는 조수와 현재 상태만 아는 조수의 차이입니다.

왜 PDF가 아니라 Markdown인가

본능적으로 모든 것을 PDF로 변환하게 되는데, 그 이유는 PDF가 아카이브 기본값이기 때문이며, 그 다음에는 파이프라인에서 PDF 추출을 실행합니다. 이는 레거시 콘텐츠를 대상으로 한 RAG 프로젝트에서 가장 흔하게 스스로 초래하는 문제입니다. 왜냐하면 구조를 레이아웃으로 변환한 후, 그 구조를 다시 추측하는 데 비용을 지불하기 때문입니다.

PDF 추출은 모든 레이아웃 인공물을 노이즈로 다시 도입합니다: 열 순서 혼동, 단락 중간에 나타나는 상단 및 하단 글머리, 단어를 나누는 하이픈 처리된 줄 바꿈, 행이나 열과 연관 없이 숫자 흐름으로 무너지는 표. 그런 다음 모델은 그 혼란 속에서 추론합니다.

Markdown은 반대로 작동합니다. Ami Pro 문서들은 .STY 시트에 명시적인 스타일 정보를 포함하고 있기 때문에, 제목은 실제 Markdown 제목으로, 목록은 목록으로, 표는 파이프 표로 출력될 수 있습니다. 당신의 청크 분리기는 진정한 구조를 얻고, 임베딩은 깨끗한 텍스트를 얻으며, 추출 휴리스틱에는 비용을 들이지 않습니다.

작동하는 파이프라인

레거시 문서를 색인할 때 특별하게 만드는 것은 무엇인가요

오래된 문서에는 더 이상 존재하지 않는 것들에 대한 참조가 빽빽하게 들어 있습니다: 폐지된 부서 이름, 단종된 제품 코드, 이전 직함, 구식 규제 번호. 모델은 그것들을 스스로 해결할 수 없으며, 현대적인 질문을 하는 사용자는 역사적인 용어를 사용하지 않을 것입니다.

저렴한 완화 방법은 시스템 프롬프트에 삽입된 작은 용어집으로, 오래된 이름을 현재 이름에 매핑하는 것입니다. 거의 비용이 들지 않으며 역사적 말뭉치에 대한 회상률을 극적으로 향상시킵니다.

다른 특징은 기존 문서가 종종 대체되지만 그 사실이 표시되지 않는다는 것입니다. 1994년 절차와 2003년 대체 절차는 검색 시스템에게 똑같이 권위 있는 것으로 보입니다. 날짜 메타데이터와 최신 자료를 우선하도록 하며, 역사적 답변의 날짜를 명시하도록 하는 명시적 지침은 가장 심각한 실패 모드인 폐지된 정책을 현재 정책으로 인용하는 것을 방지합니다.

AI 파이프라인의 테이블과 방정식

테이블은 형식 선택이 가장 눈에 띄게 효과를 발휘하는 곳입니다. Markdown 파이프 테이블은 값, 열 머리글, 행 레이블 간의 연관성을 유지하므로 모델이 특정 셀에 대한 질문에 답할 수 있습니다. PDF에서 추출한 동일한 테이블은 종종 헤더가 분리된 숫자 시퀀스가 되며, 이를 해석하도록 요청받은 모델은 추측하게 됩니다.

방정식도 비슷하게 작동합니다. 렌더된 이미지로 복구되면 텍스트 검색과 모델에 대해 보이지 않지만, LaTeX로 복구되면 검색 가능하고, 삽입 가능하며, 다시 렌더링할 수 있습니다. 기술 아카이브 — 엔지니어링 계산, 학술 논문, 보험계리 노트 — 의 경우, LaTeX 추출이 단순히 존재하는 것이 아니라 실제로 쿼리할 수 있게 만드는 요소입니다.

문서가 근본적으로 시각적인 경우 이를 수용하십시오. 사람이 읽을 수 있도록 PDF로 변환하고, 포함된 텍스트가 있다면 색인하며, 내용이 그래픽임을 메타데이터에 기록하여 검색 시 요약하려고 하지 않고 원본을 표시할 수 있도록 하십시오.

전체 파이프라인을 오프라인 상태로 유지하세요

대부분의 개인 RAG 프로젝트가 존재하는 이유는 바로 그 자료가 제3자에게 전달될 수 없기 때문입니다. 변환 단계가 조용히 그 규칙을 깨는 경우를 주목할 가치가 있습니다. 즉, 문서를 준비하기 위해 웹 기반 변환기를 사용하는 것은 전체 목적이 기밀성을 위한 시스템과 모순되는 것이며, 변환이 처리 과정이 아니라 단순한 배관으로 취급되기 때문에 이러한 모순이 지속되는 경향이 있습니다.

로컬 데스크탑 변환기는 .sam 파일에서 벡터 스토어까지의 관리 연속성을 유지합니다. 아무것도 전송되지 않으므로 평가하거나 문서화할 전송이 없으며, 해당 자료가 요구한다면 파이프라인을 격리된 워크스테이션에서 실행할 수 있습니다.

이를 로컬 임베딩 모델과 자체 호스팅 벡터 데이터베이스와 결합하면, 컴플라이언스 리뷰에서 정직하게 설명할 수 있는 시스템을 갖추게 됩니다: 말뭉치는 어떤 단계에서도 네트워크를 벗어나지 않았습니다.