Ami Pro .SAM 아카이브에서 일반 텍스트 추출

TL;DR

질문이 '이 아카이브 안에는 무엇이 있나요?'일 때는 '문서가 어떻게 보여야 하나?'가 아니라 TXT를 선택하세요. 모든 .sam 파일에서 일반 텍스트를 추출하면 몇 분 안에 검색 가능한 자료를 얻을 수 있습니다: 수십 년치 문서 전체에서 한 번의 쿼리를 실행하고, 중요한 파일을 찾아낸 다음에 그것들을 DOCX 또는 PDF로 제대로 변환하세요. 중요한 세부 사항은 인코딩입니다 — DOS 및 OS/2 시대의 Ami Pro 문서는 이전 코드 페이지를 사용하며, 이를 UTF-8로 올바르게 매핑하는 것이 악센트가 있는 이름을 읽을 수 있게 유지합니다. Ami Pro Converter에서 시작하세요.

트리아지 전략으로서의 텍스트 추출

레거시 아카이브 프로젝트에서 가장 어려운 부분은 문서를 변환하는 것이 아닙니다. 어떤 문서가 그 노력을 들일 가치가 있는지를 결정하는 것입니다. 사용 중지된 서버에서는 8,000개의 .sam 파일이 나올 수 있으며, 상당 부분은 중복 파일, 빈 템플릿, 버려진 초안, 그리고 보관 가치가 없는 일상적인 서신일 것입니다. 이 모든 파일을 신중하게 변환하는 것은 많은 검토 시간을 낭비하게 됩니다.

먼저 일반 텍스트를 추출하는 것은 문제를 뒤집는 것이다. 하나의 빠른 배치로 모든 문서에 검색 가능한 텍스트 사본이 생긴다. 이제 아카이브를 조회할 수 있다 — 계약 번호, 고객 이름, 규정, 프로젝트 코드 등을 조회하고, 파일을 하나씩 열지 않고도 몇 초 만에 답을 얻을 수 있다.

그것은 위압적인 더미를 순위가 매겨진 목록으로 바꿉니다. 쿼리와 일치하는 문서들은 완전한 충실도의 DOCX 또는 PDF 변환과 인간 검토를 받으며; 나머지는 텍스트와 원본 .sam 파일로 남아 있으며, 필요할 때 누구나 검색하고 사용할 수 있도록 색인화됩니다.

왜 그냥 메모장에서 파일을 읽을 수 없는가

Ami Pro 파일은 텍스트 기반이어서 사람들이 추출이 쉽다고 생각하게 만듭니다. 메모장에서 하나를 열면 실제로 단어들을 볼 수 있지만 — 단어들은 괄호로 묶인 마크업, 스타일 정의, 레이아웃 지시문, 문장 속에 삽입된 서식 코드와 함께 얽혀 있습니다.

그것을 복사하면 제어 시퀀스로 오염된 텍스트를 얻게 됩니다. 검색은 마크업 키워드에서 오탐을 발생시키고, 형식 코드가 문장을 끊어 구문이 깨지며, 표는 이해할 수 없는 값의 연속으로 변합니다. 텍스트 추출처럼 보이고 잡음처럼 동작합니다.

실제 추출은 문서 구조를 파싱하는 것을 필요로 합니다: 스타일과 레이아웃 섹션을 내용과 분리하고, 포맷 코드를 출력하는 대신 해결하며, 표 셀을 읽을 수 있는 행으로 재구성하고, 문서가 의도한 위치에 단락 경계를 삽입하는 것입니다. 동일한 출력 확장자, 완전히 다른 품질.

인코딩: 품질을 결정하는 세부 사항

Ami Pro는 유니코드가 지배력을 가지기 이전의 것입니다. DOS 및 OS/2 시절의 문서들은 레거시 코드 페이지에 텍스트를 저장합니다 — DOS 페이지 중 하나이거나 1252와 같은 Windows 페이지, 혹은 중앙 유럽, 키릴, 그리스 또는 터키 콘텐츠용 지역 변형일 수 있습니다. 동일한 바이트 값이라도 적용된 페이지에 따라 다른 문자를 의미합니다.

이것을 잘못하면 모지바케가 발생합니다: Müller 같은 이름이 M?ller 또는 MÃ¼ller로 변하고, 통화 기호는 무작위 문자로 바뀌며, 따옴표와 대시는 난독 문자로 변합니다. 법적 또는 인사 기록 아카이브에서 손상된 이름은 단순한 외관상의 문제가 아니라 — 텍스트 레이어를 만들어 놓았던 검색 기능을 망가뜨립니다.

해결 방법은 나중에 바이트를 재해석하는 대신 추출하는 동안 소스 인코딩을 감지하고 이를 UTF-8로 매핑하는 것입니다. 샘플을 테스트할 때는 의도적으로 악센트가 있는 이름, 통화 금액 및 타이포그래피 문장 부호가 포함된 문서를 선택하세요. 그것들이 문제없이 처리된다면 인코딩 처리가 올바른 것입니다.

검색 가능한 인덱스 만들기

1. 미러링된 폴더 트리로 추출

출력 구조를 원본과 동일하게 유지하여 모든 .txt 파일이 .sam 원본으로 모호하지 않게 다시 매핑되도록 하십시오. 검색 결과는 해당 문서를 찾을 수 있을 때에만 유용합니다.

2. 검색 도구를 그것에 가리키다

Windows Search, Everything, ripgrep, 또는 작은 Elasticsearch 인스턴스는 모두 설정 없이 일반 텍스트를 인덱싱할 수 있습니다. 몇 천 개의 텍스트 파일 전체에서 ripgrep만 사용해도 대부분의 분류 질문에 즉시 답할 수 있습니다.

3. 중복과 빈 항목을 조기에 찾으세요

텍스트 파일을 해싱하여 정확한 중복을 식별하고, 몇 백 바이트 이하인 것은 템플릿이나 빈 문서일 가능성이 높다고 표시합니다. 이렇게 하면 검토 대기열에서 아카이브의 많은 부분을 정기적으로 제거할 수 있습니다.

4. 중요한 것을 홍보하다

검색 결과 나타난 문서를 가져와 실제 사용을 위해 DOCX 또는 PDF으로 변환하세요. 텍스트는 지도였고, 완전한 정확도의 변환이 목적지입니다.

당신이 포기하는 것

일반 텍스트는 단어가 아닌 모든 것을 제거합니다. 스타일, 글꼴, 강조가 사라지므로, 관습에 의해서만 제목과 단락을 구분할 수 있습니다. 표는 단순한 격자에 대해서는 읽을만한 텍스트 행으로 변하지만, 병합된 셀이나 중첩 구조가 있는 경우에는 잘 읽히지 않습니다.

이미지, 도표, 그리고 방정식은 전혀 표현할 수 없습니다. 기술 아카이브에서는 이는 상당한 손실이며, 텍스트가 최종 출력물이 아니라 선별 계층이 되어야 하는 주요 이유입니다. 내용이 WMF 도식인 문서는 거의 비어 있는 것처럼 보이는 텍스트 파일을 생성하며, 거의 아무 정보도 제공하지 않습니다.

이 점을 이해관계자에게 명확히 알리세요. '우리는 텍스트를 추출했기 때문에 아카이브를 검색할 수 있습니다'가 정확하고 유용합니다; '우리는 아카이브를 변환했습니다'는 텍스트 추출이 제공하지 않는 정확성을 암시합니다.

텍스트 출력이 진정으로 올바른 최종 답일 때

때때로 텍스트는 디딤돌이 되지 않습니다. 목적지가 데이터 파이프라인이라면 — 참조 번호 추출을 위한 정규식, 언어 감지, 분류, 중복 제거, 엔티티 추출 — 일반 텍스트가 이상적인 입력이며, 어떤 형식화도 결국 제거될 뿐입니다.

또한 텍스트 계층을 표시용 복사본과 별도로 저장하는 전체 텍스트 검색 인프라에 적합하며, 아카이브를 통계적으로 특성화하고자 하는 대량 분석에도 적합합니다. 예를 들어 특정 계약을 언급하는 문서가 몇 개인지, 단어 사용이 십 년 단위로 어떻게 변하는지, 어떤 부서가 무엇을 작성했는지 등을 분석할 수 있습니다.

그리고 이것은 긴급한 질문에 답하는 가장 빠른 합법적인 방법입니다. 누군가 오늘 1997년 계약에 특정 조항이 포함되어 있는지 알아야 할 때, 아카이브 전체에서 텍스트를 추출하고 그 문구를 검색하는 것이 어떤 신중하고 형식을 충실히 따르는 이전 계획보다 더 낫습니다.

텍스트 추출부터 시작해야 하는 이유

빠른 일괄 처리 한 번으로 전체 아카이브를 검색 가능하게
오래된 코드 페이지를 UTF-8로 변환해 악센트가 있는 이름도 그대로 유지
제대로 된 구문 분석으로 마크업과 서식 코드가 결과물에 섞이지 않음
검토 전에 중복 문서, 빈 템플릿, 가치 낮은 문서를 찾아냄
스크립트, 분류, 전체 텍스트 색인에 이상적인 입력

먼저 검색하고, 그다음 변환

본능적으로 바로 변환을 시작하고 싶어 하는데, 이는 읽지 않은 수천 개의 문서에 대해 결정을 내린다는 것을 의미합니다. 먼저 텍스트를 추출하면 그 반대가 됩니다: 아카이브가 무엇을 포함하고 있는지 배우고, 그 다음에 중요한 곳에 노력을 투입하는 것입니다.

미러 트리로 추출하고, 인덱싱하며, 중복 및 빈 항목을 제거하고, 중요한 문서를 DOCX 또는 PDF로 승격시킵니다. .sam 원본은 계속 유지하세요 — 텍스트 계층은 검색 인덱스일 뿐, 기록을 대체하는 것이 아닙니다.