Extraindo Texto Simples de Ficheiros Ami Pro .SAM

Extração de texto como estratégia de triagem

A parte mais difícil de um projeto de ficheiro legado não é converter documentos. É decidir quais documentos valem o esforço. Um servidor desativado pode fornecer 8.000 ficheiros .sam, e uma fracção significativa será composta por duplicados, modelos vazios, rascunhos abandonados e correspondência de rotina sem valor de retenção. Converter todos eles cuidadosamente desperdiça muito tempo de revisão.

Extrair o texto simples primeiro inverte o problema. Um lote rápido dá a cada documento um irmão em texto pesquisável. Agora pode consultar o ficheiro — por um número de contrato, um nome de cliente, um regulamento, um código de projeto — e obter uma resposta em segundos em vez de abrir os ficheiros um a um.

Isso transforma uma pilha intimidante numa lista classificada. Os documentos que correspondem às suas consultas recebem uma conversão de fidelidade total DOCX ou PDF e uma revisão humana; o resto mantém-se como texto mais os seus ficheiros originais .sam, indexados e recuperáveis caso alguém alguma vez precise deles.

Por que não podes simplesmente ler o ficheiro no Notepad

Os ficheiros Ami Pro são baseados em texto, o que leva as pessoas a pensar que a extração é trivial. Abra um num Notepad e verá de facto palavras — rodeadas por marcações entre colchetes, definições de estilo, instruções de layout e códigos de formatação inline entrelaçados nas frases.

Copie isso e obtém texto contaminado com sequências de controlo. As pesquisas produzem falsos positivos em palavras-chave de marcação, frases quebram a meio quando um código de formatação as interrompe, e tabelas tornam-se sequências ininteligíveis de valores. Parece extração de texto e comporta-se como ruído.

A extração real requer a análise da estrutura do documento: separar as secções de estilo e layout do conteúdo, resolver os códigos de formatação em vez de simplesmente apresentá-los, reconstruir as células da tabela em linhas legíveis e inserir limites de parágrafo onde o documento os pretende. Mesma extensão de saída, qualidade completamente diferente.

Codificação: o detalhe que decide a qualidade

Ami Pro existe antes do domínio do Unicode. Documentos da era DOS e OS/2 armazenam texto em páginas de código legadas — uma das páginas DOS, ou uma página Windows como 1252, ou uma variante regional para conteúdo da Europa Central, cirílico, grego ou turco. O mesmo valor de byte significa um carácter diferente dependendo da página aplicada.

Errar nisto e obtém-se mojibake: nomes como Müller tornam-se M?ller ou Müller, símbolos monetários transformam-se em letras aleatórias, e aspas e traços tornam-se caracteres sem sentido. Num ficheiro de registos legais ou de pessoal, nomes corrompidos não são um problema estético — eles comprometem as pesquisas para as quais construiu a camada de texto.

A solução é detetar a codificação de origem e mapeá-la para UTF-8 durante a extração, em vez de reinterpretar bytes posteriormente. Quando testar uma amostra, escolha deliberadamente documentos que contenham nomes com acentos, valores monetários e pontuação tipográfica. Se esses vierem corretamente, o manuseamento da codificação está correto.

Construindo um índice pesquisável

O que si desiste

O texto simples descarta tudo o que não são palavras. Estilos, fontes e ênfase desaparecem, pelo que não é possível distinguir um cabeçalho de um parágrafo, exceto por convenção. As tabelas tornam-se linhas de texto que são legíveis de forma aceitável para grelhas simples e de forma pobre para qualquer coisa com células mescladas ou estrutura aninhada.

Imagens, diagramas e equações não podem ser representados de todo. Para um ficheiro técnico, isso é uma perda significativa, e é a principal razão pela qual o texto deve ser uma camada de triagem em vez do resultado final. Um documento cuja substância é um esquema WMF produzirá um ficheiro de texto que parece quase vazio e quase nada lhe diz.

Seja explícito sobre isto com as partes interessadas. "Extraímos o texto para que o ficheiro seja pesquisável" é preciso e útil; "convertimos o ficheiro" implica uma fidelidade que a extração de texto não proporciona.

Onde a saída de texto é genuinamente a resposta final correta

Às vezes o texto não é um trampolim. Se o destino é uma pipeline de dados — extração de números de referência por regex, deteção de idioma, classificação, deduplicação, extração de entidades — o texto simples é a entrada ideal, e qualquer formatação seria apenas removida de qualquer forma.

É também a escolha certa para a infraestrutura de pesquisa de texto completo que armazena a camada de texto separadamente da cópia para exibição, e para análise em grande escala, onde se pretende caracterizar um ficheiro estatisticamente: quantos documentos mencionam um determinado contrato, como o vocabulário muda de década em década, quais departamentos produziram o quê.

E é a forma legítima mais rápida de responder a uma questão urgente. Quando alguém precisa saber hoje se um acordo de 1997 contém uma cláusula específica, extrair texto de todo o ficheiro e procurar a frase supera qualquer plano de migração cuidadoso e fiel ao formato.