Preparar Ficheiros Ami Pro para Pesquisa IA e RAG

O problema do corpus invisível

As organizações que desenvolvem assistentes internos de IA geralmente descobrem a mesma lacuna. O sistema responde a perguntas sobre qualquer coisa escrita nos últimos quinze anos e fica em branco quanto a qualquer material mais antigo, porque o material mais antigo está em formatos que nenhum pipeline de ingestão consegue ler. Para instituições que utilizavam Ami Pro no início dos anos 1990, isso pode significar que todo o período de fundação de uma política, produto ou posição legal está em falta.

A consequência é mais subtil do que um índice incompleto. Um sistema de recuperação que silenciosamente carece de contexto histórico não diz "Não tenho isso"; responde com base no que tem, com confiança, e a resposta omite o raciocínio que moldou tudo desde então. Ninguém repara, porque a lacuna é invisível do exterior.

Converter o ficheiro legado não é, portanto, um exercício de arrumação. É a diferença entre um assistente que sabe por que as decisões foram tomadas e um que apenas conhece o estado atual.

Por que Markdown, e não PDF

O instinto é converter tudo para PDF porque PDF é o padrão de arquivamento, e depois executar a extração de PDF na pipeline. Esta é a ferida auto-infligida mais comum em projetos RAG sobre conteúdo legado, porque si converte estrutura em layout e depois paga para adivinhar a estrutura de volta.

A extração PDF reintroduz todos os artefactos de layout como ruído: confusão na ordem das colunas, cabeçalhos e rodapés a aparecer no meio do parágrafo, quebras de linha com hífen a dividir palavras, e tabelas a colapsar em fluxos de números sem qualquer associação de linhas ou colunas. O modelo depois raciocina sobre essa confusão.

Markdown vai na direção oposta. Porque os documentos Ami Pro contêm informação de estilo explícita nas suas folhas .STY, os títulos podem ser emitidos como verdadeiros títulos Markdown, listas como listas e tabelas como tabelas de tubos. O seu segmentador obtém estrutura genuína, os seus embeddings obtêm texto limpo, e não gasta nada em heurísticas de extração.

Um pipeline que funciona

O que torna os documentos legados especiais para indexar

Documentos antigos estão repletos de referências a coisas que já não existem: nomes de departamentos substituídos, códigos de produtos descontinuados, cargos antigos, números de regulamentos obsoletos. Um modelo não consegue resolver isso por si só, e um utilizador a fazer uma pergunta moderna não usará o vocabulário histórico.

A mitigação barata é um pequeno glossário inserido no prompt do sistema, mapeando nomes antigos para os atuais. Custa quase nada e melhora drasticamente a recuperação num corpus histórico.

A outra característica é que os documentos antigos são frequentemente substituídos, mas não assinalados como tal. Um procedimento de 1994 e a sua substituição de 2003 parecem igualmente autoritativos para um sistema de recuperação. Os metadados de data, juntamente com uma instrução explícita para preferir fontes recentes e para indicar a data de qualquer resposta histórica, evitam o modo de falha mais prejudicial: citar uma política revogada como atual.

Tabelas e equações numa linha de processamento de IA

As tabelas são o local onde a escolha do formato compensa mais visivelmente. Uma tabela de tubos Markdown mantém a associação entre um valor, o cabeçalho da sua coluna e a etiqueta da sua linha, de modo que um modelo pode responder a perguntas sobre uma célula específica. A mesma tabela extraída de um PDF é frequentemente uma sequência de números com os cabeçalhos separados — e um modelo solicitado a interpretá-la irá adivinhar.

As equações comportam-se de forma semelhante. Recuperadas como imagens renderizadas, são invisíveis para a pesquisa de texto e para o modelo; recuperadas como LaTeX, são pesquisáveis, integráveis e reutilizáveis. Para ficheiros técnicos — cálculos de engenharia, artigos académicos, notas atuariais — a extração em LaTeX é o que torna o corpus verdadeiramente interrogável, e não apenas presente.

Quando um documento for fundamentalmente visual, aceite-o. Converta-o para PDF para leitura humana, indexe o texto que contiver e registe nos metadados que a substância é gráfica, de modo que a recuperação possa indicar a uma pessoa o original em vez de fingir resumir.

Mantenha toda a linha de produção offline

A maioria dos projetos privados de RAG existe precisamente porque o material não pode ser enviado a terceiros. Vale a pena notar quando a etapa de conversão quebra silenciosamente essa regra: usar um conversor baseado na web para preparar documentos para um sistema cujo propósito inteiro é a confidencialidade é uma contradição que tende a persistir porque a conversão é tratada como canalização em vez de processamento.

Um conversor de ambiente local mantém a cadeia de custódia intacta desde o ficheiro .sam até ao armazenamento de vetores. Nada é transmitido, por isso não há transferência a avaliar ou documentar, e a linha de processamento pode ser executada numa estação de trabalho isolada, se for isso que o material exigir.

Combine isso com um modelo de embeddings local e uma base de dados vetorial auto-hospedada e si tem um sistema que pode descrever honestamente numa revisão de conformidade: o corpus nunca saiu da rede em nenhum momento.