AIおよびRAG検索のためのAmi Proアーカイブの準備

目に見えないコーパスの問題

内部AIアシスタントを構築している組織は、通常同じギャップに気づきます。そのシステムは過去15年間に書かれたあらゆることについて質問に答えますが、それ以前のものについては応答できません。なぜなら、以前の資料はどの取り込みパイプラインも読み取れない形式になっているからです。1990年代初頭にAmi Proを使用していた機関にとっては、政策、製品、または法的立場の創設期全体が欠落していることを意味する場合があります。

その結果は、不完全な索引よりも微妙です。歴史的な文脈を密かに欠いた検索システムは「それは持っていません」とは言いません；それは持っているものから自信を持って答え、その答えはそれ以降のすべてを形作った推論を省略します。誰も気づきません、なぜならそのギャップは外側からは見えないからです。

したがって、レガシーアーカイブの変換は単なる整理作業ではありません。それは、なぜ決定が行われたのかを知っているアシスタントと、現在の状態しか知らないアシスタントの違いです。

なぜPDFではなくMarkdownなのですか

本能的には、すべてをPDFに変換することです。なぜならPDFがアーカイブのデフォルトだからで、その後パイプラインでPDF抽出を実行します。これは、レガシーコンテンツに関するRAGプロジェクトで最も一般的な自己造成的な問題です。なぜなら、構造をレイアウトに変換し、それから構造を推測するために費用を払うことになるからです。

PDFの抽出は、あらゆるレイアウトの人工物をノイズとして再導入します：列の順序の混乱、段落の途中に現れるヘッダーやフッター、単語を分割するハイフン付きの改行、行や列の関連がなく数字の流れに崩れた表などです。その後、モデルはその混乱の上で推論します。

Markdown は逆の方法です。Ami Pro のドキュメントには .STY シートに明示的なスタイル情報が含まれているため、見出しは実際の Markdown 見出しとして出力でき、リストはリストとして、表はパイプ表として出力できます。チャンカーは本物の構造を取得し、埋め込みはきれいなテキストを取得し、抽出ヒューリスティックに費用をかける必要はありません。

動作するパイプライン

レガシー文書をインデックス化する際に特別なものは何ですか

古い文書には、もはや存在しないものへの参照が密集しています：廃止された部門名、製造中止になった製品コード、以前の職位、廃止された規制番号などです。モデルはそれらを自力で解決することはできず、現代的な質問をするユーザーは歴史的な語彙を使用しません。

安価な緩和策は、システムプロンプトに挿入された小さな用語集で、古い名前を現在の名前にマッピングするものです。ほとんど費用がかからず、歴史的なコーパスでのリコールを劇的に改善します。

もう一つの特徴は、従来の文書がしばしば廃止されてもそのように表示されないことです。1994年の手続きと2003年の後継手続きは、検索システムには同等の権威があるように見えます。日付のメタデータに加え、最近の情報源を優先し、歴史的な回答には日付を明記するよう明確に指示することで、最も重大な失敗モード、すなわち廃止された方針を現在のものとして引用してしまうことを防ぎます。

AIパイプラインの表と方程式

テーブルは、フォーマットの選択が最も目に見える形で効果を発揮する場所です。Markdown パイプテーブルは、値、その列ヘッダー、および行ラベルとの関連を保持するため、モデルは特定のセルに関する質問に答えることができます。同じテーブルがPDF から抽出されると、ヘッダーが切り離された数字のシーケンスになることが多く、解釈するように求められたモデルは推測します。

方程式も同様に振る舞います。レンダリングされた画像として復元されると、テキスト検索やモデルには見えません；LaTeXとして復元されると、検索可能で、埋め込み可能で、再レンダリング可能です。技術アーカイブ―工学計算、学術論文、保険数理ノートにおいて―LaTeX抽出こそが、コーパスを単に存在するだけでなく、本当に問い合わせ可能にするものです。

文書が基本的に視覚的なものである場合は、それを受け入れなさい。PDF に変換して人間が読めるようにし、含まれているテキストをインデックス化し、内容が図表であることをメタデータに記録して、検索時に人に要約を装うのではなく元の文書を指し示せるようにしなさい。

パイプライン全体をオフラインに保つ

ほとんどのプライベートなRAGプロジェクトは、まさにその資料が第三者に渡せないために存在しています。変換の段階で密かにそのルールが破られるときに注目する価値があります。すなわち、ウェブベースのコンバーターを使って、機密保持を目的としたシステム向けに文書を準備することは、矛盾であり、それが生き続ける傾向があります。なぜなら、変換が処理ではなく配管作業として扱われるからです。

ローカルのデスクトップコンバーターは、.samファイルからベクターストアへの管理の連鎖を維持します。何も送信されないため、評価や記録する必要のある転送はなく、素材が要求する場合には、そのパイプラインを隔離されたワークステーションで実行することができます。

それをローカルの埋め込みモデルと自分でホストするベクトルデータベースと組み合わせれば、コンプライアンスレビューで正直に説明できるシステムが手に入ります：コーパスはどの段階でもネットワークを離れることはありませんでした。