Ami Pro-arkistojen valmistelu tekoälyä ja RAG-hakua varten

Näkymätön korpuksen ongelma

Organisaatiot, jotka rakentavat sisäisiä tekoälyavustajia, huomaavat yleensä saman aukon. Järjestelmä vastaa kysymyksiin kaikesta viimeisen viisitoista vuoden aikana kirjoitetusta, mutta jää tyhjäksi kaiken vanhemman suhteen, koska vanhemmat materiaalit ovat muodoissa, joita mikään syöttöputki ei pysty lukemaan. Laitoksille, jotka käyttivät Ami Pro 1990-luvun alussa, se voi tarkoittaa, että koko politiikan, tuotteen tai oikeudellisen position perustamiskausi puuttuu.

Seuraus on hienovaraisempi kuin keskeneräinen indeksi. Hakujärjestelmä, josta historiallinen konteksti puuttuu hiljaisesti, ei sano 'Minulla ei ole sitä'; se vastaa siitä, mitä sillä on, itsevarmasti, ja vastaus jättää huomiotta sen päättelyn, joka on muokannut kaikkea sen jälkeen. Kukaan ei huomaa, koska aukko on näkymätön ulkopuolelta.

Vanhan arkiston muuntaminen ei siis ole pelkkä siivoustehtävä. Se on ero assistentin välillä, joka tietää, miksi päätökset tehtiin, ja sellaisen välillä, joka vain tietää nykyisen tilan.

Miksi Markdown, ei PDF

Vaisto on muuntaa kaikki PDF-muotoon, koska PDF on arkistointiin oletusarvo, ja sitten suorittaa PDF-poiminta putkessa. Tämä on yleisin itseaiheutettu vahinko RAG-projekteissa vanhan sisällön kanssa, koska muutat rakenteen asetteluksi ja sitten maksat arvailusta rakenteen palauttamiseksi.

PDF-poiminta tuo takaisin jokaisen asettelun artefaktin meluna: sarakkeiden järjestyksen sekaannus, toistuvat ylätunnisteet ja alatunnisteet ilmestyvät keskelle kappaletta, tavuviivalla jaetut rivinvaihdot jakavat sanoja, ja taulukot romahtavat numerovirtauksiksi ilman rivien tai sarakkeiden yhteyttä. Malli sitten päättelyttää tuon sotkun yli.

Markdown menee toiseen suuntaan. Koska Ami Pro -dokumentit sisältävät eksplisiittistä tyylitietoa .STY-tiedostoissaan, otsikot voidaan tuottaa oikeina Markdown-otsikoina, luettelot luetteloina ja taulukot putkitaulukoina. Palasija saa aitoa rakennetta, upotuksesi saavat puhdasta tekstiä, eikä sinun tarvitse käyttää mitään uuttamiskeinoja.

Toimiva putkisto

Mikä tekee vanhoista asiakirjoista erityisiä indeksoitaviksi

Vanhoissa asiakirjoissa on runsaasti viittauksia asioihin, joita ei enää ole: vanhentuneita osastojen nimiä, lopetettuja tuotekooduja, entisiä työnimityksiä, vanhentuneita säädösnumeroita. Malli ei pysty ratkaisemaan näitä itse, ja käyttäjä, joka esittää nykyaikaisen kysymyksen, ei käytä historiallista sanastoa.

Halpa lieventäminen on pieni sanasto, joka on lisätty järjestelmän kehotteeseen, ja se yhdistää vanhat nimet nykyisiin. Se maksaa lähes mitään ja parantaa merkittävästi muistamista historiallisessa korpuksessa.

Toinen ominaisuus on se, että vanhat asiakirjat korvataan usein, mutta niitä ei merkitä sellaisiksi. Vuoden 1994 menettely ja sen vuoden 2003 korvaava versio näyttävät yhtä auktoritatiivisilta hakujärjestelmälle. Päivämäärämetatiedot sekä selkeä ohje suosia ajankohtaisia lähteitä ja ilmoittaa historian vastauksessa käytetty päiväys estävät tuhoisinta epäonnistumistilannetta: kumotun käytännön lainaamista voimassa olevana.

Taulukot ja yhtälöt tekoälyputkessa

Taulukot ovat paikka, jossa muodon valinta kannattaa näkyvimmillään. A Markdown putkitaulukko säilyttää yhteyden arvon, sen sarakeotsikon ja rivin tunnisteen välillä, joten malli voi vastata kysymyksiin tietystä solusta. Sama taulukko poimittuna PDF:sta on usein vain numerosarja, jossa otsikot ovat irrotettuina — ja malli, jota pyydetään tulkitsemaan sitä, arvaa.

Yhtälöt käyttäytyvät samankaltaisesti. Palautettuina renderöityinä kuvin ne ovat näkymättömiä tekstihakua ja mallia varten; palautettuina LaTeX-muodossa ne ovat haettavissa, upotettavissa ja uudelleen renderöitävissä. Teknisiin arkistoihin — insinöörilaskelmiin, tieteellisiin artikkeleihin, vakuutuslaskennan muistiinpanoihin — LaTeXin poiminta on se, mikä tekee kokoelmasta todella kyseltävän sen sijaan, että se olisi vain läsnä.

Kun asiakirja on pohjimmiltaan visuaalinen, hyväksy se. Muunna se PDF ihmisen luettavaksi, indeksoi kaikki sisältämä tekstisisällöt ja kirjaa metatietoihin, että sisältö on graafista, jotta hakutoiminto voi ohjata henkilön alkuperäiseen sen sijaan, että väitettäisiin tekevänsä siitä yhteenvedon.

Pidä koko putkisto offline-tilassa

Useimmat yksityiset RAG-projektit ovat olemassa juuri siksi, että materiaalia ei voida antaa kolmannelle osapuolelle. On syytä huomata, kun muunnosvaihe hiljaa rikkoo tuon säännön: web-pohjaisen muuntimen käyttäminen dokumenttien valmisteluun järjestelmää varten, jonka koko tarkoitus on luottamuksellisuus, on ristiriita, joka yleensä säilyy, koska muuntamista kohdellaan putkistona eikä käsittelynä.

Paikallinen työpöytäsovitin pitää kirjanpitoketjun ehjänä .sam-tiedostosta vektorivarastoon. Mitään ei lähetetä, joten siirtoa ei tarvitse arvioida tai dokumentoida, ja putki voi toimia eristetyllä työasemalla, jos aineisto sitä vaatii.

Yhdistä se paikalliseen upotusmalliin ja itse isännöityyn vektorikantaan, niin sinulla on järjestelmä, jonka voit kuvailla rehellisesti vaatimustenmukaisuuskatsauksessa: aineisto ei koskaan poistunut verkosta missään vaiheessa.