Tavallisen tekstin purkaminen Ami Pro .SAM-arkistoista

Tekstin poiminta läpikäyntistrategiana

Perintöarkistohankkeen vaikein osa ei ole asiakirjojen muuntaminen. Se on päättäminen, mitkä asiakirjat ovat vaivan arvoisia. Poistettu palvelin saattaa tuottaa 8 000 .sam tiedostoa, ja merkittävä osa niistä on kopioita, tyhjiä malleja, hylättyjä luonnoksia ja rutiininomaista kirjeenvaihtoa, joilla ei ole säilytys-arvoa. Kaikkien niiden huolellinen muuntaminen tuhlaa paljon tarkastusaikaa.

Ensimmäinen vaihe, jossa puretaan pelkkä teksti, kääntää ongelman päälaelleen. Yksi nopea erä antaa jokaiselle asiakirjalle haettavan tekstisisaren. Nyt voit kysyä arkistosta — sopimusnumerolla, asiakasnimellä, säädöksellä, projektikoodilla — ja saada vastauksen sekunneissa sen sijaan, että avaat tiedostoja yksi kerrallaan.

Se muuttaa pelottavan kasan järjestetyksi listaksi. Asiakirjat, jotka vastaavat kyselyjäsi, saavat täyden tarkkuuden DOCX- tai PDF-muunnoksen ja ihmisen tarkistuksen; loput pysyvät tekstinä sekä alkuperäisinä .sam-tiedostoina, indeksoituina ja haettavina, jos joku joskus tarvitsee niitä.

Miksi et voi vain lukea tiedostoa Muistiossa

Ami Pro-tiedostot ovat tekstipohjaisia, mikä saa ihmiset luulemaan, että tiedon poiminta on helppoa. Avaa yksi Notepadissa, niin näet todellakin sanoja — ympäröitynä hakasulkeilla olevalla merkintäkoodilla, tyylimäärityksillä, asetteluohjeilla ja sisäisillä muotoilukoodeilla, jotka on punottu lauseiden läpi.

Kopioimalla sen ulos saat tekstiä, joka on saastunut ohjausjonoilla. Haut tuottavat virheilmoituksia merkkausavainsanoista, lauseet katkeavat kesken, kun muotoilukoodi keskeyttää ne, ja taulukot muuttuvat käsittämättömiksi arvojonoiksi. Se näyttää tekstin poiminnalta ja käyttäytyy kuin kohina.

Todellinen tietojen poiminta vaatii asiakirjan rakenteen jäsentämistä: tyylien ja asetteluosioiden erottamista sisällöstä, muotoilukoodejen ratkaisemista sen sijaan että niitä tulostetaan, taulukon solujen rekonstruoimista luettaviksi riveiksi ja kappaleiden rajojen lisäämistä sinne, missä asiakirja ne tarkoittaa. Sama tulosteen tiedostopääte, täysin erilainen laatu.

Koodaus: yksityiskohta, joka määrittää laadun

Ami Pro esiintyi ennen Unicoden valtaa. DOS- ja OS/2-kauden dokumentit tallentavat tekstiä vanhoissa koodisivuissa — joko yhdessä DOS-sivuista, tai Windows-sivulla, kuten 1252, tai alueellisessa variantissa Keski-Euroopan, kyrillisen, kreikkalaisen tai turkkilaisen sisällön osalta. Sama tavuarvo tarkoittaa eri merkkiä riippuen siitä, mikä sivu on käytössä.

Jos tämän tekee väärin, saa mojibakea: nimet kuten Müller muuttuvat M?lleriksi tai Mülleriksi, valuuttasymbolit muuttuvat satunnaisiksi kirjaimiksi, ja lainausmerkit sekä viivat muuttuvat sekasotkuksi. Lakiasiakirja- tai henkilöstötietuearkistossa vioittuneet nimet eivät ole kosmeettinen ongelma — ne rikkovat haukusi, joita tekstikerrosta varten loit.

Korjaus on tunnistaa lähdekoodaus ja kartoittaa se UTF-8:ksi purkamisen aikana sen sijaan, että tulkittaisiin tavut uudelleen myöhemmin. Kun testaat näytettä, valitse tarkoituksella asiakirjoja, jotka sisältävät aksentoituja nimiä, valuuttamääriä ja typografisia välimerkkejä. Jos ne tulevat läpi selkeästi, koodauksen käsittely on oikea.

Rakentamassa haettavaa indeksiä

Mitä luovutat

Pelkkä teksti hylkää kaiken, mikä ei ole sanoja. Tyylit, fontit ja korostukset katoavat, joten otsikon erottaminen kappaleesta onnistuu vain tapojen mukaan. Taulukot muuttuvat tekstiriveiksi, jotka luetaan hyväksyttävästi yksinkertaisille ruudukkoille ja huonosti kaikelle, jossa on yhdistettyjä soluja tai sisäkkäistä rakennetta.

Kuvia, kaavioita ja yhtälöitä ei voida esittää lainkaan. Teknisessä arkistossa tämä on merkittävä menetys, ja se on pääasiallinen syy siihen, miksi tekstin tulisi olla seulontakerros eikä lopputulos. Asiakirja, jonka sisältö on WMF-kaavio, tuottaa tekstin, joka näyttää lähes tyhjältä eikä kerro sinulle juuri mitään.

Ole tästä selkeä sidosryhmien kanssa. "Poimimme tekstin, jotta arkisto on haettavissa" on tarkka ja hyödyllinen; "muutimme arkiston" antaa vaikutelman tarkkuudesta, jota tekstin poiminta ei tarjoa.

Missä tekstin tuotos on aidosti oikea lopullinen vastaus

Joskus teksti ei ole ponnahduslauta. Jos määränpää on dataputki — viitenumeroiden regex-ekstraktio, kielen tunnistus, luokittelu, duplikaattien poisto, entiteettien poiminta — tavallinen teksti on ihanteellinen syöte, ja kaikki muotoilu poistettaisiin joka tapauksessa.

Se on myös oikea valinta kokotekstihakujen infrastruktuuriin, jossa tekstikerros tallennetaan erikseen näytettävästä kopiosta, sekä massaanalyysiin, jossa halutaan tilastollisesti kuvata arkistoa: kuinka monessa asiakirjassa mainitaan tietty sopimus, miten sanasto muuttuu vuosikymmenittäin, mitkä osastot tuottivat mitä.

Ja se on nopein laillinen tapa vastata kiireelliseen kysymykseen. Kun jonkun täytyy tietää tänään, sisältääkö vuoden 1997 sopimus tietyn kohdan, tekstin poimiminen arkistosta ja ilmauksen etsiminen lyö mitä tahansa huolellista, muotoon uskollista siirtosuunnitelmaa.