Ekstrahering af almindelig tekst fra Ami Pro .SAM arkiver

Tekstekstraktion som en triagestrategi

Den sværeste del af et arkivprojekt med legacy-data er ikke at konvertere dokumenter. Det er at beslutte, hvilke dokumenter der er værd at bruge kræfter på. En nedlagt server kan indeholde 8.000 .sam filer, og en betydelig del vil være kopier, tomme skabeloner, forladte udkast og rutinemæssig korrespondance uden bevaringsværdi. At konvertere dem alle omhyggeligt spilder meget gennemgangstid.

At udtrække ren tekst først vender problemet på hovedet. Én hurtig massekørsel giver hvert dokument en søgbar tekst-søskende. Nu kan du søge i arkivet — efter et kontraktnummer, et klientnavn, en regulering, en projektkode — og få et svar på sekunder i stedet for at åbne filer én ad gangen.

Det forvandler en skræmmende bunke til en rangeret liste. De dokumenter, der matcher dine forespørgsler, får en fuldgyldig DOCX eller PDF konvertering og en menneskelig gennemgang; resten forbliver som tekst plus deres originale .sam filer, indekseret og tilgængelige, hvis nogen nogensinde har brug for dem.

Hvorfor du ikke bare kan læse filen i Notepad

Ami Pro-filer er tekstbaserede, hvilket får folk til at tro, at udtrækning er triviel. Åbn en i Notepad, og du vil faktisk se ord — omgivet af indlejrede markeringer, stildefinitioner, layoutinstruktioner og inline-formateringskoder vævet ind i sætningerne.

Kopier det ud, og du får tekst forurenet med kontrolsekvenser. Søgninger giver falske positiver på markup-nøgleord, sætninger brydes midt i, hvor en formateringskode afbrød dem, og tabeller bliver til uforståelige rækker af værdier. Det ligner tekstudtræk og opfører sig som støj.

Ægte udtrækning kræver, at dokumentstrukturen parses: adskille stil- og layoutsektioner fra indholdet, fortolke formateringskoder frem for at udsende dem, rekonstruere tabelceller til læselige rækker og indsætte afsnitsgrænser, hvor dokumentet har til hensigt det. Samme output-udvidelse, helt forskellig kvalitet.

Kodning: detaljen der bestemmer kvalitet

Ami Pro går forud for Unicodes dominans. Dokumenter fra DOS- og OS/2-æraen gemmer tekst i gamle kode-sider — en af DOS-siderne, eller en Windows-side såsom 1252, eller en regional variant for centraleuropæisk, kyrillisk, græsk eller tyrkisk indhold. Den samme byteværdi betyder et andet tegn afhængigt af, hvilken side der blev anvendt.

Får du dette forkert, får du mojibake: navne som Müller bliver til M?ller eller Müller, valutasymboler forvandles til tilfældige bogstaver, og citationstegn og bindestreger bliver til vrøvl. I et arkiv med juridiske eller personalemæssige optegnelser er korrupte navne ikke et kosmetisk problem — de ødelægger de søgninger, du har bygget tekstlaget til.

Løsningen er at opdage kildekodningen og kortlægge den til UTF-8 under udtrækningen i stedet for at fortolke bytes bagefter. Når du tester et eksempel, skal du bevidst vælge dokumenter, der indeholder accentuerede navne, valutabeløb og typografisk tegnsætning. Hvis disse kommer igennem korrekt, er kodningshåndteringen korrekt.

Oprettelse af et søgbart indeks

Hvad du giver op

Ren tekst kasserer alt, der ikke er ord. Stilarter, skrifttyper og fremhævning forsvinder, så man ikke kan skelne en overskrift fra et afsnit undtagen ved konvention. Tabeller bliver til tekstlinjer, der læses acceptabelt for simple gitterstrukturer og dårligt for alt med flettede celler eller indlejret struktur.

Billeder, diagrammer og ligninger kan slet ikke repræsenteres. For et teknisk arkiv er det et betydeligt tab, og det er den primære grund til, at tekst bør være et sorteringslag snarere end det endelige resultat. Et dokument, hvis indhold er et WMF-diagram, vil producere en tekstfil, der ser næsten tom ud og fortæller dig næsten ingenting.

Vær tydelig omkring dette med interessenter. "Vi udtrak tekst, så arkivet er søgbart" er korrekt og nyttigt; "vi konverterede arkivet" antyder en nøjagtighed, som tekstudtræk ikke giver.

Hvor tekstoutput virkelig er det rigtige endelige svar

Nogle gange er tekst ikke en springbræt. Hvis destinationen er en datapipeline — regex-udtrækning af referencenumre, sprogdetektion, klassifikation, deduplikering, entitetsudtrækning — er almindelig tekst den ideelle input, og enhver formatering ville alligevel kun blive fjernet.

Det er også det rigtige valg til infrastruktur for fuldtekstsøgning, der gemmer tekstlaget separat fra visningskopien, og til masseanalyse, hvor du ønsker at karakterisere et arkiv statistisk: hvor mange dokumenter nævner en bestemt kontrakt, hvordan ordforrådet ændrer sig fra årti til årti, hvilke afdelinger der producerede hvad.

Og det er den hurtigste legitime måde at besvare et presserende spørgsmål på. Når nogen har brug for at vide i dag, om en aftale fra 1997 indeholder en bestemt klausul, slår det at udtrække tekst på tværs af arkivet og søge efter frasen enhver omhyggelig, format-tro migrationsplan.