The Swedish National Archives has approximately 600 million handwritten pages and only about 5 percent of this has been scanned, but this can be speeded up with the help of HTR, machine learning and artificial intelligence.
Selv om de historiske håndskrevne sidene blir skannet vil de fortsatt oppleves som utilgjengelig for svært mange. I tillegg til vanskelig håndskrift kan de være ustrukturerte i utformingen og bestå av ord og forkortelser som kan være ukjente for mange. Det jobbes imidlertid på en rekke områder med å implementere gode løsninger for HTR, maskinlæring og kunstig intelligens inn i jobben med å transkribere håndskrevne dokumenter.
Mens HTR (Handwritten Text Recognition) er prosessen med å oversette håndskrevet tekst til redigerbar og søkbar tekst bidrar maskinlæring i å lære datamaskiner å gjøre forutsigelser og beslutninger basert på data. Det involverer vanligvis å trene en modell ved hjelp av en stor mengde data. Læringsprosessen innebærer automatisk forbedring av systemets ytelse, basert på erfaringer innhentet fra tidligere data uten at menneskelig inngrep er nødvendig i selve læringsprosessen.
I Norge har Arkivverket lenge jobbet med gjenkjennings-modeller for håndskrift og maskinlæring. Det samme pågår i Sverige og begge land har blant annet tatt i bruk verktøyet Transkribus for nettopp denne jobben. I de senere år har Transkribus blitt videreutviklet til å identifisere tabeller i håndskrevne dokumenter. Dette lettere gjenkjenning og transkripsjon av komplekse dokumenter, spesielt de som inneholder eller er organisert som tabeller.
Transkribus fungerer ved at brukere kan trene egne HTR-modeller ved hjelp av korrigerte transkripsjoner. Dette betyr at hvis brukeren jobber med et stort sett av dokumenter fra samme kilde (for eksempel en spesifikk person eller en epoke), kan man skreddersy en modell som forbedres etter hvert som den lærer av brukerens inndata og korrigeringer. Dette krever imidlertid flere tusen til titusenvis av ord for å lære opp en språkmodell som Transkribus. Når det først er gjort er nytteverdien svært høy.
Read also: This program transcribes handwritten documents
Read also: Transcribus with three Norwegian models
Maskinlæring er en undergren av kunstig intelligens (KI). Kunstig intelligens kan inndeles i to kategorier: smal KI, som er designet for spesifikke oppgaver, og generell KI, som teoretisk sett kan utføre ethvert kognitivt arbeid. Et eksempel på kognitivt arbeid en kunstig intelligens kan gjøre for mennesket er å nettopp trene HTR-modeller, en tidligere så tidkrevende aktivitet.
Vi ser bare starten på det mangfoldet av historiske kilder som fremtidens slektsforskere vil kunne boltre seg i. Etterhvert som denne treenigheten av HTR, maskinlæring og kunstig intelligens blir utviklet, til å prosessere de store mengdene med håndskrevne dokumentene som eksisterer, vil tilgangen til kilder og informasjon om fortiden bli svært tilgjengelig for fremtidens slektsforskere.
Vi er der allerede for trykket tekst, enten den er fra skrivemaskin eller via en tekstbehandler som Word og lignende. Det søkbare nettbiblioteket til Nasjonalbiblioteket er en skatt for slektsforskere, historieinteresserte og alle som ønsker å gjenfinne informasjon i bøker, aviser, radio-opptak, og så videre.
Kanskje er vi der at et tilsvarende nettbibliotek eller nettarkiv for håndskrevne dokumenter om ikke lenge også ser dagens lys, takket være den raske teknologiske utviklingen vi nå befinner oss i.
