Teknisk metod och utvärdering av HTR-modeller

Publicerad:

2026-10-08

Inom forskningsinfrastrukturen utvärderas modeller för handskriftstolkning (HTR) med metoder som kombinerar maskininlärning med okulära och språkvetenskapliga metoder.

För att säkerställa hög vetenskaplig kvalitet granskas våra modellers prestanda ur fyra huvudsakliga perspektiv:

• Prestanda på tränat material (in-domain) jämfört med helt nytt, otestat material (out-of-domain).
• Modellspecefika fel (ren texttolkning) ställt mot fel orsakade av layoutsegmentering.
• Generalistmodeller (till exempel breda tidsspann) jämfört med specialistmodeller (avgränsade epoker).
• Kvalitativ utvärdering av hur träningsdata (Ground Truth) är sammansatt.

Validering och felmarginaler

Träffsäkerheten mäts i Character Error Rate (CER), det vill säga andelen tecken som modellen missar eller feltolkar, inklusive skiljetecken, versalisering och fel orsakade av bristande radsegmentering. Den version av Swedish Lion som är aktuell i oktober 2026 presterar In-domain (känt material): cirka 4 % CER vilket speglar träffsäkerheten på arkivkällor snarlika dem modellen tränats på. För Out-of-domain (okänt material) är siffran cirka 9 % CER vilket visar förmågan att generalisera till helt nytt material.

Out-of-domain-resultatet är validerat mot ett flertal transkriberade arkiv från 1600–1900 som inte ingått i träningen med stor språklig och handskriftsmässig variation.

Arkitektur

För löpande text (protokoll, koncept med mera) tillämpar vi en segmenteringsbaserad tolkningskedja:

• Layout- och radsegmentering: Textregioner och enskilda rader identifieras med hjälp av YOLO-modeller för instanssegmentering.
• HTR: Teckentolkningen på radnivå utförs av finjusterade vision-transformer-modeller baserade för närvarande på ramverken TrOCR och Kraken.
• Läsordning och efterbearbetning: Textrader sorteras i logisk läsordning med hjälp av bland annat heuristiska regler.
• HTRflow: mjukvara för storskalig HTR. Hela tolkningskedjan körs genom Riksarkivets egenutvecklade verktyg HTRflow:
• Modulärt: Varje steg i HTR-processen konfigureras och anpassas enkelt via standardiserade YAML-filer.
• Optimerat för textrader: Förtränade standardmodeller skalar ofta om indatabilder till kvadratiska format (till exempel 384×384 pixlar), medan handskrivna rader i regel är långsträckta. Genom anpassade bildproportioner (exempelvis 1024×192 pixlar) och interpolerade positionella inbäddningar (position embeddings) minskar CER-värdet kraftigt, särskilt på längre textrader.
• Kompatibelt: Stödjer flera olika modellramverk och exporterar till format som PAGE XML och text.
• Utvärdering på helsidor: Möjliggör jämförelse och utvärdering av modeller med helsidesmetrik.
• Öppen källkod: Verktyget finns tillgängligt på GitHub under öppen licens.

En bred basmodell eller specialiserade modeller?

Vi har utvärderat hur brett en historisk modell bör tränas genom att jämföra en modell tränad på data från perioden 1730–1900 mot en bredare modell för åren 1600–1900. Modellerna utvärderas mot dedikerade testsviter för att hitta den bästa balansen mellan precision och bredd.

Vid tillskott av nya handstilar visar våra tester att full omträning av hela modellen på all data ger ett mer robust och generaliserbart resultat än att enbart finjustera modellen separat på avgränsade tidsperioder eller specifika samlingar.

Teknisk infrastruktur och beräkningskraft

Att träna och förfina storskaliga HTR-modeller kräver betydande beräkningskapacitet. Forskningsinfrastrukturen förfogar över ett lokalt GPU-kluster som gör det möjligt att träna, optimera och utvärdera modeller i en kontrollerad miljö utan beroende av externa molnresurser.

Länkar

Här hittar du länkar till våra resurser på GitHub och Huggingface.

Kontakt

Erik Lenas, Lead Data Scientist, erik.lenas@riksarkivet.se