Norsk talegjenkjenning test: 2,2 % feilrate
Hvordan vi kommer fram til 2,2 % feilrate, og hva tallet faktisk betyr.
Norsk vs engelsk-først-modeller
Resultatene vi viser til
| Modell | NST bokmål | Fleurs bokmål | Kilde |
|---|---|---|---|
| Kviskr med NB-Whisper | 2,2 % WER | 6,6 % WER | NB-Whisper-paperet |
| Whisper Large-v3 | 6,8 % WER | 10,4 % WER | NB-Whisper-paperet |
Hva Word Error Rate betyr
Word Error Rate, ofte forkortet WER, er en vanlig målemetode for talegjenkjenning. Den teller hvor mange ord som må legges til, fjernes eller byttes for at transkripsjonen skal matche fasiten.
Lavere WER betyr færre feil. 2,2 % WER betyr omtrent 22 feil per 1000 ord i testsettet, ikke at alle stemmer, dialekter og opptak alltid får nøyaktig samme resultat.
Hva som er målt
- NST er et norsk dikteringsdatasett og passer godt som signal for bokmål og tydelig diktering.
- Fleurs er et mer variert datasett og gir et bredere bilde av robusthet.
- Tallene er modellresultater for NB-Whisper, ikke en garanti for hvert enkelt opptak i Kviskr.
Hvorfor dette betyr noe for norsk diktering
Mange tale-til-tekst-løsninger fungerer godt på engelsk, men svakere på norsk. For daglig diktering på norsk er forskjellen praktisk: jo færre feil, jo mindre opprydding etterpå.
Kviskr kombinerer NB-Whisper med en Mac-arbeidsflyt: hold hurtigtasten, snakk, slipp. Teksten havner der markøren står, og talegjenkjenningen kjører lokalt på maskinen.
Vanlige spørsmål
2,2 % feilrate betyr Word Error Rate på NST-datasettet for norsk bokmål, slik tallet rapporteres i NB-Whisper-paperet fra Nasjonalbiblioteket.
Kviskr bruker NB-Whisper fra Nasjonalbiblioteket til norsk talegjenkjenning lokalt på Mac.
Tallene viser modellresultater for NB-Whisper på publiserte datasett. De er ikke en separat laboratorietest av hver Kviskr-versjon, men forklarer hvorfor Kviskr er bygget rundt NB-Whisper for norsk.
Kilder
- Whispering in Norwegian: Navigating Orthographic and Dialectic Challenges
- NB-Whisper Large på Hugging Face
- NB-Whisper vs Apple Dictation for norsk