Bin dank Clemens Neudecker auf das im Rahmen des succeed Projektes entwickelte Tool ocrevalUAtion gestoßen. Damit kann man seine OCR-Ergebnisse mit dem Original vergleichen und bekommt eine Übersicht über die typischen OCR-Fehler.
Ich habe mal eine Seite aus Bunte Bilder aus dem Sachſenlande genommen und hier sind die Werte für untrainiertes Tesseract 3.02.03 mit dem mitgelieferten "deu-frak":
| CER | 7,74 |
| CER-DL | 7,74 |
| WER | 27,65 |
| WER (bag of words) | 27,43 |
Dabei bedeutet CER: Character error rate, CER-DL: Character error rate nach Damerau-Levenshtein und WER: Word error rate.Hier sind also nur knapp 92% aller Zeichen richtig und gar nur 72% aller Wörter.
Nun die im Laufe des Bunte Bilder Projektes auf den Buchtitel trainierte Variante:
| CER | 2,83 |
| CER-DL | 2,83 |
| WER | 7,78 |
| WER (bag of words) | 9,07 |
Es sind nun 97% aller Zeichen richtig und fast 91% aller Wörter! Fazit: Trainieren lohnt sich!
Dies deckt sich auch mit den Berechnung aus meinem früheren Beitrag "OCR Qualität bestimmen" bzw. aus Teil 9, wo die Worterkennungsrate 93% betrug.
Das Tool berechnet aber auch für jedes vorkommende Zeichen die Fehlerwahrscheinlichkeit, was hilft sein Augenmerk auf diese typischen Probleme zu lenken. Hier ein Beispiel des untrainierten Tesseract. Ins Auge fällt, daß dies (wie bereits beschrieben) kein langes-s erkennt. Sichtbar sind auch die Problemzeichen 'n', 'u' und 'ü':
Error rate per character and type
| Character | Hex code | Total | Spurious | Confused | Lost | Error rate |
| 20 | 463 | 2 | 0 | 1 | 0,65 | |
| ! | 21 | 0 | 1 | 0 | 0 | Infinity |
| " | 22 | 0 | 1 | 0 | 0 | Infinity |
| ) | 29 | 2 | 0 | 0 | 0 | 0,00 |
| * | 2a | 2 | 0 | 1 | 0 | 50,00 |
| , | 2c | 33 | 1 | 4 | 2 | 21,21 |
| - | 2d | 6 | 0 | 2 | 0 | 33,33 |
| . | 2e | 29 | 0 | 1 | 3 | 13,79 |
| 1 | 31 | 6 | 1 | 0 | 0 | 16,67 |
| 2 | 32 | 4 | 0 | 0 | 0 | 0,00 |
| 5 | 35 | 4 | 0 | 0 | 0 | 0,00 |
| 8 | 38 | 3 | 0 | 0 | 0 | 0,00 |
| 9 | 39 | 5 | 0 | 0 | 0 | 0,00 |
| A | 41 | 6 | 0 | 0 | 0 | 0,00 |
| B | 42 | 11 | 0 | 1 | 0 | 9,09 |
| D | 44 | 10 | 0 | 0 | 0 | 0,00 |
| E | 45 | 6 | 0 | 0 | 0 | 0,00 |
| F | 46 | 9 | 0 | 0 | 0 | 0,00 |
| G | 47 | 6 | 0 | 0 | 0 | 0,00 |
| H | 48 | 6 | 0 | 0 | 0 | 0,00 |
| I | 49 | 4 | 0 | 4 | 0 | 100,00 |
| J | 4a | 5 | 0 | 0 | 0 | 0,00 |
| K | 4b | 8 | 0 | 0 | 0 | 0,00 |
| L | 4c | 1 | 0 | 0 | 0 | 0,00 |
| M | 4d | 5 | 0 | 0 | 0 | 0,00 |
| N | 4e | 4 | 0 | 0 | 0 | 0,00 |
| O | 4f | 2 | 0 | 0 | 0 | 0,00 |
| P | 50 | 3 | 0 | 0 | 0 | 0,00 |
| R | 52 | 7 | 0 | 0 | 0 | 0,00 |
| S | 53 | 26 | 0 | 3 | 0 | 11,54 |
| T | 54 | 5 | 0 | 0 | 0 | 0,00 |
| U | 55 | 4 | 0 | 0 | 0 | 0,00 |
| V | 56 | 7 | 0 | 0 | 0 | 0,00 |
| W | 57 | 7 | 0 | 0 | 0 | 0,00 |
| Z | 5a | 7 | 0 | 0 | 0 | 0,00 |
| a | 61 | 123 | 0 | 2 | 0 | 1,63 |
| b | 62 | 41 | 0 | 1 | 0 | 2,44 |
| c | 63 | 66 | 0 | 1 | 0 | 1,52 |
| d | 64 | 110 | 0 | 0 | 0 | 0,00 |
| e | 65 | 430 | 0 | 4 | 1 | 1,16 |
| f | 66 | 40 | 0 | 5 | 0 | 12,50 |
| g | 67 | 71 | 0 | 0 | 0 | 0,00 |
| h | 68 | 121 | 0 | 4 | 0 | 3,31 |
| i | 69 | 178 | 23 | 0 | 0 | 12,92 |
| j | 6a | 3 | 4 | 0 | 0 | 133,33 |
| k | 6b | 21 | 0 | 1 | 0 | 4,76 |
| l | 6c | 91 | 2 | 0 | 0 | 2,20 |
| m | 6d | 64 | 0 | 19 | 0 | 29,69 |
| n | 6e | 249 | 7 | 7 | 0 | 5,62 |
| o | 6f | 48 | 0 | 0 | 0 | 0,00 |
| p | 70 | 11 | 0 | 0 | 0 | 0,00 |
| r | 72 | 148 | 0 | 0 | 0 | 0,00 |
| s | 73 | 37 | 2 | 0 | 0 | 5,41 |
| t | 74 | 133 | 0 | 1 | 0 | 0,75 |
| u | 75 | 105 | 0 | 11 | 1 | 11,43 |
| v | 76 | 18 | 0 | 0 | 0 | 0,00 |
| w | 77 | 31 | 0 | 0 | 0 | 0,00 |
| x | 78 | 1 | 0 | 0 | 0 | 0,00 |
| y | 79 | 1 | 0 | 0 | 0 | 0,00 |
| z | 7a | 38 | 0 | 0 | 0 | 0,00 |
| « | ab | 0 | 1 | 0 | 0 | Infinity |
| » | bb | 0 | 1 | 0 | 0 | Infinity |
| Ä | c4 | 2 | 0 | 1 | 0 | 50,00 |
| ß | df | 7 | 0 | 0 | 0 | 0,00 |
| ä | e4 | 13 | 0 | 0 | 0 | 0,00 |
| ö | f6 | 11 | 0 | 0 | 0 | 0,00 |
| ü | fc | 21 | 0 | 9 | 0 | 42,86 |
| ſ | 17f | 90 | 0 | 90 | 0 | 100,00 |
| – | 2013 | 2 | 0 | 2 | 0 | 100,00 |
| — | 2014 | 0 | 1 | 0 | 0 | Infinity |
| “ | 201c | 3 | 0 | 3 | 0 | 100,00 |
| „ | 201e | 3 | 0 | 3 | 0 | 100,00 |
