View
779
Download
5
Category
Preview:
DESCRIPTION
Citation preview
IMPACT is supported by the European Community under the FP7 ICT Work Programme. The project is coordinated by the National Library of the Netherlands.
11.10.2011 DemoDay BSB
OCR-Software für historische Dokumente Gerd Zechmeister (Österr. Nationalbibliothek)
11.10.2011 DemoDay BSB
IMPACT is supported by the European Community under the FP7 ICT Work Programme. The project is coordinated by the National Library of the Netherlands.
2
11.10.2011 DemoDay BSB
IMPACT is supported by the European Community under the FP7 ICT Work Programme. The project is coordinated by the National Library of the Netherlands.
3
Was ist OCR?Optische Zeichenerkennung ist die mechanische oder elektronischeÜbersetzung von - üblicherweise von einem Scanner erfassten - Abbildern von hand- oder maschingeschriebenem bzw. gedrucktem Text in maschinenlesbaren Text. (Übersetzte Definition aus dem IMPACT Glossar)
11.10.2011 DemoDay BSB
IMPACT is supported by the European Community under the FP7 ICT Work Programme. The project is coordinated by the National Library of the Netherlands.
4
Warum OCR?
� Volltextgewinnung und Einsatz spezieller Lexika zur Wiederauffindung von
Dokumenten in Suchsystemen
� Editierbarkeit (z.B. Redigieren für reprints oder eBook-Formate)
� Schriftart-Erkennung
� „Trainieren“ von OCR Software
11.10.2011 DemoDay BSB
IMPACT is supported by the European Community under the FP7 ICT Work Programme. The project is coordinated by the National Library of the Netherlands.
5
OCR Verarbeitungsschritte
� Bildvorverarbeitung
– Kompensieren und Ausgleichen von Image-Defekten (z.B. Geraderücken, Entfernen von Flecken) zur Optimierung des Scans sowie als Vorverarbeitungfür die OCR (Binarisierung)
� integriert im OCR-System oder als Vorverarbeitungsschritt vorgesehen
� Layout-Analyse und Segmentierung
– Erkennen von Layout-Elementen (Druckbereich, Marginalia, Seiten- und Kapitelzahlen etc.) und Blöcken (Text, Illustrationen etc.)
� Mehrinformation über diese Elemente und Blöcke (z.B. Koordinaten) können je nach Ausgabeformat in den Ergebnissen mitgeliefert werden
� Mustererkennung
– Erkennen einzelner Zeichen und Abgleich derselben mit der Datenbank von Klassifikatoren (= Zeichenmuster)
– Ausgabe von Ergebnissen (z.B. TXT, XML, RTF)
11.10.2011 DemoDay BSB
IMPACT is supported by the European Community under the FP7 ICT Work Programme. The project is coordinated by the National Library of the Netherlands.
6
IMPACT & ABBYY
� ABBYY ist der OCR-Technologie-Lieferant für IMPACT
� Die IMPACT Partner arbeiten mit der FineReader Engine (SDK)
� ABBYY verbessert Features im Rahmen von IMPACT, darunter:
– Bildvorverarbeitung
– Zeichenerkennung
– Segmentierung
� werden in zukünftige Produkte integriert
� IMPACT ermöglicht Forschung, liefert kein Produktivsystem
IMPACT is supported by the European Community under the FP7 ICT Work Programme. The project is coordinated by the National Library of the Netherlands.
Binarisierung
IMPACT is supported by the European Community under the FP7 ICT Work Programme. The project is coordinated by the National Library of the Netherlands.
Adaptive Binarisierung
Original-Scan
alteBinarisierung
neueBinarisierung
IMPACT is supported by the European Community under the FP7 ICT Work Programme. The project is coordinated by the National Library of the Netherlands.
IMPACT Binarisierung
9
� Original � Stand der Technik � IMPACT
IMPACT is supported by the European Community under the FP7 ICT Work Programme. The project is coordinated by the National Library of the Netherlands.
Segmentierung
Blöcke/Regionen Worte Glyphen/Zeichen
IMPACT is supported by the European Community under the FP7 ICT Work Programme. The project is coordinated by the National Library of the Netherlands.
IMPACT Segmentierung: Beispiel 1Pre-IMPACT FR Engine 9 FR Engine 10
Ein Teil wurde fälschlicherweise als Grafikblock interpretiert
11111111
IMPACT is supported by the European Community under the FP7 ICT Work Programme. The project is coordinated by the National Library of the Netherlands.
IMPACT Segmentierung: Beispiel 2
Fehler in der Zuordnung von Elementen wurden behoben
12121212
Pre-IMPACT FR Engine 9 FR Engine 10
IMPACT is supported by the European Community under the FP7 ICT Work Programme. The project is coordinated by the National Library of the Netherlands.
IMPACT Segmentierung: Beispiel 3Pre-IMPACT FR Engine 9 FR Engine 10
In v9 nicht berücksichtigte Textregionen sind jetzt inkludiert
13131313
IMPACT is supported by the European Community under the FP7 ICT Work Programme. The project is coordinated by the National Library of the Netherlands.
Fraktur-Erkennung
IMPACT is supported by the European Community under the FP7 ICT Work Programme. The project is coordinated by the National Library of the Netherlands.
Sprachen und Wörterbücher� Ziel: Schnittstelle zur Integration externer Wörterbüc her in die
Engine� 2008 - 2009:
• Betaversion der Schnittstelle• Selbe Prozessqualität möglich wie mit internen Wörterbüchern
15151515
� 2010 - 2011:• Schnittstelle “stabilisieren” (weitere
Funktionstests notwendig)• Partner einschulen wie die Schnittstelle
zu benutzen ist• Unterstützung für alle verfügbaren
Sprachen und Zeiträume
11.10.2011 DemoDay BSB
IMPACT is supported by the European Community under the FP7 ICT Work Programme. The project is coordinated by the National Library of the Netherlands.
16
Eigennamenerkennung
� Erkennen von Personen, Orten und Körperschaften in Volltexten
� Arbeitsschritte
1. Erstellen von Eigennamenverzeichnissen (z. B. Abtippen von Ortsverzeichnissen,
Konvertierung von Normdateien in geeignete Formate)
2. Indexieren von Volltexten
3. Suchschnittstelle generieren
� IMPACT Retrieval Demonstrator
IMPACT is supported by the European Community under the FP7 ICT Work Programme. The project is coordinated by the National Library of the Netherlands.
ALTO: neues natives Exportformat
� Verfügbar seit FineReader Engine 10 R2
� Unterstützt aktuelles Schema: ALTO v. 2.0
� Koordinaten auf Linienebene verfügbar
11.10.2011 DemoDay BSB
IMPACT is supported by the European Community under the FP7 ICT Work Programme. The project is coordinated by the National Library of the Netherlands.
18
Ergebnisvergleich
� Prozess 1
1. Geometrische Korrektur
2. Rahmenentfernung
3. ABBYY FineReader 10 Binarisation Service
4. ABBYY FineReader 10 OCR Service
� Prozess 2
1. ABBYY FineReader 10 OCR Service
11.10.2011 DemoDay BSB
IMPACT is supported by the European Community under the FP7 ICT Work Programme. The project is coordinated by the National Library of the Netherlands.
19
� Prozess 1 (Bildvorverarbeitung + FR 9)
� Prozess 2 (FR 9)
11.10.2011 DemoDay BSB
IMPACT is supported by the European Community under the FP7 ICT Work Programme. The project is coordinated by the National Library of the Netherlands.
20
Vielen Dank … Fragen?
Recommended