Meyers Konversationslexikon

Text archives Help


[Meyers] Vorverarbeitung?


Chronological Thread 
  • From: Laeuter <laeuter AT mathematik.uni-leipzig.de>
  • To: meyers AT lists.franken.de
  • Subject: [Meyers] Vorverarbeitung?
  • Date: Wed, 10 Sep 2003 10:37:51 +0200
  • List-id: Meyers Konversationslexikon <meyers.lists.franken.de>

Hallo!
Folgende Idee trieb mich schon einige Zeit um: Der erste Arbeitsgang
beim Korrigieren einer Seite des Lexikons bestand bei mir immer im
Anwenden eines mehr oder minder ausgefeilten Programms auf das
runtergeladene Textfile, damit die schlimmsten und regelmäßigsten Fehler
automatisch behoben werden, was in der Regel viel Arbeitszeit spart.
Aber das muss doch jedem Korrektor ganz genauso gehen. Und jeder
schreibt sein eigenes Programm. In der Liste hatten wir ja schon einen
Versuch, Scripte weiterzunutzen. Leute, die zum erstenmal korrigieren
oder nicht auf der Liste sind, haben davon nichts.

Deshalb ist mein Vorschlag, die geOCRten Seiten, die man momentan
runterladen kann, schon vorzuverarbeiten, so dass jeder, der sich an
eine Seite macht, die regelmäßigsten Fehler schon nicht mehr sieht. Da
müsste also ein Programm Seiten runterladen, erstkorrigieren, wieder
einchecken. Der Nutzen bestünde darin, dass man dieses Programm zentral
pflegen könnte, und jeder eingebaute Vorschlag kommt *allen* Korrektoren
zugute, egal, ob sie bisher ein Script hatten oder nicht.

Ich habe also ein solches Programm geschrieben. Das macht der
Reihenfolge nach folgendes:
- Anwenden von wenigen Ersetzungsregeln (I+Vokal=>J+Vokal usw.),
- Ersetzen von i,l und I in Nachbarschaft von zwei Ziffern durch 1,
- Zusammenziehen von bis zu 12 Buchstabengruppen (unter Weglassung von
Bindestrichen, Leerzeichen und Punktuation), bis ein bekanntes Wort
entsteht (*).
- Berichtigen von Wörtern (*).
Der resultierende Text wird ausgegeben, wahlweise mit Markierung von
unbekannten Wörtern und korrigierten Stellen.

(*) heißt: Ein String wird auf Existenz in einer Wortliste (einschlägige
Wörterbücher einschl. gebeugte Formen + die akzeptierte Wortliste aus
unserem Meyers + mindestens dreimal vorkommende Wörter im korrigierten
15. Band) getestet, wobei häufige Buchstabenfalscherkennungen toleriert
werden. Wenn es in der Wortliste genau ein passendes Wort gibt, wird es
im Text ersetzt.

Nun sollte man einen solch wichtigen Eingriff in die Datenbank nur
machen, wenn man *wirklich* den Eindruck hat, dass die bestmögliche
Arbeit geleistet wurde und damit die Produktivität tatsächlich
verbessert wird. Wie gewährleisten wir das?

Zuerst schicke ich also archiviert jeweils 5 Seiten aus Band 14 und 16,
vor und nach der automatischen Verarbeitung mit. Und ich hoffe, dass wir
dann über weitere Korrekturmöglichkeiten reden können, wenn wir die
Resultate vor Augen haben.

Viele Grüße,
Martin Läuter.

P. S.: In den korrigierten Dateien bedeutet
# unbekanntes Wort und
_ wurde korrigiert.

Attachment: meyer-korr.zip
Description: Binary data




Archive powered by MHonArc 2.6.19+.

Top of page