- From: "Familie Hug" <familie.hug AT swissonline.ch>
- To: "Meyers Lexikon" <Meyers AT lists.franken.de>
- Subject: [Meyers] Konzept Lexikon
- Date: Sun, 11 Jul 2004 20:47:31 +0200
- List-id: Meyers Konversationslexikon <meyers.lists.franken.de>
 
Hallo Liste
In der Anlage ist ein "Konzept Lexikon" (Version 1) für die weitere,
maschinelle Verarbeitung der korrigierten Texte von Meyers Lexikon (und
anderen). Der Entwurf laesst insbesondere in Teil 5 Document Type Definition
(DLMeta) noch zu wuenschen uebrig, ist aber sicher eine moegliche Basis zur
Diskussion.
Was meint Ihr zu den Geanken im "Konzept Lexikon"?
Ich werde weiter daran arbeiten, alle Anregungen und Kritiken sind
willkommen. Bis Oktober moechte ich mit der SAS-Software einen Prototyp
erstellen, der automatisch verlinkte Seiten erstellt, im Moment waeren dies
die Baende 14-16.
Gruss Peter Hug
PS: Das ist ein 2. Versuch. Ich hoffe, die Textdatei bzw. die identische,
mit WinZip komprimierte Worddatei sind lesbar. Ein erster Versand scheiterte
an der Limite 40 KB.
Konzept Lexikon                                               12. Juli 2004
Version 1
Im Folgenden sind verschiedene Überlegungen zur genauen Struktur und Form 
von Meyers Lexikon zusammengefasst. Als Konzept können sie später für eine 
maschinelle Verarbeitung der Texte verwendet werden. Ziel ist die 
automatische 
Verlinkung der Texte nach allen Schlagworten.
Gleichzeitig soll dieser Text zur Kommunikation und Kontrolle für die Gruppe 
der Bearbeiter dienen.
1) Textstruktur
Das Meyers Lexikon besteht aus über 16'000 Seiten und 160'000 - 200'000
Artikeln, je nach Zählart und Genauigkeit der Schätzungen. Der Text lässt 
sich wie folgt beschreiben.
1 a) Begriffe
Seite           In der ersten Zeile die Seitennummer, dann Leerzeile dann 
Titel 
                der Seite, dann Leerzeile, dann der erste Artikel (ev. 
                Fortgesetzt von der vorherigen Seite).
Titel der Seite Jede Seite hat einen Titel. Der Titel nennt den ersten neuen 
                Artikel und - bei mehreren Artikeln - den letzten neuen 
Artikel 
                auf der Seite. 
                Wenn kein einziger neuer Artikel vorkommt, wird der aktuelle 
                Artikel genannt, in Klammer die aktuellen Abschnitte im 
Artikel.
Artikel         haben am Anfang ein Schlagwort, danach folgen mehrere 
Vollworte. 
                Artikel können einem oder auch mehreren Themen zugeordnet 
sein.  
                Artikel können unterteilt sein, z. B. 1), 2) etc. oder zwei
                Artikel können das gleiche Schlagwort haben. Bsp.: 14/637, 
                14/638. 
                Artikel sind durch eine Leerzeile getrennt.
Vollworte       sind die durch Leerzeichen getrennten Elemente im Artikel. 
                Sie werden im ersten Lesen eindeutig an den Leerzeichen 
erkannt. 
                Vollworte enthalten eventuell mehrere Worte (z.B. Hans-Peter) 
                sowie alle Satzzeichen, z.B. "Aufl.,". 
                Vollworte haben bis ca. 40 Zeichen, z.B. 21/114, Eisensalmiak 
                "Chlorwasserstoffammoniakeisenchlorid"
Schlagworte     sind die Suchbegriffe in der natürlichen Sortierung vom 
Lexikon. 
                Die Schlagworte (auch Stichworte genannt) sind der Titel der 
                Artikel. 
                Schlagworte haben 1 bis etwa 4 Worte (z. B.14/931 Sic eunt 
...).
                Das Schlagwort ist eine Wortgruppe (siehe unten), geht bis 
zum 
                ersten Komma, Strichpunkt oder Klammer, ist ohne Ausdrücke in 
                Klammern (z.B. spr = sprich) und ohne Satzzeichen. 
                Die Ausdrücke in Klammern können als weitere Schlagworte 
dienen. 
                Das Komma kann fehlen (z.B. Seegefahr, 14/804) oder durch 
einen 
                Punkt ersetzt sein (z.B. Selbstversicherung 14/845). 
                Bei Pflanzen und Tieren werden Abkürzungen zu Entdecker 
                weggelassen (z.B. Semecarpus, 14/851). Ausnahmen:
                a) "Senegali, kleiner", mit Komma (14/863); 
                b) "Senegapflanze und Senegawurzel", zwei Schlagworte 
(14/864); 
                Dem Schlagwort im Text können Beugungen folgen, z.B. "Mühle" 
zu 
                "Mühlen". Als Näherung: "-n, -e, -en, -es, -s, -er", sie 
müssen 
                aber eindeutig bleiben. 
                Jedes Schlagwort wird im ganzen Lexikon gesucht und nach 
                Möglichkeit zweiseitig verlinkt. Basis ist die reduzierten 
Worte
                (siehe unten). 
1 b) Spezialzeichen
Bindestich      "-" verbindet zwei Worte, ist Teil eines Vollwortes.
Gedankenstrich  "-" ist ein Vollwort.
Klammern        (runde) oder [eckige] Klammern stehen am Anfang oder am Ende 
von 
                Vollworten.
Anführungszeichen (") stehen am Anfang oder am Ende von Vollworten.
Satzzeichen     Elemente zur Gliederung oder Betonung der Sätze: Semikolon 
";", 
                Punkt ".", Fragezeichen "?" sowie Ausrufezeichen "!". 
                Nebst weiteren Spezialzeichen stehen sie nur am Ende von 
                Vollworten, nie innerhalb. 
                Im Lexikon wird das Semikolon fast wie der Punkt verwendet.
Apostroph '     z.B. als Auslassung beim Genetiv "s", ist NICHT paarig.
Zahlen          Ziffern, inkl. Apostroph ', Komma. Beispiele: "123", "12,098" 
                Römische Zahlen, z.B. IV. Aber auch 14jährig, oder 60er. 
                Vollworte aus Zahlen sind nicht mit Buchstaben gemischt.
Transkription   Zeichen aus der Bearbeitung, z.B. ^[folgende Seite], 
                ^[Abb: Titel.]
Sonderzeichen   §, +, =, /, etc.
1 c) Worte
Wortgruppen     bestehen aus mehreren Vollworten, die zusammen gehören.  
                Beispiele: Abgekürzte Vornamen plus Namen (J. W. Goethe), 
                Abkürzungen (s. v. w.) oder ein Datum (27. Juni 1860).
Datum           Eine typische Wortgruppe (27. Jan. 1864), erkennbar an 
Jahrzahl 
                im Bereich 1 bis 1890, eventuell einem Tag (1. - 31., mit 
Punkt) 
                und vollem oder abgekürztem Monat (Jan, Feb, März, April, 
Mai, 
                Juni, Juli, Aug, Sept, Okt, Nov, Dez). 
                Auch "31. März (a. St.) 1800" für den russischen Kalender.
Verknüpfung     Einzelne Vollworte können zu einer Wortgruppe verknüpft 
werden. 
                Technisch wird dies wieder ein Vollwort sein. Dies geschieht
                über manuell vorbereitete Namens- und Abkürzungslisten von 
                gültigen Wortgruppen oder beim Datum über bestimmte Regeln 
                während dem Einlesen. 
Worte           sind die üblichen "Worte" ohne Spezialzeichen, also die 
                elementaren Bausteine der Sprache, gebildet aus Buchstaben 
               (inkl. solchen aus Fremdsprachen), oder Zahlen. 
                Die Differenz vom Wort zum Vollwort sind die Spezialzeichen. 
Ein 
                Vollwort kann mehrere Worte enthalten (vor allem bei 
                Bindestrichen -) oder auch keines, z.B. "(!)". Ein Wort kann 
                auch Leerzeichen enthalten, die aus einer Verknüpfung 
entstanden 
                sind, siehe Wortgruppe.
Reduzierte Worte sind Worte, die nur das klassische Alphabet enthalten: A-Z, 
a-z 
                und 0-9. Alle Akzente werden weggelassen, die Umlaute sind 
auf 
                ae, oe, ue umgesetzt. 
                Die reduzierten Worte werden gebraucht, um die Suche, die 
Tests 
                und die Vergleiche unabhängig von der Schreibweise mit 
Akzenten 
                etc. durchzuführen (Meyers ist leider nicht konsequent). 
                Wenn zweckmässig, kann auch die Gross- und Kleinschrift 
                weggelassen werden. 
                Bei reduzierten Worten werden auch Endungen (1-2 Zeichen) 
                weggelassen, z.B. "Mühle" statt "Mühlen". 
                Aus reduzierten Worten können gute Verweise abgeleitet werden.
                Sie sind die Basis für das Verlinken.
Abkürzungen     haben immer einen Punkt am Schluss, "z. B." oder "s. v. w.".
                Auch bei Zahlen, 2. etc. Siehe Datei der Abkürzungen.
1 d) Sätze
Sätze           sind durch einen Punkt oder begrenzt, aber ohne Abkürzungen. 
                Sätze sind nicht eindeutig erkennbar.
Teilsätze       sind mit Strichpunkt (=Semikolon = ;) oder Punkt abgetrennte 
                Teile eines Artikels.
Absätze         sind durch eine neue Zeile gekennzeichnet. Jedem Absatz muss 
ein 
                Punkt vorausgehen. 
                Zwischentitel können einen eigenen, kurzen Absatz bilden.
Lange Sätze     z. B. bei Sinnlichkeit, 14/994.
2) Verarbeitung
2 a) Seitenumbruch
In einem ersten Schritt sind die Artikel zu verbinden, wenn diese über 
mehrere 
Seiten verteilt sind. Dabei entfällt der Hinweis ^[folgende Seite]. Die 
ursprünglichen Positionen je Seite bleiben erhalten. Am Seitenanfang gelten 
folgende Regeln:
- Wenn das erste Wort mit dem Titel der Seite übereinstimmt, beginnt ein 
neuer 
  Artikel, sonst wird der letzte Artikel fortgesetzt.
- Wenn auf der vorangehenden Seite ^[folgende Seite] steht, dann wird der 
  Artikel fortgesetzt. 
Das letzte und das erste Wort werden ohne Bindestrich verbunden. 
Ausnahme: Der erste Buchstabe auf der neuen Seite ist gross geschrieben.
2 b) Interpretation
Verweise        "s." bedeutet, dass das zu suchende (Haupt-) Schlagwort folgt 
                      auch mehrere, getrennt mit und). Vgl. 14/0698, 14/0804 
                "(s. d.)" bedeutet, dass ein Schlagwort vorangeht, vgl. 
                      Seelilien, 14/810 
                "s. v. w." bedeutet, dass ein sekundäres Schlagwort folgt. 
                "Vgl. auch" bedeutet, dass ein sekundäres Schlagwort folgt. 
                "(s. d. 1)" bedeutet: Siehe dort, erster Teilartikel, z.B. 
                      Skorpion, 14/1023
Themen          Geographie: Im Artikel werden Einwohner (meistens "Einw.")
                erwähnt. Die folgende Schreibweise ist üblich: "(1883) 5000 
                Konfession Einw." (Wortgruppe). 
                Häufig sind auch Teile wie "Bezirksamtsstadt".
                Person: Schlagwort "geb." in den ersten 30 Worten plus Datum, 
                oder auch Schlagwort "gest." im Text.
                . . . weitere (?)
Literaturzitate erkennbar am Merkmal (Wien 1867), häufig ";" oder "." 
                folgend. In der Klammer treten verschiedene Schlagworte auf 
                wie "Aufl.", "Bde.", "Tle.", auch ohne Ortsangabe. Im Text 
                gegen Ende eines (Teil-)Artikels oft eingeleitet mit "Vgl.".
Personen        Artikel nennen bei Personen oft ein Wirkungsgebiet im 3. 
                Element (nach Name, Vorname und vor der Geburt). 
                Maler, Schauspieler, Dichter
2 c) Maschinelle Prüfungen
Statistiken     Welche Zeichen kommen wie häufig vor? 
                Wie viele  Zeichen hat ein Wort maximal? 
                Welche Worte kommen wie häufig vor? 
                Wie gross sind die Artikel? (Zeichen, Worte, Sätze, 
Teilsätze).
Textanalyse     Welche Mischformen Ziffern mit Buchstaben gibt es? 
                Grosse Buchstaben nur am Wortanfang, oder alle sind gross. 
                Gehen die (runden) und [eckigen] Klammern auf? Wo nicht?
                Sind die "Anführungszeichen" paarig (Länge des Textes). 
                Nach "." oder ";" folgt ein Leerzeichen oder Interpunktion. 
                Nach Leezeichen folgen KEIN "." oder ";".
Sortierung      Folgen sich die Artikel in alphabetischer Reihenfolge? 
                Stimmen die Titel der Seiten mit den Schlagworten? 
                Ähnlich ist: Gibt es zu jedem Titel einen Artikel?
Ideen           Literaturzitate Artikel-Ende mit (hängenden) Absätzen 
markieren.
                Schlagworte im Text konsequent fett und als Link markieren.
3) Datenmodell
Schreibweise    Variablen sind GROSS geschrieben. In Klammern steht die Länge
                bzw. das Format der Variablen in Anzahl Zeichen / Stellen. 
                Textvariablen sind mit Dollar ($) gekennzeichnet.
3 a) Variablen
Sicht Druck     BAND (2), SEITE ($5), NUMMER (4).
                NUMMER bezeichnet die Nummer des VOLLWORTES auf der Seite.
Sicht Lexikon   ARTIKEL ($30), NUMA (4), THEMA ($10) 
                NUMA bezeichnet die Nummer des VOLLWORTES im Artikel.
Text            VOLLWORT ($40), WORT($40), RWORT($40)
Ein Artikel wird durch die VOLLWORTE vollständig wieder gegeben, das erste 
VOLLWORT bzw. das erste WORT entspricht dem ARTIKEL. Die reduzierten Worte 
dienen den besseren Verweisen.
Jedem WORT und RWORT entspricht genau ein VOLLWORT.
3 b) Dateien
Hauptdatei      Die Hauptdatei enthält den Lexikontext im Original mit den
                Variablen. 
                   BAND, SEITE, NUMMER  
                   ARTIKEL, VOLLWORT.
Artikeldatei    Die Artikeldatei enthält alle Artikel mit dem  
                   ARTIKEL (Schlagwort),  
                   BAND, SEITE, NUMMER, THEMA, Anzahl Worte (5)
Verweise        Datei mit den Verbindungen von Anker und Ziel, bestehend aus 
                   RWORT, 
                   Anker mit BAND, SEITE, NUMMER 
                   Ziel mit BAND, SEITE, NUMMER. 
                Aus den Verweisen sollen ev. zusammen mit den Themen Cluster 
mit
                verwandten Gebieten gebildet werden.
Abkürzungen     Datei mit den gültigen Abkürzungen gemäss den 
Anfangsbuchstaben 
                im Lexikon 
                   ABKÜRZUNG, VOLLWORT
3 d) Mengen
Lexikon         Das Lexikon hat 16 Bände à 1000 Seiten, also 16'000 Seiten.
Seite           Jede Seite hat etwa 1000 Worte mit 7000 Zeichen, also 7 KB.
Zeichen         Im Lexikon sind etwa 16'000 x 7 KB = 112 MB Daten aus Zeichen.
Artikel         Im Schnitt sind pro Seite 10 Artikel, im Lexikon sind also 
                160'000 Artikel. Ein Artikel kann über mehr als 20 Seiten 
gehen 
                (Schweiz), also mindestens 20'000 Worte enthalten.
Files           Annahme: Jedes Ergebnis-File soll etwa ca. 100 KB-Daten 
                enthalten.
                Jede Seite Meyers hat 7 KB-Daten, mit geschätzten Links und 
                Formatierungen etwa 10 KB pro Seite.  
                Also können 10 Seiten in 1 Datei gepackt werden. 
                Das gibt etwa 1'600 Dateien für das ganze Lexikon.
4) Funktionen
Kontext         Bestimmte Worte oder Zeichen werden im Kontext gezeigt, d.h. 
mit 
                x Worten vorher und nachher.
Alle Artikel    Zu einem bestimmten Artikel werden in Stufe 1 auch alle 
Artikel 
                angezeigt, die einen direkten Verweis haben ("siehe" oder "s. 
v. 
                w."). 
                In Stufe 1a werden alle Artikel gezeigt, die über ein 
Schlagwort 
                im Text des Artikels gefunden werden können. 
                In Stufe 2 könnten auch alle Referenzen der gefundenen 
Artikel 
                aufgelöst werden.
5) DTD Dokument Typ Definition
Achtung         Dieses Kapitel ist nur eine Sammlung von Wissen und dient 
                vorerst als Gedankenstütze.
 
Wenn mir jemand helfen kann, bin ich froh.
Prolog          <?XML version="1.0" encoding="iso-8859-1"?> 
                <!DOCTYPE DLmeta SYSTEM 
                "
http://www.dlmeta.de/dlmeta/2000/DLmeta.dtd" []> 
                <ABSTRACT> Meyers Lexikon in digitalisierter, verlinkter Form 
                </ABSTRACT> 
 
                <DLmeta>
                   <Object Origin="Uni Ulm" ObjectID="UT_Sample_001">
                   <Title><TitleMain>  
                     Meyers Konversationslexikon 1888 
                   </TitleMain></Title>  
                     Hier werden die eigentlichen Metadaten eingefügt.
                   </Object>
                </DLmeta>
Lexikon         <Lexikon> 
                   Artikel 
                </Lexikon>
Artikel         <!ENTITY Abk "Schlagwort">  
                <Artikel> 
                   <Schlagwort>  SCHLAGWORT </Schlagwort> 
                   <Text>  TEXT  </Text> 
                </Artikel>
                <Text> 
                   <Aufzählung> Nummer  </Aufzählung> 
                   <TeilSchlagwort> TEILSCHLAGWORT </TeilSchlagwort> 
                   <Text1>  TEXT1 </Text1> 
                </Text>
Markierungen    <B> fett </B> 
                <UL> unterstreichen </UL> 
                <BR/> Neue Zeile
Abkürzungen     <!ENTITY Abk "Spezielle Abkürzung" > 
                Aufruf als &Abk;, soweit im gleichen Dokument deklariert.
Definitionen    <!ELEMENT z (#PCDATA|a|ul|b|i|em)*>
Referenzen      <!ATTLIST artikel  id  ID #REQUIRED> 
                <!ATTLIST Schlagwort referenz IDREF #REQUIRED> 
                <artikel id="1234"> ... </artikel> 
                <Schlagwort referenz="1234"> ... </Schlagwort> 
                <img src="
http://www.abc-comp/logo.gif">
------------------------------------------------------------------------
Autor:          Peter Hug, CH-3173 Oberwangen b. Bern
Mail:           
familie.hug AT swissonline.ch
Attachment:
Konzept Lexikon 1.zip
Description: Zip compressed data
- [Meyers] Konzept Lexikon, Familie Hug, 07/08/2004
- <Possible follow-up(s)>
- [Meyers] Konzept Lexikon, Familie Hug, 07/11/2004
 
Archive powered by MHonArc 2.6.19+.