Als Ausgangsbasis dient der Dump aller englischen Artikel. Dieses 25GB XML Monster hat mich fast den letzten Nerv gekostet aber am Ende war's dann doch easy. Jetzt habe ich also die Inhalte in eine MediaWiki Instanz gebracht und kann die Inhalte wunderbar ansurfen. Quasi ein Mirror ohne Versionshistorie etc.
Jetzt würde ich aber gerne bestimmte Inhalte aus dem Content parsen. Ich habe z.B. eine Auswahl an 400k Wikipedia Artikeln, die Auswahl klappt auch und auch die Inhalte aus der DB zu lesen oder die final gerenderten Seiten zu parsen... aber dieses verdammte WikiMarkup macht mich wirklich irre.
Die Inhalte liegen nicht als HTML Markup in der DB sondern im Wiki Markup. Die Basis Elemente (Headlines, Listen Absätze,Links) davon richtig zu parsen ist kein großes Problem - schwierig wird es bei der Verwendung von Templates und Tabellen.
Eine Überlegung wäre die Seiten über die MediaWiki Installation aufzurufen und dann das HTML zu parsen. Da ist allerdings das Problem, dass die einzelnen Seiten noch nie gerendert wurden (und dass ich bei einigen Templates Probleme habe). Wenn ich nun mit einem Script auf dem localhost die entsprechenden Einträge crawle bin ich nicht schneller als die Abfragen direkt gegen die Live-Version von Wikipedia zu stellen.
Dort liegt das Rate-Limit bei einer Seite pro Sekunde. Wenn ich davon ausgehe, dass ich das Abrufen schnell genug erledige und ich wirklich jede Sekunde eine Abfrage stellen kann läuft das Script immer noch 4,5 Tage (bei 400k Einträgen). Dazu kommt dann noch ein Parsen der einzelnen Dokumente, was sicherlich auch bei etwa einer Sekunde pro Dokument liegen dürfte. Also insgesamt 9 Tage Laufzeit.
Ich habe schon verschiedene Parser Bibliotheken für Wiki Markup ausprobiert aber keiner konnte überzeugen. Hat hier also jemand vielleicht schonmal Erfahrung mit dem Parsen von Wiki Markup gesammelt?
Gerne würde ich dies ja für den gesamten Dump durchführen. Nur die API Variante ist da ein wenig sehr krass
denn das sind 2m Einträge.Am besten wäre eine Klasse/Funktion/Bibliothek mit der ich das rohe Wikimarkup zumindest grob rendern kann (unbekannte Elemente und auch Tabellen können ausgelassen werden) oder die Inhalte um den Wikicode bereinigt zurück bekomme.
Alle Hinweise sind willkommen
Beste Grüße
Nils
