Die Suche nach Mikroformaten

Seit Anfang dieses Jahres 2008 betreibe ich eine Suchmaschine names VIREL auf www.virel.org. VIREL durchforstet das Internet mittels verteilter Crawler nach Mikroformaten.

Mikroformate sind kleine standardisierte Codesegmente um z.B. Kontakte, Ereignisse (Events), sowohl menschen- als auch maschinenlesbar, strukturiert abzulegen. Durch die Nutzung von Mikroformaten wird der Inhalt von Webseiten für Maschinen (z.B.) Suchmaschinen verständlich und Inhalte untereinander in Beziehung gesetzt (Semantisches Web), ohne dass dadurch die Benutzerfreundlichkeit leidet. Für mehr Informationen über Mikroformate empfehle ich folgende Links:

VIREL durchsucht nun das Internet nach diesen Formaten. Bis heute, September 2008 hat VIREL über 20 tausend Kontakte gefunden, täglich kommen ca. 500 dazu. Die Anzahl der kalendarischen Events schwankt, da Ereignisse veralten wenn sie in die Vergangenheit rücken. Natürlich hat niemand Interesse daran, Events zu finden die bereits statt gefunden habe. Derzeit hält VIREL somit um die tausend bis zwei tausend aktuelle Events, tendenz steigend.

Ein Problem von Mikroformaten ist derzeit noch die fehlende Popularität und somit die Verbreitung und Aktzeptanz dieser. Grosse Unternehmen bauen Mikroformate zwar bereits in Ihre Produkte ein, z.B. unterstützt mittlerweile Firefox 3.0 Mikroformate und auch der neue Internet Explorer 8 soll Mikroformate unterstützen, doch der allgemeine Durchbruch lässt noch auf sich warten.

Für Die Statistiker habe ich noch ein paar Zahlen vorbereitet, die durch die Arbeit der VIREL Suchmaschine im Zeitraum von April 2008 bis September 2008 ermittelt wurden.

  • Derzeit ist auf ca. 1.2% der Webseiten mindestens ein Mikroformat vorhanden
  • ca. 90% davon sind hCards, 7% hCalendars und der Rest andere Mikroformate
  • Die meisten Mikroformate sind derzeit (wer hätte das gedacht) in den USA zu finden, gefolgt von GB und Deutschland sowie im Rest von Europa.

Die Features der Suchmaschine in aller Kürze

  • Submit-Funktion für eigene Webseiten
  • VIREL kann als Hoster für Kontakt genutzt werden
  • Volltext- und phonetische Suche
  • Alternative Suchangebote
  • Manueller Import von .vcf vCard Dateien
  • RPC Schnittstelle um Suchergebnisse z.B. direkt in eigene Webseite zu Integrieren

Die technischen Features werden auch auf der Technical Page (EN) von VIREL erklärt.

In naher Zukunft soll VIREL noch mehr Mikroformate verstehen und die Nutzerschnittstelle soll besser werden. So ist z.B. denkbar dem Benutzer automatisch die Kontakte oder Events zu präsentieren, die geografisch am nächsten zu seinen eigenen Standort liegen. Das ist aber nur einer der vielen Ideen. Wir werden sehen was davon letztendlich die nötige Reife erlangt…

Überwachung komplexer IT-Systeme

Jeder der einen oder mehrere IT-Geräte betreibt und damit Dienste anbietet, kommt zwangsläufig zu der Erkentnis, dass es sich ohne ein Monitoring dieser Dienste nicht mehr gut schlafen lässt. Besonders wenn es sich um Dienste handelt, die 24 Stunden am Tag, 7 Tage die Woche erreichbar und funktionsfähig sein müssen.

Ich selbst betreibe mehrere Internetportale, die diverse Dienstleistungen bereit stellen. Nach ein paar Minuten Rechere im Internet nach einer geeigneten Software habe ich mir die Software Nagios näher angeschaut. Sie ist Open Source und ist hier verfügbar: http://www.nagios.org

Hier mal ein paar Features der Nagios Software die mich überzeugt haben:

  • Web-Interface incl. diverse Konfigurationsmöglichkeiten
  • Hohe Konfigurierbarkeit und flexibles Plug-In System
  • Praktisch für jeden Dienst gibt es ein Monitoring Plug-In in Nagios
  • Überwachung von Remotesystemen mittels SSH oder NRPE
  • Diverse Benachrichtigungsmöglichkeiten wie E-Mail usw.
  • Es ist Open-Source Software

Die Installation von Nagios unter Linux Systemen ist in etwa 15 Minuten erledigt, setzt aber bereits gute Linux-Kentnisse voraus. Es gibt Installationsanleitungen für einige Linux Distributionen auf der Nagios Webseite. Für Debian habe ich dort allerdings keine gefunden. Eine Sehr gute Dokumentation zur Installation von Nagios unter Debian habe ich dann nach etwas Suchen über Google doch noch gefunden: http://www.debianhelp.co.uk/nagiosinstall.htm

Die Plug-Ins in Nagios bieten für fast jeden Dienst einen geeigneten Test an. Auf der Seite http://www.nagios-wiki.de/nagios/plugins/start wird die Funktionsweise und Verwendung der Plug-Ins recht gut Dokumentiert. Dort ist unter http://www.nagios-wiki.de/nagios/plugins/check_by_ssh auch die Installation des Monitorings von Remotesystemen mittels SSH und Public Key Autentifinzierung erklärt.

Ich setze Nagios jetzt seit knapp einer Woche im Echtbetrieb ein und bin damit sehr zufrieden.