Home  |  Plan  |  Index  |  Suchen

Convert to GutenPalm or to PalmDoc von Logreport, Egon Willighagen Über den Autor: Neben seiner Tätigkeit für das LinuxFocus-Projekt, arbeitet Egon auch für die Logreport Foundation, die die lire-Software entwickelt. Inhalt: Einführung Installation Lire als cron-Job Lire als eigenständiges Programm Zusammenfassung Talkback für diesen Artikel

Analyse der Log-Dateien Ihrer Internet-Anwendungen

Zusammenfassung:

Dieser Artikel ist der erste in einer Reihe von Artikeln, die sich mit dem Einsatz von lire zur Analyse der Log-Dateien von Internet-Anwendungen befasst. lire beschränkt sich nicht auf einen Dienst, wie z. B. Apache, sondern ist ein integriertes Analyse-Werkzeug für verschiedene Dienste. Bereits analysiert werden DNS, WWW und e-Mail. Dieser Artikel erläutert die ersten Schritte mit lire. Er diskutiert die Installation und die Konfiguration zur Berichtserstellung.

Einführung

Fast alle Internet-Dienste können ihre Aktivitäten in Log-Dateien speichern. Der Apache-Webserver z. B. schreibt für jede angeforderte Web-Seite eine Informationszeile in seine Log-Datei. In Abhängigkeit vom gewählten Log-Format enthält diese Zeile folgende Informationen: welche Seite wurde angefordert, die Größe der Seite, welcher Browser wurde benutzt, und einige Informationen mehr. Bei Ihrem e-Mail-Server wird eine ähnliche Log-Datei geführt. Diese enthält die e-Mail-Adresse des Absenders, den Empfängernamen und die Größe der e-Mail. Tatsächlich bieten alle Internet-Dienste diese Möglichkeit.

Diese Log-Dateien enthalten eine Unmenge an Informationen, aber eine manuelle Auswertung des Formats ist sehr schwierig. Man benötigt ein Werkzeug, welches Zusammenfassungen der Daten erstellt, um den Inhalt zu analysieren. Bei WWW-Diensten umfasst dies eine Hitliste der benutzten Web-Browser, Domain-Zugriffe und benutzte Plattformen und grafische Darstellungen der Zugriffsstatistiken. Die meisten Zähler von Dritt-Herstellern bieten diese Übersichtsmöglichkeiten.

Für viele Log-Formate sind Werkzeuge zur Analyse vorhanden. lire ist solch ein Werkzeug. Aber es unterscheidet sich von anderen Werkzeugen. Lire ist ein integriertes System, welches nicht nur einen Internet-Dienst analysieren kann, sondern mehrere. Und die Berichte, die die interessanten Informationen aus der Log-Datei bereitstellen, sind konfigurierbar. Sie können Ihre eigenen maßgeschneiderten Berichtsarten hinzufügen. .

Lire kann unterschiedlich benutzt werden. Sie können es aus der Befehlszeile starten oder einen crontab-Job installieren, der Ihnen die Berichte per e-Mail zusendet. Im erstem Falle können Sie das Ausgabeformat des Berichtes wählen. Z. Z. sind die Formate Klartext, HTML, DocBook, PDF und LogML verfügbar. Für den crontab-Job ist das einzige Format im Moment Klartext.

Z. Z. können die Log-Dateien folgender Dienste analysiert werden::

• www
  • Apache
  • Boa
• email
  • Exim
  • Postfix
  • Sendmail
  • Qmail
• dns
  • Bind8/9

Lire wird aktiv (weiter)entwickelt, derzeit arbeiten drei bezahlte Kräfte daran. Zu ihren Aufgaben gehört der Support. Wenn Sie besondere Wünsche (z. B. Auswertungen für einen zusätzlichen Internet-Dienst) oder allgemeine Unterstützungsfragen haben, hinterlassen Sie eine Nachricht auf LogReport's SourceForge site.

Installation

./configure
make
make install

Das Konfigurations-Programm versteht folgende Optionen:

Wenn Sie zusätzliche Ausgabeformate ausser Klartext benutzen wollen, müssen Sie XML-Werkzeuge wie DocBook, XML-Stylesheets, Jade und XML-Prozessoren wie Xalan oder Sablotron installiert haben. Mit der dritten Option können sie dem Konfigurationsprogramm mitteilen, wo die SGML-Dateien installiert sind.

Lire als cron-Job

Did you start this script as this user? (Haben Sie dieses Skript als berechtigter Benutzer gestartet?)

Das Skript muss von einer Benutzerin gestartet werden, die die Log-Dateien lesen darf. Log-Dateien können oftmals nur mit der root-Berechtigung und von Mitgliedern der Gruppe adm gelesen werden. Überprüfen Sie, ob der Benutzer die Log-Dateien lesen kann. Ein Beispiel:

~> cd /var/log
/var/log> ls -al apache/access.combined.log
-rw-r----- 1 root root 70902 Jul 27 13:23 apache/access.combined.log
/var/log> whoami
egonw
/var/log> groups
egonw adm dialout

In diesem Beispiel kann der aktuelle Benutzer egonw die Log- Dateien nicht lesen. Nur root kann z. Zt. die Datei lesen. Der Benutzer ist aber Mitglied der Gruppe adm . So können wir dieses Problem lösen, indem durch root die Gruppe der Log-Datei geändert wird::

/var/log# whoami
root
/var/log# chgrp adm apache/access.combined.log
/var/log# ls -al apache/access.combined.log
-rw-r--r-- 1 root adm 70902 Jul 27 13:23 apache/access.combined.log

Temporary files are by default not kept. Do you want to keep these? (Zwischen-Dateien werden per Default nicht aufbewahrt. Wollen Sie diese erhalten?)

Normalerweise können Sie diese Frage mit nein beantworten.

Are you planning to run an online responder? (Wollen Sie eine Online-Auswertung benutzen?)

Die Online-Auswertung ermöglicht es, Ihre Log-Datei per e-Mail diesem Auswerteprogramm zuzusenden und den Bericht zurück geschickt zu bekommen. Dies macht Sinn für Administratoren größerer Netzwerke. Für normale Benutzung können Sie mit nein antworten.

By default, temporary files are stored in ~/tmp. Do you want to change this? (Zwischen-Dateien werden in ~/tmp gespeichert. Wollen Sie das ändern?)

Defaultwertmäßig werden temporäre Dateien in Ihrem Startverzeichnis gespeichert. Sie können diese Einstellung durch Eingabe von "yes" und dem Namen des Verzeichnisses ändern, in dem diese Dateien gespeichert werden sollen. Beachten Sie, dass es sich um ein Verzeichnis handeln muss, indem der lire-Benutzer Schreibberechtigung hat.

Do you want to sent a disclaimer with the generated reports? (Möchten Sie einen Haftungsausschluß mit den erstellten Berichten versenden?)

Wenn Sie Ihre Berichte an andere weiterleiten und Sie eine Haftungsausschluß-Erklärung anhängen möchten, beantworten Sie diese Frage mit "yes". Wenn die Berichte nur intern benutzt werden, können Sie hier mit "no" antworten.

By default, status and error messages are sent to stderr. Do you want to change this to syslog? (Als Defaulteinstellung werden Status- und Fehlermeldungen auf stderr ausgegeben. Wollen Sie dies auf syslog ändern?)

Wenn Sie mit "yes" auf diese Frage antworten, legen Sie fest, das Fehler- und Statusmeldungen an logger(1) anstelle von standard error (STDERR) übertragen werden. Sie müssen dann syslogs logger(1) installiert haben..

By default, informative and debug messages are suppressed. Do you want to run the system in debug mode? (Standardmäßig werden Informations- und Debug-Meldungen unterdrückt. Soll das System im Debug-Modus laufen?) Für normale Benutzung sollten Sie "no" eingeben.

Do you want to use some default settings for all services? (Wollen Sie einige Defaulteinstellungen für alle Dienste benutzen?)

Für jeden Dienst können Sie gesondert eine e-Mail-Adresse und einen Betreff angeben. Zur Vereinfachung können Sie auch eine globale Defaulteinstellung setzen. Geben Sie "yes" ein, um diese Defaulteinstellung zu setzen.

Would you like to use a default to-address? (Möchen Sie eine Defaultwert-Adresse benutzen?)

Wenn Sie mit "yes" antworten, wird diese e-Mail-Adresse für die Versendung der Berichte benutzt. Sie kann für spezielle Dienste überschrieben werden.

Would you like to use a default subject stem for the generated email? (Wollen Sie eine Standard-Betreffzeile für die erzeugte e-Mail benutzen?)

Wenn Sie "yes" antworten, können Sie ein Muster angeben, nach dem die Betreffzeile erstellt wird. Der Defaultwert sieht (für Apache-Logdateien) folgendermassen aus: "[LogReport] www /apache report"

Which services are running? (Welche Dienste sind aktiv?)

Alle weiteren Fragen beziehen sich darauf, für welche Dienste lire Berichte erstellen soll. Die Fragen sind für alle Dienste gleich und werden hier nicht für jeden Dienst einzeln aufgeführt. Für jeden Dienst werden folgende Fragen gestellt:

Are you collecting ***** logfiles on this host which you'd like to get processed? (Erstellen Sie *****-Logdateien auf diesem Rechner, die verarbeitet werden sollen?)

Die von lire unterstützten Programme werden in sogenannten Dienste-Gruppen zusammengefasst. Die erste Frage für jede Gruppe ist immer, ob Sie Log-Dateien erstellen, die von lire ausgewertet werden sollen. Wenn Sie "no" antworten, werden weitere Fragen zu dieser Dienste-Gruppen übersprungen. Die von lire zusammengefaßten Dienste finden sich im Abschnitt Einführung. Ein Dienst ist dort nicht erwähnt: apachemodgzip. Dieser Dienst befaßt sich mit Logdateien, die vom Apache-Webserver im compressed-Modus erstellt werden.

Das Konfigurationsprogramm fragt dann nacheinander ab, welche Dienste gestartet sind. Für e-Mail könnten dies z.B. exim, postfix, qmail und sendmail sein. Für jedes Programm fragt lr_config nach, wo es die Log-Dateien findet. Diese können komprimiert sein, weil lire Sie auch fragt, mit welchem Programm es diese Log-Dateien lesen soll: zcat oder gunzip -c können also benutzt werden..

Are any of your ***** logfiles rotated weekly? (Werden Ihre *****-Logdateien wöchentlich neu initialisiert?)

Wenn Sie mit "yes" antworten, wird der crontab-Job für lire so konfiguriert, dass er nur einmal in der Woche startet. Die andere Option ist ein täglicher Durchlauf.

Wenn alle Fragen beantwortet sind, werden die Einstellungen in Konfigurationsdateien gespeichert (~/defaults.local). Diese Dateien werden vom lire-cron-Job benutzt. Leider wird der cron-Job nicht automatisch aktiviert. Sie müssen dies durch folgenden Einzeiler selbst erledigen: :

~> { echo '0 10 * * * /usr/local/logreport/bin/lr_cron daily';
     echo '0 10 * * 0 /usr/local/logreport/bin/lr_cron weekly'; } | crontab -

Nach dieser Aktivierung werden die Berichte wöchentlich bzw. täglich versandt. Sie können Ihre Konfiguration weiter anpassen, indem Sie die oben erwähnten Konfigurationsdateien editieren.

Lire als eigenständiges Programm

~> lr_run lr_log2report /tmp/err www apache combined <
   /var/log/apache/access.combined.log > apache.txt

Das lr_log2report-Programm benötigt mindestens drei Argumente. Das erste gibt die Datei an, in welche Fehlermeldungen geschrieben werden. In diesem Beispiel ist es /tmp/err. Das zweite Argument bezeichnet die Dienste-Gruppe der Log-Datei. Z. Zt. gibt es drei dieser Dienste-Gruppen: www, dns und email. Das dritte erforderliche Argument ist der Dienst, d. h. der Typ der Logdatei. In diesem Beispiel ist es eine "Apache combined"- Datei, so dass der Dienst "apache" ist. Es gibt ein zusätzliches Argument, welches angibt, dass die Apache-Logdatei das "combined"-Format benutzt. Wie bei den meisten lire-Programmen gibt es zusätzliche Informationen über man:

~> man lr_log2report

Zur Änderung des Ausgabeformats kann die "-i <format>" Option benutzt werden. Gültige Formate sind derzeit txt (default), logml (LogML website), DocBook XML (DocBook Open Repository), HTML und PDF. Die beiden letztgenannten benötigen DocBook stylesheets und Jade installiert. Alle Formate außer Klartext benötigen außerdem einen XSLT-Prozessor wie Gnome's xsltproc Ein Beispiel, um PDF zu erstellen:

~> lr_run lr_log2report -o pdf /tmp/err www apache combined
   < /var/log/apache/access.combined.log > apache.pdf

Zusammenfassung

Dieser Artikel führte kurz in das lire-Projekt ein, und zeigte, wie man die Software installiert und konfiguriert. Die nächsten Artikel in dieser Reihe beschreiben die Software detaillierter und wie man sie benutzen kann. Bis dahin finden Sie weitere Informationen auf unserer Webseite:: http://www.logreport.org/.

Wenn Sie mit uns in Kontakt bleiben wollen, treffen Sie uns am besten im IRC. Die Entwickler können oft im #logreport channel bei OpenProjects.org IRC network.angetroffen werden. Fragen, Kommentare und Unterstützungsanfragen sind willkommen. .

Talkback für diesen Artikel

2001-08-26, generated by lfparser version 2.17