Kurz erklärt: robots.txt

Im Zusammenhang mit dem Leistungsschutzrecht für Presseverlage, die von Google eine Entschädigung für die kommerzielle Weiterverwertung ihrer Produkte fordern, ist immer wieder die Rede von robots.txt. Das Verständnis für die Funktionsweise dieser Datei hilft, einen Kernpunkt in der Debatte um das Leistungsschutzrecht zu verstehen. Zudem enthüllt ein Blick auf den Einsatz von robots.txt in der Schweiz Erstaunliches.

robots.txt ist eigentlich eine einfache Textdatei, die auf einer Webseite abgelegt wird. Damit hängt aber ein standardisierter Ablauf zusammen, den die wichtigsten BetreiberInnen von Suchmaschinen einhalten: Die Informationen der Datei werden genutzt, um bestimmte Bereiche der Seite vor Suchmaschinen zu schützen.

Steht in robots.txt beispielsweise folgender Eintrag:

User-agent: *
Disallow: /Privat/Familie/Geburtstage.html

So darf keine Suchmaschine die Seite »Geburtstage« durchsuchen. Entsprechen werden die dort gemachten Angaben mit Google, Bing etc. nicht gefunden.

Würden nun Presseverlage auf ihren Seiten folgenden Eintrag wählen, dann wäre die ganze Seite für alle Suchmaschinen blockiert:

User-agent: *
Disallow: /

Das heißt: Es ist mit wenigen Zeichen möglich, Google daran zu hindern, Inhalte in seinen Suchergebnissen und anderen Diensten darzustellen. Natürlich kann man es als stoßend empfinden, dass der Standard Google eine Erlaubnis gibt - sinnvoll wäre, dass man aktiv einen Eintrag vornehmen muss, um in Suchergebnissen zu erscheinen (also anstatt »disallow« in robots.txt eintragen zu müssen, »allow« einzutragen).

Webmaster können die robots.txt-Datei verstecken, wenn sie nicht möchten, dass öffentlich bekannt ist, welche Bereiche der Homepage nicht durchsucht werden dürfen.

Das ist eigentlich schon alles. Schauen wir nun die robots.txt-Dateien der Schweizer Verlage an.

Blick.ch versteckt robots.txt.

blick.ch, nzz.ch, azonline.ch und weltwoche.ch verstecken nur einige technischen Seiten, die temporäre oder redundante Seiten beinhalten könnten.

User-agent: *
Disallow: /widget/
Disallow: /suche
Disallow: /stats
Disallow: /*cvajaxnews=true*
Sitemap: http://www.blick.ch/sitemap.xml
Sitemap: http://www.blick.ch/sitemap-image.xml
Sitemap: http://www.blick.ch/sitemap-googlevideo.xml
Sitemap: http://www.blick.ch/news.xml

Download

nzz

asfdInteressant aber die robots.txt von Newsnetz. Hier werden neben den Todesanzeigen drei spezifische Seiten ausgeschlossen: Zwei davon, eine über Carl Hirschmann und eine über einen SVP-Spender, der angeklagt worden sei, sind nicht mehr erreichbar und wurden offenbar gelöscht. Die dritte betrifft die Bank Reichmuth. Der Lead lautet:

Die Luzerner Privatbank sollte letztes Jahr 100 Millionen Kredit für eine Maschinenfirma beschaffen, gegen die nun die Bundesanwaltschaft ermittelt. Jetzt drohen auch zwei Schweizer Banken Millionenverluste.

Es liegt nahe zu vermuten, dass sich Tamedia durch außergerichtliche Einigungen mit Klägerinnen und Klägern dazu entschlossen hat, diese Seiten für Suchmaschinen zu sperren. Erstaunlich ist aber, dass dies so öffentlich einsehbar ist. (Ich danke für diesen Hinweis Martin Steiger.)

tagi

Ringier und die Qualität

In einem ausführlichen Interview darf heute der Ringier-Konzernchef Marc Walder in der Sonntagszeitung begründen, warum Ringier gedenkt eine Paywall einzuführen und für ein Leistungsschutzrecht eintritt. Am Schluss spricht er über das iPad seiner Tochter und formuliert einen doppelten Vergleich:

Wenn Eltern für solch einfachste Apps bereit sind, zu zahlen, dann wird auch die Bereitschaft da sein, für guten Journalismus im Netz zu bezahlen. Inhalte der SonntagsZeitung oder der NZZ oder des «Blicks» sollten mit Sicherheit so viel wert sein wie ein lustiges Samichlausliedli auf einer Kinder-App.

Damit sagt er, der »Blick« liefere »guten Journalismus«. Gerade in der Frage des Leistungsschutzrechts geht es um einen staatlichen Eingriff, der sicher stellen soll, dass qualitativ hochwertiger Journalismus nicht durch die Kopien von Google entwertet würden. Auch bei der Einführung von Paywalls ist das schlagende Argument, dass Leserinnen und Leser für Qualität zu zahlen bereit seien.

Nun gibt es natürlich mehrere Möglichkeiten, Qualität zu definieren, wie im Umgang mit dem »Jahrbuch Qualität der Schweizer Medien« vom Forschungsbereich Öffentlichkeit und Gesellschaft (fög) der Universität Zürich immer wieder deutlich wird. Journalistinnen und Journalisten - so meine Beobachtung - definieren Qualität immer stärker im Hinblick auf die Resonanz bei den Leserinnen und Lesern oder der Erwartungen der Konzerne, statt, wie Kurt Imhof vorschlagen würde, durch »Vielfalt, Relevanz, Aktualität und Professionalität«.

In einer Kritik an der AZ kritisiert der Blick-Chefredaktor, Ralph Grosse-Bley, die Übernahme von Bildern durch die AZ:

Wir finden es toll, dass auch den AZ Medien die Fotos gefallen – und staunen über die Selbstbedienungs-Mentalität. […] Auch im Internet haben Journalisten, zum Beispiel Fotografen, Rechte. Nicht alles ist für alle gratis.

Einige Feststellungen zur Qualität und Originalität der Riniger-Produkte - ungeordnet und exemplarisch:

  1. Online übernimmt blick.ch Youtube-Videos und gibt sie als eigene Videos aus - mit eigener Werbung versehen.
  2. Der Ringier-Newsroom übernimmt mit dem Kürzel »ZVG« (zur Verfügung gestellt) Bilder aus Facebook.
  3. Nach dem Carunglück im Wallis zeigte der Blick Bilder von verstorbenen Kinder, die von ihnen selbst auf Facebook veröffentlich worden sind. Der Presserat zog eine Rüge in Erwägung.
  4. Helmut-Maria Glogger, Verfasser einer täglichen Kolumne im Blick am Abend, äußerte sich in einem Interview wie folgt zum Presserat: »[E]ine Rüge vom Presserat ist heute ja eine besondere Auszeichnung.« Der Presserat überprüft lediglich, ob eine klare Richtlinie, nämlich die »Pflichten und Rechte der Journalistinnen und Journalisten« eingehalten worden sei. Chefredaktor Grosse-Bley: »Wir machen die Zeitung nicht für den Presserat«.
  5. Der Presserat hat 2012 folgende Verletzungen der Richtlinien durch die Blick-Produkte festgestellt: 1, 2, 3, 4, 5, 6, 7. Ringier verzichtet dabei nicht nur häufig auf eine Stellungnahme, sondern druckt die Entscheide auch nicht.
  6. Der Blick fährt eine scharfe Linie gegen Asylsuchende - auch auf Kosten der Wahrheit. So titelte der Blick am Abend letzte Woche, 60% aller Asylsuchenden seien HIV-positiv. »100 Prozent der Überschrift sind falsch«, stellt der BildBlog richtig - 60% der HIV-positiven Asylsuchenden aus der Sub-Sahara-Region haben sich in ihren Herkunftsländern angesteckt.
Ausriss Blick am Abend, bearbeitet von BildBlog.

Ausriss Blick am Abend, bearbeitet von BildBlog.

Würde man Qualität einfach als das Einhalten klarer Standards definieren - dann wäre es wohl für Ringier schwierig, schon nur diese Standards anzugeben. Die des Presserats gelten für Ringier offensichtlich nicht mehr, die Verantwortlichen zeigen keinerlei Interesse daran, sie einzuhalten. Natürlich misst sich der wirtschaftliche Erfolg nicht an der Sorgfalt der Journalistinnen und Journalistin oder gar an ihrer Berufsethik. Aber die großen Herren an der Spitze und im Hintergrund solcher Produkte, ob sie nun »eine der grosszügigsten und weitsichtigsten Persönlichkeiten« seien (Michael Ringier), eine, die »begeistert« (Frank A. Meyer) oder einfach »pflichtbewusst« (Walder) - sie müssen sich den Vorwurf gefallen lassen, ihre gesellschaftliche Verantwortung bewusst zu ignorieren und andere an Regeln zu messen, die sie selber nicht bereit sind einzuhalten.

Was zu Kommunismus und Kapitalismus - und zum Leistungsschutzrecht

Mal sehen, ob ich das alles in einem Post zusammenbringe.

  1. Also, zunächst habe ich bei den Telekommunisten dieses Dokument studiert. Die spannende These: Das »kommunistische Internet« (nur verstanden als klassen- und staatenloses Internet) wird durch ein »kapitalistisches Internet« vertrieben, in dem die Besitzenden des Kapitals nicht produzieren müssen, sondern andere für sich produzieren lassen.
    Diese These wird durch den Umbruch von ursprünglichen Idee des Internets, dass sich jede(r) mit jeder/m verbinden konnte, hin zu einem Client-Server-Internet in dem alle Inhalte in kapitalistische Kontexte eingebunden sind (Facebook, Google, Twitter). Während das Internet von Universitäten und Hackern entwickelt worden ist, »gehört« es heute dem Kapital. Und zum Kapitalismus noch ein schönes Zitat aus dieser Übersicht:

    The law-giver and the capitalist always compare our wages with the wages of other labourers; and without adverting to what we produce, which seems the only criterion by which we ought to be paid, we are instantly condemned as insolent and ungrateful if we ask for more than was enjoyed by the slave of former times, and is now enjoyed by the half-starved slave of other countries. (Thomas Hodgskin 1825)

  2. Google ist der neue Kapitalismus. Bei Schauen des unten stehenden Films (den ich für reichlich übertrieben halte, aber Conspiracy-Theories funktionieren ja wohl so, vgl. den schönen Text von Nico Luchsinger) wurde mir klar, dass Google gleich wie der Kapitalismus in der Lage ist, jede Form des Widerstands zu integrieren. Gab es schon knapp ein Jahr nach dem Aufkommen der Punk-Bewegung in Zürich Punk-Accessoires zu kaufen, so finden sich heute die Filme der Google-Gegner auf Googles Plattform Youtube, man findet die Thesen des Widerstands mit der Google-Suchmaschine etc.
  3. Und zum Schluss noch Döpfner. In der heutigen NZZ verteidigt der Vorstandsvorsitzende des Axel Springer Verlags den deutschen Vorstoss zum Leistungsschutzrecht. Was ist das? Das ist die Idee, dass die Leistung der Verlage zusätzlich zum Urheberrecht geschützt werden muss. Und zwar durch eine Verwertungsgesellschaft, ähnlich wie in der Schweiz die Billag und die Suisa.
    Seine Argumente:
    a) Verlage halten Künstler am Leben. (Döpfner erfindet das »Stevie-Wonder-Argument«: Ohne Verlage würde Stevie Wonder in einem »Blindenheim zu verkommen«.
    b) Irgendwas mit Freiheit. Wenn Verlage viel Geld verdienen, dann gibt es viel Freiheit (ungefähr das habe ich davon verstanden).
    c) Alles andere wäre kommunistisch - oder mit Jason Lanier gar maoistisch.
    Zum Leistungsschutzrecht wurde schon fast alles gesagt (hier kann man einiges nachlesen, siehe auch Links unten). Konkret heißt das wohl: Es erfolgt eine Behinderung des Informationsflusses und wir werden über kurz oder lang für die Internetnutzung Gebühren zahlen müssen (wohl in Verbindung mit einem digitalen Personalausweis, welcher uns bei Surfen im Netz identifiziert).
    Und hier die Alternativen:
    1. Der Staat fördert Journalismus wie er das beim Film, der Kunst und der Literatur tut.
    2. Bedingungsloses Grundeinkommen. Dann gäbe es genügend Leute, die gerne Texte verfassen.