Wen schützen eigentlich Jugendschutzprogramme?
Eine Geschichte darüber, warum wir 20 Jahre alte Software, die auf einer damals schon schlechten Idee beruht, auch noch heute als Stand der Technik bezeichnen müssen. Und das, obwohl die Webseite des Anbieters so unsicher ist, dass sie ganz nebenbei Schadsoftware verbreitet — also die Eltern gefährdet, statt die Jugend zu schützen.
Die Debatte darum, wie junge Menschen im Internet geschützt werden sollen, ist mittlerweile mehr als 20 Jahre alt. Fast immer ging es darum, technische Lösungen für ein soziales Problem zu finden. Bei den dabei eingesetzten Lösungen wechselte man je nach politischer Stimmung zwischen Lösungen aufseiten der Webseiten-Betreibenden und auf den Computern von Nutzenden hin und her.
Im Jahr 2003 einigten sich Politik und Inhaltsanbieter im Jugendmedienschutz-Staatsvertrag darauf, dass solange es mindestens eine gut zugängliche Jugendschutzsoftware auf dem Markt gibt, weitestgehend auf andere Maßnahmen wie Online-Identifizierungen oder etwa gar Sendepausen im Internet verzichtet werden kann. In diesem Rahmen wurde auch noch festgelegt, dass solche Programme dem Stand der Technik entsprechen müssen.
Stand heute ist ein einziges Programm so zertifiziert — das Jugendschutzprogramm, entwickelt von einem gemeinnützigen Verein namens JusProg e.V. Er wurde mit dem Ziel gegründet, eine solche Software bereitzustellen. Seine Mitglieder sind große deutsche Digitalunternehmen wie z.B. Vodafone oder RTL. Die finanzieren das gerne. Denn solange es ein anerkanntes Jugendschutzprogramm gibt, können sie eben auf viele andere Jugendschutzmaßnahmen verzichten.
Die Software verwendet einen Algorithmus, um Webseiten ein Mindestalter zuzuweisen. Diese Zuweisung kann durch den Webseiten-Betreibenden erfolgen, der eine sogenannte age.xml hinterlegt, welche die Einstufung des Jugenschutzprogrammes beeinflussen kann. Primär erfolgt die Einstufung allerdings auf Basis eines geheimen Algorithmus, der die Domain und den Inhalt von Webseiten analysiert und dann ein Label vergibt.
Das Jugendschutzprogramm ist heute in Deutschland relativ weit verbreitet. Nicht nur Eltern setzen es auf den Computern ihrer Kinder ein. Sondern auch Schulen und andere öffentliche Einrichtungen verwenden es. Einige Internetprovider bieten sogar direkt Jugendschutzfilter auf Anschlussebene an, welche auf den Filterlisten des Jugendschutzprogrammes basieren.
Gefiltertes Internet — nicht nur für Kinder
Wie der Bayerische Rundfunk heute berichtet, werden diese Filter nicht nur im familiären Rahmen oder in der Jugendarbeit eingesetzt, sondern auch von staatlichen Institutionen für alle möglichen Internetzugänge. Bayern setzt sie zum Beispiel im sogenannten “Bayern-WLAN” sowie an vielen öffentlichen Orten wie z.B. Bibliotheken oder in Unterkünften ein. Also in Räumen, in denen es wichtig ist, dass Menschen möglichst freien Zugang zu Informationen haben.
An solchen Orten wird in der Regel die Filterliste des Jugendschutzprogrammes ab 18 eingesetzt. Was diese Filterliste beinhaltet oder wie entschieden wird, welche Inhalte darauf landen, ist allerdings geheim. Geheime Filterlisten mögen in der Kinder- und Jugendarbeit gerade noch so akzeptabel sein. Wenn es sich allerdings um Systeme zur digitalen Daseinsvorsorge handelt , ist das völlig inakzeptabel. Denn ein vom Staat bereitgestellter Internetzugang ist für einige Menschen der einzige Zugang zum Netz.
Wenn intransparent ist, wie gefiltert wird, dann müssen wir eben das ganze Internet filtern.
Da der Betreiberverein hinter dem Jungendschutzprogramm es für nicht notwendig hält, Details zu den Filterpraktiken oder gar den Algorithmus selbst zu veröffentlichen, müssen wir uns andere Wege suchen, wenn wir die Qualität der Filterung beurteilen wollen.
Dazu untersuchte ich als erstes die verschiedenen Lösungen, die JusProg zur Internetfilterung bereitstellt. Dazu gehören ein DNS-Server, ein Programm für Windows-Rechner sowie mobile Apps. Da ich mich am besten mit dem Reverse-Engineering von mobilen Applikationen auskenne, entschied ich mich dazu, herauszufinden, wie die Filter in der Android-App funktionieren.
Nach dem Dekompilieren der App sowie einigen Minuten im Smali-Code fand ich nicht nur den Programmierschnittstellen-Endpunkt, der zum Abrufen der Altersklassifikation von Webseiten verwendet wird, sondern auch direkt noch einen “TokenSecret”, welcher benötigt wird, um einen Hash-Wert der URL zu bilden.
Einige Minuten später konnte ich dann das erste Mal erfolgreich das Mindestalter für eine Webseite abfragen. Und da ich mir einen guten Überblick verschaffen wollte, besorgte ich mir eine Liste mit einem großen Teil aller registrierten Domains und begann, damit das gesamte Internet mit dem Jugendschutzprogramm zu filtern.
Das dauerte einige Wochen und wegen der unfassbaren Datenmenge entschied ich mich am Ende dafür, primär alle .de-Domains auszuwerten. Da diese ja üblicherweise Angebote für den deutschen Markt bereitstellen und tatsächlich nicht zu erwarten ist, dass das Jugendschutzprogramm für Content in verschiedenen Ländern und Sprachen gut funktioniert.
Wenn wir uns die Verteilung des Mindestalters der Domains ansehen, dann fällt auf, dass die meisten (3,6 Millionen) einfach ab 12 Jahren freigegeben sind. Die ab 18, welche für uns im weiteren Verlauf am relevantesten sind, sind im Vergleich zur Gesamtmenge mit nur 25.000 Domains ein relativ geringer Anteil aller DE-Domains. Allerdings würde eine Sperrung der 25.000 meistgenutzten Webseiten in Deutschland das Internet weitestgehend unbenutzbar machen. Es kommt also darauf an, welche Webseiten denn da gesperrt sind.
Spannend sind noch die Webseiten ab 0, welche tatsächlich von einer Erlaubt-Liste anstatt einer Filterliste kommen und die Webseiten ab 99. Das sind die durch die BPJM indizierten Angebote. Also Webseiten, die als so jugendgefährdend eingestuft werden, dass man nicht für sie werben darf. Dieser Index ist im Rahmen des Jugendschutzgesetzes geregelt. Was also auf diese Liste kommt und auch Prozesse, wie man beantragen kann, dass etwas von dieser wieder entfernt wird, ist relativ transparent geregelt.
Weil es in der Vergangenheit schon zu Strafverfolgung gegen Personen, die die Indexliste veröffentlichten, kam, verzichte ich hier darauf und gebe nur eine sehr grobe Übersicht. Auf der BPJM-Liste stehen zu einem Teil wirklich verstörende Inhalte. Zu einem Teil allerdings auch Inhalte, bei denen man sich fragt, “wie genau sind die da drauf gekommen” und vor allem eine ganze Menge nicht mehr existierende Domains. In den 80 Millionen insgesamt geprüften Domains konnten etwa 150 Angebote auf dem Index gefunden werden, von denen ein Großteil noch nicht bei der letzten Veröffentlichung des Indexes 2014 auf diesem standen.
Der BPJM-Index ist zwar etwas absurd. Allerdings immerhin demokratisch legitimiert. Und es gibt zumindest theoretisch Möglichkeiten, mit einer erneuten Prüfung Inhalte wieder vom Index zu bekommen. Das alles ist bei der “ab 18 Filterliste” des Jugendschutzprogrammes gar nicht so einfach. Denn als Anbieter weiß man erst einmal nichts davon, dass man überhaupt auf der Liste gelandet ist (bis jetzt, siehe weiter unten, ich hab da was gebaut…). Und ob man dann wieder von dieser entfernt wird, entscheidet ein kleiner Verein mit intransparenten Prozessen und einem geheimen Algorithmus. Schauen wir uns also einmal an, vor was uns der JusProg e.V. denn so schützen möchte.
Was gefiltert wird, ist in Teilen zufällig
Vor allem fanden sich unter den Inhalten ab 18 viele absurde Einträge. Vom bekannten Kino 3001 in der Hamburger Sternschanze (3001-kino.de), über Pizzalieferdienste (pizza-toni-penzberg.de, pizza2000.de), der Modemarke s-oliver.de, etwa fünf Edeka-Läden bis hin zu einer freiwilligen Feuerwehr (feuerwehr-bitburg.de) war wirklich alles dabei.
Bei keiner der Domains, die das Wort queer enthielten und ab 18 Jahren freigegeben wurden, konnte nachvollzogen werden, warum sie diese Altersfreigabe erhalten haben (z.B. agqueerstudies.de — queere Vernetzung an der Uni Hamburg durch den AstA, auch für Studierende unter 18 relevant?–, queer-institut.de–ein Forschungszentrum–, queer-festival.de–ein Festival in Heidelberg mit Konzerten, Lesungen und Diskussionsveranstaltungen). Neben queer scheint der Wortfilter auch das Wort quer manchmal nicht zu mögen, denn nicht nur die querfood.de (glutenfreie Lebensmittel), sondern auch der querverlag.de (Queerer Verlag) haben die Altersfreigabe ab 18.
Unter den .de-Domains wurden über 400 Apotheken ab 18 Jahren eingestuft. Bei keiner manuell geprüften Apotheke war ersichtlich, welche Art von Jugendgefährdende Inhalte diese verbreiten sollten (außer vielleicht, dass sie auf die Apotheken-Umschau verlinken — die gefährdet Jugend damit, plötzlich Beckenbodentraining zu machen statt Feiern zu gehen). Die Apotheken-Umschau ist allerdings ab sechs Jahren freigegeben. Das Wort Apotheke selbst scheint also nicht das Problem für den Algorithmus zu sein. Ob es Inhalte auf den Seiten dieser Apotheken sind oder ob jemand beim JusProg e.V. aus einer Apothekerfamilie kommt und die Konkurrenz klein halten will, wissen wir nicht. Wie der Algorithmus funktioniert, ist ja nicht transparent.
Als verstörend empfand ich, dass sich unter den Inhalten ab 18 auch die KZ-Gedenkstätten “KZ-Gedenkstätte Kaltenkirchen in Springhirsch” (kz-kaltenkirchen.de) sowie die “Gedenkstätte KZ Osthofen” (gedenkstaette-osthofen-rlp.de) befanden. Also Inhalte, die für junge Menschen nicht gesperrt sein sollten, sondern in besonderem Maße wichtig für ihre Bildung sind.
Der JusProg e.V. bezeichnet das eigene Filtersystem als dem Stand der Technik entsprechend und verweist dazu darauf, dass die FSM regelmäßig Vergleichstests mit anderen Filtersystemen durchführe und das Jugendschutzprogramm dabei besser als andere Unternehmen abschneide. Die Falschzuordnung von Apotheken kann der Verein sich so erklären, dass sie (potentiell illegale) Versandapotheken nicht von regulären Apotheken unterscheiden könnten. Man sei allerdings — insbesondere aufgrund des Einsatzes der Software in offenen WLANs mit der “ab 18” Filtereinstellung — gerade dabei, die Altersstufen für Apotheken herunterzusetzen. Das Re-Rating laufe allerdings noch.
Sie bedauern die fälschliche Klassifizierung von KZ-Gedenkstätten — verweisen aber darauf, dass sie diese meistens richtig klassifizieren und es ein „Erkennungs-Spannungsfeld“ zwischen wichtiger Aufklärung und Nazi-Seiten gebe. Was Inhalte in Bezug auf marginalisierte Gruppen angeht, so haben sie nun aufgrund anderer Medienanfragen ein “weiteres Rating-Projekt in diesem Themenbereich gestartet und außerdem Spider gezielt auch auf die neueren LGBTIAQ+ und ähnliche Abkürzungen trainiert” um so z.B. Hilfsangebote nicht fälschlich zu blockieren.
Aber nicht nur die Klassifizierung der Inhalte selbst ist zufällig, sondern auch die Antworten der Programmierschnittstelle wirken manchmal mehr wie ein Zufallsgenerator. So wurde in etwa 50% der Fälle twitter.com als geeignet ab 6 Jahren und den übrigen 50% als geeignet ab 16 Jahren eingestuft. Die meisten großen sozialen Medien wie Instagram oder TikTok sind ab 16 Jahren freigegeben, warum ausgerechnet Twitter ab 6 Jahren freigegeben werden sollte, ist also nicht ersichtlich. JusProg sagt: Diese API-Antworten sind auch für uns nicht nachvollziehbar.
Die Kritik an den Filterpraktiken des Jugendschutzprogrammes gibt es mittlerweile seit über 15 Jahren. Und obwohl die Anzahl der de-Domains, welche ab 16 oder 18 freigegeben sind, nur einen winzigen Anteil des gesamten Filtersystems ausmachen, hat sich der Verein JusProg bisher noch nicht dazu entschieden, alle Angebote, die auf diesen Filterlisten landen, manuell zu prüfen: “Wir haben die besten Erfahrungen mit der Kombination von Mensch und Maschine. Die Maschine ist schneller und kann mehr Masse, die Menschen sind besser und können vor allem inhaltliche Kontexte besser einschätzen”.
Die Probleme dieser Filtersysteme erkannten die Grünen bereits im Jahr 2009 und stellten daraufhin eine kleine Anfrage, in der sie explizit fragten, wie sichergestellt werden soll, “dass unter dem Vorwand des Jugendmedienschutzes keine Einschränkungen der Presse- und Meinungsfreiheit” stattfindet. Damals berief sich die Bundesregierung darauf, dass Nutzer*innen selbst entscheiden können, ob sie eine Jugendschutzsoftware einsetzen oder nicht. Diese Argumentation ist aber aufgrund der Verbreitung des Filtersystems in öffentlichen Räumen obsolet geworden.
Bei Transparenz können wir helfen!
Wie diese kurze Analyse zeigt, ist es wichtig, dass die Alterseinstufungen des Jugendschutzprogrammes transparenter werden. Deshalb gibt es mit dem JugendschutzSchutzProgramm ab heute einen Onlinedienst, mit dem Alterseinstufungen abgefragt und verglichen werden können.
Für größere Analysen veröffentliche ich heute außerdem die im Rahmen dieses Projektes entstandene Python Library sowie den dazugehörigen Quellcode auf GitHub.
Wer schützt die Webseite des Jugendschutzprogrammes?
Während meiner Recherche ist mir aufgefallen, dass ich wiederholt beim Aufsuchen des Onlineangebot des Jugendschutzprogrammes auf eine Scam-Webseite weitergeleitet wurde. Das liegt daran, dass die Webseite auf Basis von Wordpress sowie veralteten Wordpress-Plugins entwickelt wurde und Betrüger eine Sicherheitslücke fanden, um die Webseite zu übernehmen.
Das ist ziemlich problematisch, da die Webseite neben Informationen zum Jugendschutzprogramm eben auch das Filterprogramm für Windows direkt zum Download anbietet. Das bedeutet, dass Menschen, die die Webseite des Jugendschutzprogrammes in der Vergangenheit besuchten, unter Umständen betrogen wurden. Da Kriminelle Zugriff zur Webseite haben, können sie anstatt eine schlechte Fake-Webseite zu bauen, auch die Programmdateien oder den Downloadlink des Jugendschutzprogrammes durch Schadsoftware ersetzen und so schnell viele Rechner infizieren.
Wir wissen auch nicht, ob diese Lücke in der Vergangenheit nicht schon auf diese subtilere Weise ausgenutzt wurde. Das ist insbesondere bedenklich, weil das Jugendschutzprogramm eben nicht nur von Privatanwender*innen, sondern auch von öffentlichen Institutionen verwendet wird.
Auf Anfrage war dem JusProg e.V. bereits bekannt, dass ihre Wordpress Instanz mit Malware befallen war: “Wir dachten, wir haben alle Schadsoftware gefunden und das System ist wieder sicher, aber leider war das offenbar nicht so. So geht der Kampf weiter, aktuell installieren die Entwickler weitere Firewalls und steigen noch tiefer ein in das Checken der Scripte ein”. Dass in der Vergangenheit möglicherweise Downloads manipuliert wurden, können sie rückwirkend nicht ausschließen und wollen in Zukunft weitere Sicherheitsmaßnahmen ergreifen.
Der JusProg e.V. hält neben seinen Filtersystemen auch die eigenen Sicherheitssysteme für den Stand der Technik, denn “viele Server haben Sicherheitslücken und selbst wichtigste Systeme und große Anbieter mit allerlei moderner Sicherheitstechnologie werden gehackt”. Sie nehmen die Sicherheitsprobleme allerdings “verdammt ernst”.
Der Bayerische Rundfunk und Netzpolitik.org haben auf Basis der von mir befreiten Schnittstellen und Datensätze weitere Recherchen angestellt:
Ich könnte an dieser Stelle jetzt zu dem Schluss kommen , dass eine Filtersoftware, welche bei ihren Entscheidungen manchmal eher an einen Zufallsgenerator erinnert und bei der die akute Gefahr besteht, dass sie über ihre Webseite Schadsoftware verbreitet, nicht dem Stand der Technik entspricht. Das Problem ist, wenn ich nun zu diesem Schluss kommen würde, dann bedeutet das ja, dass unsere ausgesprochen schlechten Regulierungen in einem solchen Fall noch schlimmere Jugendschutzmaßnahmen fordern würden.
Denn insbesondere die EU verfolgt mittlerweile wieder eine Idee, die es in den frühen 2000ern schon einmal in unerfolgreich gab. Die Pflicht, sich gegenüber Webseiten auszuweisen, um daraufhin Zugriff auf potenziell jugendgefährdende Inhalte zu bekommen. Warum das eine sehr schlechte Idee ist, habe ich hier erklärt.
Ausweiszwang im Internet kommt bei Webseitenbetreibern wie Nutzenden eher nicht so gut an. Daher wurde viele Jahre lang sehr stark für Jugendschutzfilter aufseiten der Nutzerinnen lobbyiert. Wie das ausgegangen ist, haben wir ja gerade gesehen.
Deswegen erspare ich mir ein weiteres Fazit dazu und hoffe, dass vielleicht irgendwann irgendjemand auf die Idee kommt, dass wir dieses Problem nicht mit noch mehr Technik gelöst bekommen. Wenn ich mir allerdings ansehe, wer sich in Deutschland so um Jugendschutz kümmert, dann halte ich das für nahezu ausgeschlossen. Das Kernproblem ist wie immer, dass in den relevanten Positionen Menschen sitzen, die denken, dass Technik — in diesem Fall Filterung — magisch alle Probleme löst, aber dabei die technischen Grundlagen nicht verstehen und die sozialen Aspekte vergessen.
Eigentlich sollte es also solche Software gar nicht geben. Umso schlimmer ist es allerdings, dass solche Software auf eine nicht nachvollziehbare Art und Weise gebaut wird und ihre Methodik in Teilen willkürlich wirkt.
Dass nun aber der Staat im Rahmen seiner digitalen Daseinsvorsorge ein solches Filtersystem nutzt — welches weit über die demokratisch legitimierte BPJM-Filterliste hinausgeht — ist absurd.
Aber manchmal sind Zufallsgeneratoren mit einer Webseite, die seit längerem von Betrügern übernommen wurde, eben einfach das Beste, was wir haben. Und vielleicht ist das Beste ja dann Stand der Technik?!
Und nein, Altersverifikationen mit Ausweisen im Internet sind keine Alternative.
Wenn ihr meine zivilgesellschaftliche Arbeit zu Themen wie z.B. Verwaltungsdigitalisierung, Sicherheitsforschung und Open Data unterstützen wollt, dann könnt ihr das via 💸Patreon💸 tun. Und wenn ihr bei meiner nächsten Recherche live dabei sein wollt, dann folgt mir auf Twitter oder Mastodon.
