Nutzerorientierter Leitfaden zur Entwicklung von Technologien, die darauf abzielen, das Ansehen von Bildern und Videos von sexuellem Kindesmissbrauch zu verhindern

Von Prof. Sam Lundrigan (Direktor des Policing Institute for the Eastern Region) und Dr. Deanna Davy (Senior Researcher, Policing Institute for the Eastern Region), Anglia Ruskin University.

Wie kann man Menschen dazu ermutigen, eine App zu benutzen, die sie davon abhalten soll, sich Bilder und Videos von sexuellem Kindesmissbrauch anzusehen? Dies ist eine von vielen Fragen, die im Mittelpunkt des Protech-Projekts stehen, das darauf abzielt, die Verbreitung von Darstellungen des sexuellen Missbrauchs von Kindern im Internet und die damit verbundene Nachfrage zu bekämpfen.

Die App richtet sich an Personen, die das Risiko sehen, solche illegalen Inhalte auf ihrem Handy, Tablet oder Computer zu konsumieren.

Die App mit dem Namen „Salus“ ist auf dem neuesten Stand der Technik. Sie wurde entwickelt, um sexualisierte Bilder von Kindern zu erkennen und zu verhindern, dass diese auf dem Gerät des Nutzers angezeigt werden. In diesem Fall erscheint eine Meldung, die den Nutzer darüber informiert, dass der Inhalt blockiert wurde.

Damit Salus wie gewünscht funktioniert, ist es wichtig, dass wir von den Menschen, die Hilfe suchen, um sich keine Missbrauchsabbildungen anzusehen, erfahren, wie die App aussehen und funktionieren soll.

In unserem letzten Artikel für Protech beschreiben wir, wie wir Informationen von Menschen in Deutschland, Belgien, dem Vereinigten Königreich und Irland gesammelt haben, die selbst glauben, dass sie gefährdet sind, Bilder und Videos von sexuellem Kindesmissbrauch zu konsumieren. Wir sprachen auch mit Anbietern von Behandlungsprogrammen – Therapeut:innen und Fachkräften, die Menschen dabei helfen, mit ihrem Wunsch, diese Art von Inhalten anzusehen, umzugehen.

Unsere Ergebnisse zeigen, dass angesichts der Art von Inhalten, die die Salus-App blockieren soll, der Schutz der Privatsphäre für potenzielle Salus-Nutzer äußerst wichtig ist. Für viele war die Entdeckung und Identifizierung der App auf dem Gerät des Nutzers, insbesondere durch Partner:innen und andere Familienmitglieder, von großer Bedeutung.

Eine weitere Sorge war die Möglichkeit, dass die App gegen den Nutzer verwendet werden könnte, sei es durch die Weitergabe von Hintergrunddaten an Dritte, durch ein Datenleck oder durch eine mögliche Entdeckung durch die Polizei, wenn diese das Gerät inspiziert.

Um potenzielle Nutzer zu gewinnen, muss das Protech-Projekt diese Bedenken bei der Gestaltung von Salus berücksichtigen. Es ist wichtig, den Nutzern eine kurze und klare Datenschutzerklärung zur Verfügung zu stellen, die erklärt, wie die App Daten verarbeitet und speichert, und die betont, dass die Nutzung der App keine rechtlichen Konsequenzen nach sich zieht.

Wie können wir sicherstellen, dass Salus für die Nutzer "richtig" funktioniert, sobald sie Zugang dazu haben? Unsere Interviews haben gezeigt, dass es von den Nutzern abhängt, wie und welche Inhalte von der App blockiert werden.

Die meisten Befragten forderten, dass die App auch die Möglichkeit bieten sollte, Material zu blockieren, das nicht direkt mit sexuellem Kindesmissbrauch zu tun hat, d.h. dass auch pornografische Inhalte, die nur Erwachsene zeigen, blockiert werden können. Viele Befragte waren der Ansicht, dass Erwachsenenpornografie sie gegenüber Bildern und Videos von sexuellem Kindesmissbrauch desensibilisiert und den Konsum von Missbrauchsabbildungen erleichtert.

Die Meinungen über den Ton der Nachricht, die den Nutzern nach der Sperrung von Inhalten auf ihrem Gerät angezeigt werden soll, gingen auseinander. Die Sperrmitteilung konnte als hilfreich oder nicht hilfreich empfunden werden, je nachdem, ob sie entweder vage war und den Zweck der Sperrung nicht verriet, ob sie schockierend oder abschreckend war und die möglichen negativen Folgen einer Straftat hervorhob, oder, ob sie positiv und unterstützend war und die Nutzer beispielsweise auf andere Hilfsmittel und Unterstützungsmöglichkeiten hinwies. Wenn eine standardisierte Sperrbenachrichtigung verwendet wird, sollte sie zumindest nicht bedrohlich wirken.

Die Ergebnisse zeigen, dass die Nutzer in der Lage sein sollten, die Sperrmitteilung innerhalb der App individuell anzupassen und auszuwählen. Darüber hinaus zeigte sich, dass es für die Nutzer wichtig ist, auswählen zu können, welche zusätzlichen Inhalte neben sexuellen Bildern von Kindern blockiert werden sollen. Der Salus-Prototyp bzw. zukünftige Versionen sollten über eine optionale Funktion verfügen, mit der auch pornografische Darstellungen von Erwachsenen blockiert werden können. Entsprechende Sperreinstellungen könnten vor der Nutzung der App zwischen dem Nutzer und seinem Leistungserbringer besprochen und vereinbart werden.

Zwei weitere Aspekte der App-Entwicklung wurden ebenfalls in den Interviews angesprochen: Interaktivität und Bereitstellung.

Interaktive Optionen für eine zukünftige Version von Salus könnten beispielsweise den Zugang zu einem Tagebuch (z.B. um über den Nutzen der App zu reflektieren) oder Nutzungsstatistiken (z.B. wie oft sie die Sperrmitteilung erhalten haben) umfassen, die allgemein als potenzielle Vorteile für die Benutzer begrüßt wurden.

Die Art und Weise, wie die App bereitgestellt wird, hat ebenfalls unterschiedliche Meinungen und Bedenken hinsichtlich des Datenschutzes hervorgerufen. Wie könnte beispielsweise ein Nutzer die App herunterladen, ohne seine Anonymität zu gefährden?

Diese Frage hat für das Protech-Team Priorität, und es müssen verschiedene Optionen in Betracht gezogen werden, um die sicherste Methode für die Bereitstellung von Salus zu gewährleisten. Zum Beispiel durch die Bereitstellung eines sicheren Download-Links oder einer Offline-Alternative, beispielsweise über einen USB-Stick.

Die in den Interviews gesammelten Daten sind von unschätzbarem Wert für die Entwicklung des Salus-Prototypen und stellen sicher, dass die App wirklich auf einem nutzerzentrierten Design-Ansatz basiert. Die App wird in Kürze testbereit sein und soll Anfang 2024 im Rahmen eines Pilotprojekts in fünf europäischen Ländern eingeführt werden.

Die Bekämpfung von Missbrauchsabbildungen ist anspruchsvoll und komplex, und es gibt keine Patentlösung, um deren Konsum und Verbreitung zu verhindern. Allerdings können nutzerzentrierte Technologien wie Salus, die künstliche Intelligenz und maschinelles Lernen einsetzen, um sexualisierte Darstellungen von Kindern zu blockieren, dazu beitragen, dass Einzelpersonen diese Art von Material nicht mehr konsumieren.

‍