Kirche → Dorf

Große Aufregung, dass Apple nun beginnen will, in iCloud hochgeladene Bilder gegen eine Datenbank bekannter Kinderpornographie zu matchen. Was mich wieder zu der These bringt, dass alles erst dann wichtig wird, sobald Apple es auch macht.

Microsoft und Google tun es seit 2008, Facebook seit 2011 und Twitter seit 2013.

Das sind noch nicht mal alle Maßnahmen. Wer hat bessere Vorschläge, was man zum Schutz von Kindern unternehmen sollte?

42 thoughts on “Kirche → Dorf”

  1. Was Apple hier macht, konterkariert ihre Arbeit der letzten Jahre, was den Datenschutz angeht komplett. Im Prinzip ist nach dem rollout jedes Apple-Gerät kompromittiert. Und was heute hier für den Schutz der Kinder eingeführt wird, wird morgen hier und dort gegen Terroristen, Drorendealer, Journalist:innen und Menschenrechtsaktivist:innen eingesetzt. Andere Hashes (Platz des himmlischen Friedens mit Mann vor Panzer), andere Stoppwords. Wenn das kommt, war’s das mit Apple für mich.

    1. Ja, das ist der Stil der Diskussion. Powertipp: Wenn du in einem totalitären Staat lebst, brauchst du keinen Grund, jemanden verschwinden zu lassen.

      Was hast du für Vorschläge?

      1. Tja, das ist die große Frage bei allen großen zentralen Services. Clouds und Plattformen. Bei Unternehmen, wie bei Staaten. Am Ende bleibt kanalisiert sich ALLES in der Frage: (Ver)traust du dem Anbieter.

        Vertrauen ist alles. Hält jede Gesellschaft zusammen. Jeder der behauptet das Prinzip wäre überwindbar und wir müssen zu ausschließlich dezentralen Systemen kommen, der ignoriert die Natur der Menschen.

        Ich verstehe die Sorge von Snowden und Co technisch inhaltlich.

        Für mich kann ich jedoch sagen: Ich vertraue Apple, hier das richtige zu tun. Das steht für mich nicht in Widerspruch zum Security und Privacy Fokus. Und sehe darin nicht den Untergang des Abendlandes. Auch nicht den Anfang davon.

  2. Ich mach mal keinen Beitrag zum Thema. Spannend ist, dass sogar hier nur die erste Zeile gelesen wird und reflektionsartig auf den Kommentar-Knopf gedrückt wird …

  3. Ich finde die avisierten Maßnahmen und Features sehr sinnvoll und auch hinsichtlich der Umsetzung vernünftig ausgewogen.

    Gleichzeitig wünsche ich mir, dass zu diesem Thema (mehr) Abstimmung unter den globalen Technologiekonzernen stattfindet, ohne dass (zu sehr) Wettbewerbsvorteile im Vordergrund stehen.

  4. Die erste Fehlannahme ist doch, dass das die Maßnahmen sind, die zum Schutz der Kinder notwendig sind.

    1. Wer solche Inhalte konsumiert, wird dann halt auf iCloud verzichten. (Ich beziehe mich hier explizit auf die iCloud Funktion, und nicht auf die iMessages Funktion zur Überwachung von Teenagern). Damit ist
    Niemandem geholfen!

    2. Das Argument von Apple/iOS war immer “Privacy” (What happens on your iPhone, stays on your Phone). Und das war auch richtig und wichtig. Da Appelle als absolut geschlossene Plattform halt nicht erlaubt Security als Sideload aufzubringen, bleibt das Privacy dir Aufgabe von Apple. Diese Position hat man unnötig geschwächt.

    3. Ist es angemessen, alle Inhalte, also auch die von Unschuldigen, zu überwachen? Nein! Ich möchte nicht, dass Apple meine Inhalte gegen meinen Willen scannt. (Der Wille iCloud zu nutzen ist nicht der selbe Wille der die Überwachung erlaubt.)
    Zumal, in Verbindung mit (1) ergibt sich ja, dass eigentlich nur unschuldige ûberwacht werden.

    4. Es wird eine Überwachungsinfrastruktur in Position gebracht, die per “Policy” nur zum Guten genutzt wird. Aber sie lässt sich halt leicht zweckentfremden z.B. durch Politischen Druck. Dazu bestehen ja jetzt schon Bedürfnisse. Sollten wir aber eine Totalitäre Regierung bekommen, dann hat die ein Instrument um in das persönliche zu Spionieren. Die Ausrede von Apple, dass das technisch nicht möglich wäre, oder gegen Unternehmenswerte verstösst, wird dann kaum ziehen.

    Schere im Kopf. Lückenlose & anlasslose Überwachung. All diese Trigger, die nicht ohne Grund gesetzt wurden. Wie soll ich dem Nachbar das iPhone empfehlen? Soll ich sagen, dass Apple seine Bilder nach KiPo scannt? Alternativ müsste Apple ja
    iOS öffnen, damit ich auch andere Dienste zur z.B. Synchronisation von iPhoto Inhalten nutzen kann.

    Ich bleibe dabei. Apple, als bisheriger Verfechter von Privacy, bricht den Damm.
    Für mich verspielt sich da die Argumentation für die Apple Tax nahezu komplett.

  5. Volker, was macht es denn in Deinen Augen sooo unkritisch?
    Da steht zwanzig mal on-device und CSAM und “sexually explicit”. Das Foto-Ding macht intelligenten Abgleich mit einem Referenzdatenbestand. Das iMessage-Ding analysiert, was du tust. Und es ist Software, die _hier_ und _heute_ mit dem Parametersatz “Schutz von Kindern” das dokumentierte tut und _morgen_ oder _anderswo_ eben mit einer anderen Datenbasis und anderen Meldewegen andere Dinge tun kann.
    Der Punkt ist, es durchwühlt meine Privatsphäre, kommt zu irgendwelchen Annahmen und leitet irgendwelche Dinge ein, die _jetzt hierzulande_ keine gesetzliche Grundlage haben, aber schnellstens eine bekommen werden, sobald jemandem auffällt, dass man ja einen anderen Parametersatz hinterlegen kann.

    1. Ich habe nach gezählt. 1 mal steht da non-device. Und zwar dass es nicht non-device geht.

      1. Mmh. Dass es non-device nicht geht. Sorry für den Dreher.

  6. @Andreas: Das tut Apple (und die andere Großen Foto Clouds) doch in der Wolke, sowieso schon! Bisher halt nur serverseitig, bald dann nur noch onDevice. Vermutlich als Vorbereitung, damit sie Fotos in iCloud bald End2End verschlüsseln können. (Mutmaße ich mal)

    Einen Dammbruch erkenne ich nicht.

    Und Dickpic Filter, haben viele andere Services auch. Wenn das richtig implementiert ist, sehe ich da auch nix schlimmes dran.

    Böse ist, wer Böses tut. Das iPhone ist längst kein „Device“ mehr, sondern nur die Hardware für eine/mehrere große Plattformen.

    Vertrauen ist die einzige Währung, wenn du nicht ALLES selbst machst.

      1. Stimmt praktisch. Das meiste an Überwachung passiert bisher ja auf Netzwerk Ebene. Das waren ja im Kern die Snowden Enthüllungen.

  7. Solche Bilder könnten auch zuhause auf einem Speichermedium gespeichert werden. Könnten nicht mit derselben Begründung, mit der die Durchsuchung der Bilder in der iCloud gerechtfertigt wird, alle Rechner zukünftig mit einer entsprechenden Technologie ausgestattet werden, die alle auf dem Rechner verarbeiteten Dateien in gleicher Weise durchsucht und Befunde meldet? Und da es Jahre dauern kann, bis alle Geräte ausgetauscht wurden, wird das mit Zwangsupdates bei bestehenden Geräten ergänzt. Und die Updateverweigerer bekommen behördlichen Besuch, der entsprechende Tools auf den Rechnern installiert. Wer nichts zu verbergen hat, wird sich schon nicht beschweren. Eine Horrorvision? Der Mensch sollte nicht unter Generalverdacht gestellt werden.
    Die Frage, ob jemand einen besseren Vorschlag hat, scheint mir deshalb klar zu beantworten zu sein: Keine automatisierten Kontrollen. Statt dessen etwas sehr altmodische – Datenschutz. Und wenn es einen konkreten Verdacht gibt, mag beschlagnahmt werden.

    1. Solche Dammbruchargumente sollte man nicht einfach so hinklatschen, sondern schon differenzieren, welche davon realistisch sind und welche nicht.

      Hausbesuche klingen natürlich plakativ schlimm, scheinen mir aber auch _sehr_ unwahrscheinlich und, nein, deswegen finde ich das ein schwaches Argument wenn es nicht weiter untermauert wird. (Zum Beispiel indem aufgezeigt wird, wie das bei anderen Anbietern schon geschah, die Volker hier auch nennt)

      Ich sehe hier auch tatsächlich Dammbruchgefahren, jedoch ist deswegen nicht jeder mögliche Dammbruch gleich ein passendes Argument.

  8. CSAM
    I notice…. MacOS and iPad OS are tagged….
    * Features available in the U.S.
    I am not 100% clear if this is saying the CSAM features only work in the USA of America. Similarly they only talk about working the American National Center for Missing and Exploited Children (NCMEC). For a system like this I would imagine they would need to partner with many many similar institutions. Or maybe there is a global body? Anyhow, my point is after reading the document it’s not immediately clear if the CSAM capability will be coming to Europe.

    I wonder if they could engineer the system so that the NCMEC, or similar, were responsible for managing the database of hashes. Remove themselves from that process and remove themselves from having to inject political images.

    I can not even begin to comprehend all the issues this topic presents.

  9. Hier geht es nicht um Technik : Rasterfahndung ist juristisch immer problematisch, zumindest in Deutschland wo Grundrechte ernst genommen werden.

    Und Grundrechte versucht man immer wieder mit dem Alibi der Sicherheit zu untergraben, es ist leider eine klassiche Vorgehensweise, die insbesondere totalitaire Systeme sehr gerne sogar offen praktizieren. Und mit der „Sicherheit von Kindern“ kann man schnell populistisch punkten, da es in der Tat etwas wichtiges ist. Aber, und das hat die Geschichte immer wieder gezeigt : es reicht auch ein Riss im Damm der Grundrechte um ihn früher oder später zum Einbruch zu bringen.

    – Wollen wir wirklich dieses Risiko eingehen? Meine persönliche und klare Antwort dazu : nein!
    – Und gibt es Alternativen um Missetäter zu erwischen ohne Grundrechte auszuhölen? Ja, mit Sicherheit kann man es auch anders hinkriegen, wenn man nicht zu Faul zum nachdenken ist.

    Eine andere Frage stellt sich auch noch: ist es normal ein rechtsstaatliche Aufgabe, und zwar die, die Sicherheit der Bürger zu garantieren, an die Privatwirtschaft zu delegieren?

    Bin mal gespannt was nun mit dieser Debatte passiert weil, wie richtig bemerkt, sie durch Apple ins rollen gebracht wurde.

    1. Siehe zweiten Absatz in meinem Post. Die “Privatwirtschaft” macht das seit einiger Zeit, um ihren Stall sauber zu halten.

      1. Feiner Zug : da darf der Postbote die Post öffnen und lesen …

  10. Du schreibst, dass Microsoft, Google, Facebook und Twitter dies auch bereits lange tun. Alles was ich dazu finde, ist dass diese das bisher in der Cloud machen, aber nicht auf den Benutzergeräten selber. Siehst Du das anders?

    1. Danke, Marko. Sehr gut beobachtet. Apple holt das für den Upload in die iCloud auf das Gerät, damit sie das nicht in der Cloud matchen müssen. Das ist eine erhebliche Verbesserung. Damit schlagen sie zwei Fliegen mit einer Klappe: Sie können in der Cloud komplett verschlüsseln und trotzdem glaubhaft machen, dass sie keinen Upload von inzidiertem Kinderpornographie-Material zulassen.

      1. Analyse auf dem Gerät statt in der Cloud ist erstmal nur anders, nicht unbedingt besser. Beide Optionen haben ihre Vorteile.

        Ich neige derzeit auch dazu, dass ich diese Art von Analyse auf dem Gerät besser finde, aber ganz wohl ist mir dabei nicht.

        Ein Teil der Bauchschmerzen kommt sicherlich von dem Wissen, das man solch eine Entscheidung später kaum mehr umkehren kann. Die Angst, es könnte die Büchse der Pandora sein.

    1. Zu kurz nachgedacht. Wenn man was gegen den Uploader unternehmen will, muss man nicht sein ganzes Material finden.

  11. Kirche / Dorf ist völlig unpassend. Die Technologie der CSAM zu Grunde liegt, lässt sich problemlos auf alles anpassen. Das heißt nicht weniger als dass Apple binnen extrem kurzer Zeit z.B. alle Endgeräte nach dem Vorhandensein eines bestimmten Inhaltes durchsuchen kann. Quasi virtuelle Hausdurchsuchung binnen Sekunden auf Millionen (Milliarden?) Geräten. Denn ich sehe nunmal nicht, gegen was der Hash dann alles anschließend abgeglichen wird. Wenn Er mal da ist. Der Satz hier hat es nämlich in sich: „ Apple further transforms this database into an unreadable set of hashes that is securely stored on users’ devices“. Bedeutet nämlich wohl auch, dass keiner sehen kann, gegen was Apple scannt.
    Das ist schon ein Gamechanger. Können wir uns sicher sein, dass Apple wirklich diesen ganzen Aufwand betreibt um das dann ausschließlich für CSAM zu verwenden? Ich wette nein. Also können wir diese Diskussion gleich führen ob wir das auch für allen anderen Content wollen/akzeptieren, oder nicht. Bei allen Vorschusslohrbeeren denen ich Apple in Punkto Sicherheit gewähre: Das Eis auf den die gerade laufen, das ist wirklich sehr sehr dünn.

    Bessere Vorschläge? Schwierig, sicher, leider.

      1. Naja, ganz so ist es auch nicht. Mit dem Argument kann man sonst alle Bedenken erschlagen. Aber was wäre denn, wenn diese Hashliste, wenn sie denn schon auf jedem Gerät liegt, von einer unabhängigen Stelle einsehbar wäre? Oder gar von einer entsprechenden Organisation erstellt werden würde? Mmmh, vielleicht will das Apple ja gar nicht. Fällt mir glatt ein Sprichwort ein: Die meisten schlimmen Dinge, werden mit gutem Vorsatz begangen.

          1. Apple ist halt clever. Statt die neuen iPhones im September bei der Präsentation mit dem zu erwartenden Shitstorm zu belasten, lässt man diese Information einige Wochen früher raus. In ein paar Wochen haben sich die Wogen wieder geglättet und wenn die iPhones mit neuem iOS auf den Markt kommen, wird fast kein Hahn mehr danach krähen.

        1. Bin mir unsicher ob ich Dich oder die Beschreibung von Apple ggf. falsch verstehe: Die Hashliste _wird_ nicht von Apple, sondern von einer unabhängigen Organisation erstellt: Dem NCMEC.

          Das sind in den USA auch die einzigen, die das legal dürfen. Im Gegensatz zum NCMEC dürfte Apple gar keine Sammlung an Kinderpornografie erstellen, um daraus Hashes zu berechnen.

    1. Wieso ist das denn ein Gamechanger?

      Apple hat dein Gerät doch auch heute schon komplett in der Hand. Dazu brauchen Sie doch kein CSAM. Wenn Apple wollte, könnten Sie heute schon ALLEs auf deinem Phone tun, ohne dass WIR das direkt mitbekommen.

      Wir vertrauen nur darauf, dass Sie es nicht tun.

      Apple könnt mit jedem Update was sie uns pushen belibigen Code in unsere Devices einbauen. Es sind eben nicht (mehr wirklich) unsere Devices. Ein iPhone ohne Apple Services ist ein hübscher Briefbeschwerer.

      1. Wenn man wissen will, was für Apps, Bilder, Nachrichten etc. auf dem Gerät sind, kann man auch einfach WhatsApp fragen. 🙂 Steht im App Store, was Facebook so alles weiß.

        1. Die Argumentation (auch der von Daniel) nach bedeutet das also, dass ich wieder Facebook abonnieren kann weil ja eh alles egal ist. Nunja, zumindest den (wohl weltfremden) Wunsch nach etwas mehr Transparenz, den darf man ja wohl äußern 🙂

          1. Na klar. Ich amüsiere mich nur köstlich, wenn sich Leute die Köpfe heiß reden, weil in USA ein Sack Reis umfällt, der sie gar nicht betrifft.

  12. Wenn ich schon hier als ersten Kommentar lese “… Im Prinzip ist nach dem rollout jedes Apple-Gerät kompromittiert …”.

    Wenn ich es nicht komplett falsch verstanden habe werden in die Cloud hochgeladene Bilder geprüft. Es findet keine Prüfung auf dem Gerät selbst statt.

    Ich finde die Prüfung ok. Spannend wird natürlich die Frage sein, wie mit “false positives” umgegangen wird. Und die wird es geben, auch wenn Apple es m.E. wahrscheinlich besser als z.B. Facebook umsetzen wird.

    Die großen Fische wird man damit allerdings auch nicht erwischen. Ich denke nicht dass für die wirklich Schwarzen Schafe iCloud das Medium der Wahl ist.

    1. Der Spaß daran ist ja gerade, dass der Scan auf das Gerät vor-verlagert wird.
      In die Cloud kommt das Bild dann mit einem Tag “CSAM”.
      Wenn du genügend CSAM-Tags gesammelt hast, gehen die zur Prüfung an einen Mensch bei Apple (zur QS), dann zu der unabhängigen Stelle, dann zur Polizei.
      Da ist es wirklich egal, ob das auf dem Gerät oder “erst” in der Cloud passiert. Es ist “Solutionism”, zwanghaft ein gesellschaftliches Problem mit Technik lösen zu wollen. Wird schiefgehen, bzw. von denen, die es fangen sollte, umgangen werden. Wird missbraucht werden, staatlicherseits.

      Was mir immer noch zu kurz kommt, ist dieses “Wir erkennen, was du tun willst” im iMessage-Teil der Geschichte. Auch hier sind schon alle Argumente, warum das nur auf den ersten Blick eine gute Idee ist, genannt worden. Aber natürlich, muss ja keiner iMessage benutzen. Instagram ist bestimmt eine viel reichhaltigere Plattform für besagte Zielgruppe. (siehe oben verlinkten Krautreporter/Medium-Artikel).

      Und zu sagen, ist ja nur in den USA, regt euch nicht auf, begreif ich nicht. Auch bei uns werden alle “Sicherheitsgesetze” vorgeblich zum Schutz der Kinder gemacht. Die Bilddatenbank braucht kein Update (da die Szene international vernetzt ist, gibt es wahrscheinlich keinen USA-spezifischen CSAM-Pool). Es braucht nur einen deutschen Partner, der das Screening der Treffer übernimmt, um das auch in D auszurollen.

      Habe oben schon darauf hingewiesen, dass es bessere Maßnahmen gibt, unsere Kinder zu schützen. Die haben halt den Nachteil, dass sie personalintensiv statt CPU-intensiv sind.

  13. Wer wirklich noch weiter in die Details eintauchen möchte, dem seien die ganz unten auf der Seite https://www.apple.com/child-safety/ verlinkten PDFs ans Herz oder besser ans Hirn gelegt.

    Ich kann mich nicht daran erinnern, dass ein Hersteller in den letzten Jahren sich derart intensiv mit Privacy und Security auseinandergesetzt hat.

    Im Detail wird es jetzt im nächsten Scrhitt darauf ankommen, dass neben dem Blick auf die korrekte Implementierung der Protokolle sich jetzt auch mal mehrere unabhängige Organisationen die korrekte Implementierung insbesondere der Metadaten-Beigabe in den Vouchers anschaut.

  14. Vielen Dank für Eure Gedanken, auch wenn einige sich nicht wirklich mit dem Thema auseinandergesetzt haben. Vielen Dank an Marco Schulz, der das sehr ernst genommen hat.

    Ich schließe die Kommentare mal, damit es weniger Gelegenheit gibt, sich zu blamieren. 🙂

Comments are closed.