Alert minori. Due nuove funzioni di iOS 15 e MacOS Monterey permetteranno ad Apple di controllare le immagini e le comunicazioni dei propri clienti (inizialmente negli USA), segnalando alle autorità coloro che memorizzano o inviano immagini pedo-pornografiche o sessualmente esplicite. Aprendo nel nome della sicurezza dei minori la porta ad ogni tipo di controllo sui contenuti privati da parte di autorità più o meno democraticamente elette.
L’annuncio
Quando abbiamo letto la notizia, inizialmente sul Financial Times e successivamente su Bloomberg non ci avevamo creduto: impossibile che Apple andasse in modo così palese contro il buon senso ed impossibile che adottasse un sistema di identificazione foto illecite noto per creare innumerevoli falsi positivi.
Pubblicità
Nel nome dei bambini
Ma la notizia era vera: la sera di giovedì 6 agosto la conferma è apparsa sul sito Apple, in una pagina sulla child safety intitolata Expanded Protections for Children.
Analizziamo dunque di cosa si tratta, premettendo un’osservazione: da anni ogni volta che uno stato chiede – o esige – di avere una backdoor, una porta di ingresso secondaria nelle comunicazioni dei cittadini, la pedopornografia è stata sempre portata come la motivazione. Logico: quasi tutti hanno figli da proteggere e quasi nessuno può opporsi senza sollevare il sospetto di essere lui stesso fruitore delle immagini fuori legge. Si tratta dunque un metodo semplice e rodato per disinnescare le opposizioni.
Pubblicità
Non solo minori
Ma se un sistema è in grado di riconoscere immagini pedo-pornografiche, allora è anche in grado di riconoscere altri tipi di immagini. Per esempio: partecipanti a manifestazioni che indossano gilet gialli, oppositori politici, ecc.
Le funzionalità
Apple intende dunque installare in ogni iPhone, iPad e Macintosh due funzionalità: la scansione delle immagini e la scansione dei messaggi (teoricamente criptati) inviati tramite iMessage.
Scansione Immagini
La spiegazione ufficiale della funzionalità è piuttosto complessa: cerchiamo di sintetizzarla, anche grazie all’analisi della Electronic Frontier Foundation (EFF).
CSAM
Esiste un database di immagini illecite di nome CSAM, creato e mantenuto dal National Center for Missing & exploited childen. CSAM sta per Child Sexual Abuse Material; le immagini del database sono quelle che rappresentano attività sessuali esplicite che coinvolgono un “child”.
Pubblicità
Child
Child è a sua volta definito come minore appartenente alla fascia meno di 13 anni o tra i 13 e i 17 anni (due gruppi differenti comunque di minori).
Il sistema opera confrontando le immagini dell’utente con quelle del database. In realtà non vengono confrontate le immagini stesse, ma i loro hash.
Hashing
Hashing è un meccanismo che, dato un contenuto (in questo caso una fotografia), genera un numero univoco corrispondente.
La fotografia
Ad esempio, partendo da questa fotografia, un semplice algoritmo di hashing effettua una riduzione dell’immagine, la trasforma in bianco e nero generando il numero identificativo univoco corrispondente 8f373714acfcf4d0 (ci sono delle lettere in quanto è un numero esadecimale; il suo corrispondente decimale e 10319777633083913424).
In passato l’algoritmo hash era facilmente confondibile cambiando anche solo qualche pixel (ad esempio, tagliando anche di poco un bordo del frame), ma nel 2009 Microsoft ha messo a punto la tecnologia Photo DNA in grado di non essere ingannata da questi cambiamenti: due foto dello stesso soggetto generano lo stesso hash anche se una viene modificata.
Nel nostro caso Apple ha implementato una tecnologia equivalente on-board denominata NeuralHash, che utilizza i neuroni sintetici presenti nelle CPU degli ultimi apparati Apple.
Pubblicità
Confronto
Cosa fa dunque l’iPhone? scansiona tutte le fotografie del proprietario dell’iPhone, applica il Neural Hash e le confronta con il database CSAM che – sorprendentemente – è stato precedentemente caricato nella sua interezza sul device stesso.
Confronto
Il confronto tra due numeri (gli hash abbiamo visto essere numeri) è un procedimento banale, tipo “X è uguale a Y?”, ma nella sua spiegazione Apple usa la pomposa espressione “Private set intersection”.
Ovviamente l’intersezione tra l’insieme degli hash delle immagini sull’iPhone e quelle del database CSAM contiene quelli comuni, ovvero con lo stesso hash: X=Y, appunto.
Delazione
Ed ecco quanto accade se si trovano un certo numero di corrispondenze: l’iPhone invia ad Apple “the image’s NeuralHash, a visual derivative” …e l’immagine incriminata.
Nostro figlio in vasca da bagno
Se dunque abbiamo fotografato nostro figlio che esce dalla vasca da bagno e una foto molto simile esiste anche nel database CSAM ecco che NeuralHash potrebbe generale un falso positivo, informando Apple: “attenzione, utente pedofilo”.
Una copia dell’immagine di nostro figlio nudo viene inviata ad un dipendente della società incaricato di confermare la corrispondenza e in caso avvisare immediatamente le autorità.
Caso archiviato
Nel nostro caso il controllore si renderebbe conto che il soggetto è diverso in quanto l’immagini simile rappresenta invece una bambina. Caso archiviato.
Alex…ahhhh
La cosa dovrebbe comunque preoccuparci: ricordiamo quanto accadeva fino a pochi anni fa, quando per migliorare la qualità del riconoscimento vocale degli smart speaker i dipendenti di Amazon finivano per ascoltare le registrazioni delle sessioni amorose dei clienti, quelle dove uno dei partner si chiamava Alex…ahhhh. Ed ovviamente lo stesso inconveniente accadeva ai dipendenti Apple.
Falsi positivi
Nel caso delle immagini uno dei problemi sono dunque i falsi positivi: analoghi filtri anti-foto-esplicite applicati in passato hanno individuato come pornografiche immagini di statue classiche o anche selfies di soggetti in costume da bagno.
Pubblicità
Richieste diverse
Ma il problema maggiore è un altro: una volta che si è fornita alle autorità l’accesso alle immagini pedo-pornografiche, nulla vieta alle autorità stesse di esigere l’applicazione dello stesso meccanismo ad altri insiemi di immagini, sempre con lodevoli intenzioni: il database delle foto dei terroristi, un eventuale database dei Gilet Jaunes e così via.
IMessage
L’altra funzionalità annunciata da Apple riguarda la scansione dei messaggi del sistema iMessage, l’equivalente in-house di WhatsApp. In questo caso il sistema neuronale cerca di identificare immagini sessualmente esplicite e in caso i minori ricevano da o vogliano inviare a terzi questo tipo di immagini avvisa immediatamente “i genitori”, informando cortesemente il bambino con la frase “i tuoi genitori vogliono essere sicuri che tu sia al sicuro”.
Notare il tono minaccioso della frase It is your choiche, è una tua scelta: indirizzato ad un bambino di 10 anni.
Pubblicità
C.C.
Viene contestualmente inviata una copia della foto al “genitore” e viene resa non cancellabile l’immagine dal device del minore (quest’ultima cosa probabilmente per assicurare che all’adolescente venga somministrata una sonora sgridata, nell’impossibilità di cancellare le prove a suo carico)
Grande fratello e famiglie miste
A parte la chiara funzione da Grande Fratello che Apple ritiene di poter svolgere (e si tratta proprio dalla società che trasmise il famoso spot “1984 will not be like 1984 durante il Superbowl!), facile immaginare come gli adulti possano abusare di questa funzione, tenendo sotto ricatto i propri (o altrui, nel caso di famiglie miste) figli.
Conclusioni
Abbiamo visto come – partendo da lodevoli intenzioni – Apple intenda inserire nei propri sistemi operativi alcune porte di accesso secondarie che potranno essere abusate in molti modi differenti da chi ha interesse a controllare i nostri comportamenti o da genitori vendicativi.
Connessioni
Per il momento possiamo difenderci rinunciando agli apparati della casa di Cupertino, ma temiamo che l’esempio sarà rapidamente seguito da altri virtuosi protettori dei minori. Non ci resta dunque che ritornare alle tradizionali macchine fotografiche che registravano i files su schede di memoria. Quelle non connesse ad alcuna rete. (M.H.B. per NL)
Pubblicità
