Facebook Caffe2Go, IA e reti neurali su smartphone

L’azienda di Menlo Park è impegnata nello sviluppo di una tecnologia simile a quella di Prisma che permette di applicare filtri in tempo reale a foto e video. Per ottenere risultati di elevata qualità, Facebook ha progettato un sistema basato sull’intelligenza artificiale, denominato Caffe2Go, che esegue i calcoli necessari direttamente sullo smartphone dell’utente.

La tecnica che consente di trasformare foto e video in quadri di Picasso o Rembrandt si chiama “style transfer“. In passato era necessaria la grande potenza di elaborazione dei data center per l’applicazione di questi filtri e quindi il trasferimento bidirezionale dei dati tra dispositivo e server. Grazie a Caffe2Go è invece possibile catturare, analizzare ed elaborare i singoli pixel in tempo reale con Facebook per iOS e Android. In pratica, l’azienda ha integrato le deep neural network nelle app per iOS e Android (già disponibili in Irlanda).

[embed_fb]https://code.facebook.com/Engineering/videos/10154607751647200/[/embed_fb]

L’architettura di Caffe2Go è modulare ed è ottimizzata per ogni piattaforma. Nel caso degli smartphone ci sono maggiori vincoli hardware rispetto ai computer, ma gli ingegneri di Facebook sono riusciti a sviluppare una tecnologia IA che effettua l’elaborazione in tempo reale sul dispositivo mobile, conservando la qualità e la risoluzione originali. Il training delle rete neurali avviene sui server, ma la loro esecuzione è locale. La dimensione del modello IA usato per applicare filtri a foto e video è stata ridotta di 100 volte, mentre lo style transfer viene eseguito in 50 millisecondi.

Caffe2Go può essere utilizzata anche per applicazioni di realtà aumentata e per creare controlli basati sulle gesture. La scelta dei filtri può avvenire in maniera automatica, in base al soggetto inquadrato dalla fotocamera, sfruttando eventualmente il riconoscimento del volto.