Perché guardare la realtà quando puoi modificare ciò che vedi in tempo reale?

L’adozione della realtà aumentata sta avvenendo lentamente ma inesorabilmente, ed è facile intravedere un possibile futuro per la tecnologia: hardware che ti consente di modificare ciò che vedi in tempo reale, sostituendo gli oggetti intorno a te con sovrapposizioni virtuali. Chiamatela realtà mista, per essere più precisi.

Una recente ricerca del team di intelligenza artificiale di Porsche (sì, le case automobilistiche, ci arriveremo tra un po’) mostra come potrebbe funzionare. La squadra ha costruito un Sistema di intelligenza artificiale soprannominato TransforMR che rileva oggetti come automobili e persone, li rimuove, quindi li sostituisce con alternative CGI in tempo reale. I risultati finali sono difficilmente impeccabili (le modifiche sono casuali e i modelli CGI sembrano presi in prestito da Creatore di filmati 3D) ma il concetto è sorprendente. Non è difficile immaginare che applicazioni come questa diventino comuni nei decenni a venire.

Il team dietro il lavoro ha detto Il Verge che sebbene i singoli elementi del loro lavoro fossero già stati realizzati in precedenza, il sistema composito è nuovo. TansforMR può essere eseguito su normali smartphone e tablet, ma richiede una connessione 4G per inviare dati al cloud. Le immagini vengono elaborate in modo che gli oggetti non siano solo coperti, come con gli obiettivi Snapchat AR o Memoji di Apple, ma completamente modificati. Gli oggetti vengono rilevati, segmentati, quindi “dipinti” (sostituiti con uno sfondo generato dall’intelligenza artificiale) e un modello CGI sostituito dall’originale.

Ci sono ovviamente molte aree di miglioramento. Il frame-rate è di soli 15 fps con ritocchi di bassa qualità; il ritardo va da 50 a 100 millisecondi; e le sostituzioni CGI sono di bassa qualità. Ma il team dietro il sistema afferma che questi aspetti sono relativamente facili da migliorare.

“Il limite principale è che le immagini di grandi dimensioni richiedono un’elevata intensità di calcolo”, ha detto Mohamed Kari, ricercatore di machine learning presso Porsche. Il Verge. “Quindi per il repainting lo facciamo attualmente con immagini molto piccole, operando su immagini 512 x 512. Ma la larghezza di banda [usage] è trascurabile. Se puoi fare FaceTime puoi fare TransforMR.”

Uno degli elementi chiave del sistema, afferma Kari, è l’uso del rilevamento della posa. Ciò significa che quando il sistema rileva una persona, ad esempio, identifica 18 articolazioni separate del corpo. Ciò significa che la sostituzione CGI può essere ancorata al movimento del bersaglio in tempo reale. Kari lo confronta con altri sistemi AR che identificano semplicemente le superfici geometriche.

Guardando le clip di TransforMR in azione, non è difficile immaginare che tale software sia integrato negli occhiali AR. Gli utenti possono scegliere un “tema” per la loro giornata, sostituendo auto, edifici e persone con alternative fantascientifiche o oggetti presi dalla natura. Ma, come sottolinea Kari, ciò comporterebbe un’enorme sfida hardware. Gli attuali occhiali per realtà aumentata possono proiettare solo sovrapposizioni a bassa risoluzione e semi-opache sulle loro lenti. In questo momento, semplicemente non abbiamo la tecnologia per “modificare” ciò che gli utenti vedono con questo tipo di hardware. (Anche se presumibilmente potrebbe essere fatto utilizzando un sistema VR “passthrough”, in cui le telecamere in prima persona riproducono un feed video in diretta su schermi che occlude completamente la visione di chi lo indossa.)

“Stiamo riproducendo l’intera immagine sullo schermo, quindi possiamo rimuovere tutto ciò che vogliamo, ma con gli occhiali per realtà aumentata è difficile rimuovere gli oggetti perché aggiunge intensità della luce”, afferma Kari. “In HoloLens, ad esempio, stai cercando attraverso il vetro, quindi rimuovere le cose è più difficile. Questa domanda è aperta alla ricerca”.

Ma perché Porsche sta indagando su questo tipo di tecnologia in primo luogo? Secondo uno degli architetti di intelligenza artificiale dell’azienda, Tobias Grosse-Puppendahl, si tratta di migliorare l’esperienza di passeggeri e conducenti. Le versioni future del software TransforMR potrebbero essere utilizzate per intrattenere le persone quando sono bloccate nel traffico, dice Grosse-Puppendahl Il Verge. “La nostra domanda principale era: come possiamo modificare la realtà in un modo divertente e divertente con cui reagire? Ed è da lì che è nata la nostra idea».

Altri progetti di ricerca in Porsche seguono un tema simile. Ad esempio, l’azienda ha anche costruito un sistema prototipo chiamato SoundRide che utilizza la visione artificiale di un’auto per rilevare i cambiamenti nello scenario e trovare la musica appropriata. “Forse, ad esempio, stai guidando attraverso le Alpi, percorrendo un bellissimo percorso, e all’improvviso hai una vista meravigliosa e forse la musica cambia”, dice Kari. “Stiamo pensando a come la tecnologia possa rendere l’esperienza in macchina ancora più interessante e bella”. E questo significa armeggiare con ciò che le persone altrimenti vedrebbero e ascolterebbero.