HADAR conferisce profondità e consistenza alle immagini termiche "spettrali".

Se vogliamo che i veicoli autonomi e i robot siano sicuri ed efficienti, devono percepire l’ambiente circostante. Devono anche essere in grado di prevedere il comportamento delle cose che li circondano, siano essi altri robot, veicoli o anche persone, e pianificare i loro percorsi e prendere decisioni di conseguenza. In altre parole, hanno bisogno della visione artificiale.

Tradizionalmente, la visione artificiale viene realizzata con una combinazione di telecamere e sensori tra cui radar, sonar e lidar. Ma anche la visione artificiale spesso si basa sul calore. "La radiazione termica proviene da tutti gli oggetti che hanno temperature diverse da zero", afferma Zubin Jacob, professore di ingegneria elettrica e informatica alla Purdue University. "Foglie, alberi, piante, edifici: emettono tutti radiazioni termiche, ma poiché si tratta di radiazioni infrarosse invisibili, i nostri occhi e le fotocamere convenzionali non possono vederle." Ma poiché le onde termiche si disperdono costantemente, le immagini generate dalle termocamere a infrarossi mancano di specificità materiale, risultando in immagini confuse, “spettrali” senza profondità o consistenza.

In alternativa alle immagini “fantasma”, Jacob e i suoi colleghi delle università di Purdue e Michigan State hanno sviluppato una tecnica HADAR (heat-assisted Detection and Range) che risolve i segnali di calore disordinati per “vedere” la consistenza e la profondità. In un esperimento di prova, hanno dimostrato che la portata HADAR durante la notte è buona quanto la stereovisione RGB durante il giorno. Il loro lavoro è stato pubblicato il 26 luglio su Nature.

Gli esseri umani vedono una ricca varietà di colori, trame e profondità durante il giorno o in ambienti con luce adeguata, ma anche in situazioni di scarsa illuminazione o oscurità, ci sono molti fotoni termici che rimbalzano intorno. Sebbene gli esseri umani non possano vederlo, "questa limitazione non deve applicarsi alle macchine", afferma Jacob, "ma dovevamo sviluppare nuovi sensori e nuovi algoritmi per sfruttare tali informazioni".

Per il loro esperimento, i ricercatori hanno scelto uno spazio esterno in una zona paludosa, lontano dalle strade e dall'illuminazione urbana. Hanno raccolto immagini termiche nello spettro infrarosso su quasi 100 frequenze diverse. E proprio come ogni pixel nelle immagini RGB è codificato da tre frequenze visibili (R per rosso, G per verde, B per blu), ogni pixel nell'esperimento è stato etichettato con tre attributi di fisica termica, TeX: temperatura (T), impronta materiale o emissività (e) e struttura o geometria della superficie (X). "T ed e sono ragionevolmente ben compresi, ma l'intuizione cruciale sulla trama è in realtà in X", afferma Jacob. "X rappresenta in realtà i tanti piccoli soli nella scena che illuminano la tua specifica area di interesse."

I ricercatori hanno inserito tutte le informazioni TeX raccolte in un algoritmo di apprendimento automatico per generare immagini con profondità e consistenza. Hanno usato quella che chiamano decomposizione TeX per districare temperatura ed emissività e recuperare la struttura dal segnale di calore. Gli attributi T, e e X ordinati sono stati quindi utilizzati per risolvere i colori in termini di tonalità, saturazione e luminosità nello stesso modo in cui gli esseri umani vedono i colori. "Di notte, nell'oscurità totale, la nostra precisione era la stessa di quando tornavamo durante il giorno ed eseguivamo la misurazione e il rilevamento con telecamere RGB", afferma Jacob.

Il più grande vantaggio di HADAR è che è passivo, aggiunge Jacob. “Ciò significa che non è necessario illuminare la scena con un laser, onde sonore o onde elettromagnetiche. Inoltre, negli approcci attivi come lidar, sonar o radar, se sono presenti molti agenti sulla scena, può esserci molta diafonia tra loro”.

Essendo una nuova tecnologia, HADAR è in una fase abbastanza nascente, afferma Jacob. Attualmente la raccolta dei dati richiede quasi un minuto. In confronto, un veicolo autonomo che guida di notte, ad esempio, avrebbe bisogno di immaginare l’ambiente circostante in millisecondi. Inoltre, le telecamere necessarie per la raccolta dei dati sono ingombranti, costose e consumano molta energia: "Ottime per una dimostrazione scientifica, ma non proprio per un'adozione diffusa", secondo Jacob. I ricercatori stanno attualmente lavorando su questi problemi e Jacob prevede che altri anni di ricerca saranno dedicati ad affrontarli.