Rendering in tempo reale delle scene in 3D

Una nuova tecnica sviluppata dai ricercatori del MIT, in collaborazione con altre università, è in grado di rappresentare scene 3D da immagini circa 15.000 volte più velocemente di alcuni modelli esistenti.

Il metodo rappresenta una scena come un campo luminoso a 360 gradi, che è una funzione che descrive tutti i raggi di luce in uno spazio 3D, i quali fluiscono attraverso ogni punto e in ogni direzione. Il campo luminoso è codificato in una rete neurale, che consente un rendering più rapido della scena 3D sottostante da un’immagine.

Le reti di campo luminoso (LFN) sviluppate dai ricercatori possono ricostruire un campo luminoso dopo una sola osservazione di un’immagine e sono in grado di riprodurre scene 3D con frame rate in tempo reale.

Nella computer vision e nella computer grafica, il rendering di una scena 3D da un’immagine comporta la mappatura di migliaia o forse milioni di raggi della fotocamera. Per questo i metodi attuali realizzano centinaia di campioni lungo la lunghezza di ciascun raggio della telecamera mentre si sposta nello spazio, un processo computazionalmente costoso e lento. Invece un LFN impara a rappresentare il campo luminoso di una scena 3D e quindi mappa direttamente ogni raggio della telecamera nel campo luminoso al colore osservato da quel raggio. Un LFN sfrutta le proprietà uniche dei campi di luce, che consentono il rendering di un raggio dopo una sola valutazione, quindi l’LFN non ha bisogno di fermarsi sulla lunghezza di un raggio per eseguire i calcoli.

Gli scienziati hanno testato il loro modello ricostruendo campi di luce a 360 gradi di diverse scene semplici, scoprendo che gli LFN sono in grado di riprodurre scene a più di 500 fotogrammi al secondo, circa tre ordini di grandezza più veloci rispetto ad altri metodi. Inoltre gli oggetti 3D renderizzati dagli LFN spesso più nitidi di quelli generati da altri modelli.

Un LFN richiede anche meno memoria: solo circa 1,6 Megabyte di spazio di archiviazione, rispetto ai 146 Megabyte di un metodo di base popolare.

In futuro, i ricercatori vorrebbero rendere il loro modello più robusto in modo che possa essere utilizzato efficacemente per scene complesse del mondo reale.

Fonte: https://news.mit.edu/2021/3-d-image-rendering-1207