I ricercatori del MIT e di altre istituzioni hanno sviluppato un sistema in grado di insegnare a un modello di linguaggio visivo a convertire automaticamente progetti 2D in programmi CAD che si possono usare per simulare e testare oggetti 3D.
Gli ingegneri del MIT e di altre istituzioni hanno sviluppato un sistema in grado di istruire un modello di linguaggio visivo (VLM) nella conversione automatica di progetti 2D in programmi CAD da usare per simulare e testare oggetti 3D. Migliorando le prestazioni e l’efficienza della generazione CAD basata sull’intelligenza artificiale, questa tecnica potrebbe semplificare il processo di prototipazione rapida e ridurre i costi e inoltre aiutare gli ingegneri a individuare soluzioni progettuali vantaggiose che altrimenti potrebbero trascurare.
Il sistema genera nuovi dati in base alle capacità del modello durante il tentativo di convertire un’immagine 2D in un programma CAD. Il framework corregge gli errori del modello e li integra in un dataset insieme alle soluzioni corrette. I dati vengono usati per insegnare al modello come correggere errori specifici e affrontare problemi complessi che altrimenti non sarebbe in grado di risolvere: “Vogliamo che gli ingegneri possano indicare al nostro framework un modello CAD con prestazioni insufficienti, impostare un budget di calcolo e lasciare che il sistema si occupi del resto, trasformando gli errori del modello stesso in dati di addestramento migliori” afferma l’autore principale Giorgio Giannone, ricercatore associato presso il Design Computation and Digital Engineering (DeCoDE) Lab del MIT e ricercatore principale presso l’AI Innovation Team di Red Hat.
Dati basati sul modello
I modelli di linguaggio visivo (VLM) prendono un’immagine 2D e del testo descrittivo e producono codice Python che può essere eseguito in un software CAD per generare un modello 3D di un oggetto fisico. Hanno studiato le difficoltà di implementazione dei modelli VLM esistenti per questo compito e hanno determinato che il limite principale è la mancanza di dataset CAD diversificati e di alta qualità per addestrarli. Per ovviare a questo problema, i ricercatori del MIT hanno cercato di creare nuovi dati per insegnare a un modello come eseguire la generazione CAD, utilizzando un processo noto come data augmentation.
Nella data augmentation, gli scienziati in genere creano nuovi dati modificando casualmente i dati esistenti per generare più campioni, spesso regolando il colore, le dimensioni e la forma degli oggetti nelle immagini. I ricercatori del MIT hanno invece creato un sistema di data augmentation chiamato Geometric Inference Feedback Tuning (GIFT ) che genera dati progettati per migliorare le prestazioni di un modello VLM per un compito specifico. GIFT sviluppa una comprensione dei punti di forza e di debolezza del modello testandolo. Quindi utilizza questa conoscenza per generare dati che potrebbero migliorare le prestazioni del modello sui problemi di generazione CAD che fatica a risolvere: “Vogliamo ottenere un aumento dei dati basato sulle informazioni fornite dal modello stesso” continua Giannone.
GIFT ha superato diverse tecniche concorrenti, generando programmi CAD più accurati utilizzando solo circa il 20% della potenza di calcolo. I modelli CAD generati dai VLM utilizzando GIFT erano meglio allineati con le forme di riferimento reali: “Con GIFT, siamo partiti dalla geometria perché, nei problemi di ingegneria, se la geometria di una forma 3D non è corretta, nient’altro lo sarà, ma ci sono molti altri aspetti da considerare” afferma Giannone.
In futuro, i ricercatori intendono espandere GIFT in modo che il framework possa insegnare ai modelli a generare programmi CAD che migliorino le prestazioni e la producibilità dei modelli 3D. Vogliono inoltre applicare il sistema a modelli più grandi e a compiti di generazione CAD più diversificati. La ricerca è stata finanziata, in parte, dal MIT-IBM Computing Research Lab.
Foto: Christine Daniloff, MIT
