Blending Real and Virtual Sounds in Extended Reality: A User-Centric Framework for Unsupervised Room Acoustics Matching (BReViS)

Il progetto mira a sviluppare un sistema per la modellazione acustica di una stanza di riferimento, al fine di consentire il miscelamento tra suoni reali e virtuali all’interno di applicazioni di Realtà Estesa (XR). L’oggetto della ricerca è lo studio di un approccio non supervisionato che utilizza algoritmi di analisi della scena acustica per estrarre caratteristiche rilevanti a partire da misurazioni sonore e tradurle in controlli parametrici per un riverberatore artificiale. Questo approccio consente di ottenere una simulazione acustica coerente con quella della stanza reale e controllabile tramite i parametri del riverberatore in modo interattivo. L’approccio sviluppato verrà poi validato percettivamente con criteri come autenticità, plausibilità e co-immersione che sono tipici dei contesti di XR. L’obiettivo finale è quindi quello di trasformare una cattura acustica statica in una modellazione completa dell’acustica della stanza che sia interattiva e si adatti dinamicamente ai movimenti dell’utente nella stanza. Ciò consente di rendere l’esperienza sonora in XR quanto più realistica possibile senza che vengano richieste calibrazioni manuali da parte dell’utente. Le attività previste dal progetto includono quindi la raccolta di dataset di catture acustiche misurate in ambienti reali e lo sviluppo di algoritmi per la calibrazione automatica dei parametri del riverberatore basati su questi dataset. Questi algoritmi comprendono tecniche di elaborazione dei segnali per l’estrazione delle caratteristiche che descrivono la scena acustica e algoritmi di machine learning per la calibrazione dei parametri del riverberatore. Infine, le attività previste includono la conduzione di test soggettivi per la validazione percettiva degli approcci sviluppati.