SoundSculpt : Quand le geste façonne la musique immersive

Une expérience sensorielle où art, technologie et émotion fusionnent

Inspiré par l’art ancestral de la sculpture, SoundSculpt transpose la sensation tactile de modeler la matière dans un univers numérique où chaque mouvement du corps devient une note, une texture ou une couleur sonore. Ce synthétiseur interactif s’appuie sur la technologie Bose AR Frame pour offrir une interface où l’utilisateur, acteur central, sculpte littéralement le paysage audio-visuel qui l’entoure. Selon Yiqi Zhao, ce projet vise à « brouiller les frontières entre créateur et création », ouvrant la voie à une nouvelle ère d’interaction artistique.

La singularité de SoundSculpt réside dans sa capacité à fusionner spatialisation sonore, gestuelle et art visuel. Grâce à la réalité étendue (XR), chaque inclinaison de la tête ou pression sur une commande est captée par les capteurs gyroscopiques des lunettes Bose, puis traduite en modulation sonore en temps réel via un framework MIDI. Cette synergie technologique permet à l’utilisateur de façonner des bulles virtuelles, dont la surface réagit dynamiquement aux gestes, créant ainsi une interface sensible et expressive.

Le dispositif, développé sur Unity avec des scripts C#, intègre des principes de synesthésie pour enrichir la perception sensorielle. Les données d’orientation de la tête sont mappées sur la hauteur et le volume du son, tandis que la manipulation des bulles virtuelles s’effectue par des interactions tactiles. Les spécifications techniques incluent une autonomie de 5,5 heures, une résistance à l’eau IPX2 et une portée Bluetooth de 9 mètres, offrant une expérience mobile et fluide.

Au-delà de l’innovation technologique, SoundSculpt s’inscrit dans une démarche de recherche en interaction homme-machine (IHM) axée sur la régulation émotionnelle. Des tests utilisateurs et des mesures biométriques ont démontré une amélioration de la perception spatiale et une stabilisation de l’état émotionnel. Ces résultats suggèrent des applications potentielles en art-thérapie et psychiatrie, où la création ludique devient un levier de bien-être.

Le développement de SoundSculpt a nécessité de surmonter des défis majeurs, notamment l’intégration harmonieuse de retours multisensoriels et la synchronisation en temps réel des éléments audio-visuels. L’équilibre entre concepts historiques, vulnérabilités humaines et technologies de pointe a été atteint grâce à une approche itérative et à l’exploitation des dernières avancées en XR. Ce projet, initié au MIT Media Lab en 2019 et présenté à l’équipe Bose Frame AR en 2020, a été récompensé par un Iron A’ Design Award en 2025, saluant son caractère innovant et sa contribution positive à la société.

SoundSculpt incarne ainsi une nouvelle façon de vivre la musique, où chaque geste devient une œuvre, chaque interaction une émotion. En redéfinissant le lien entre l’humain et la technologie, ce projet ouvre des horizons inédits pour l’art numérique et la créativité sensorielle.