Des chercheurs de l’université de Stanford sont parvenus à créer des effets sonores réalistes pour les mondes virtuels en divisant la puissance de calcul nécessaire par mille. Une avancée qui permettra des environnements sonores beaucoup plus immersifs.
au sommaire
La réalité virtuelle constitue un véritable défi technique pour les développeurs de jeux ou les créateurs d'environnements virtuels. Les problèmes visuels sont plus connus, avec notamment le problème de synchroniser les mouvementsmouvements dans le jeu avec ceux de la tête. Un décalage qui peut rapidement donner la nausée. S'il ne risque pas de rendre malade en cas de désynchronisation, l'environnement sonore contribue aussi grandement au côté immersif de cette technologie.
La principale difficulté rencontrée sur le plan auditif est de générer des effets sonores correctement localisés dans l'espace autour du joueur. Pour ce faire, le son doit être légèrement décalé entre les deux écouteurs, une technique déjà largement utilisée par l'industrie du cinéma. Cependant, les bruits sont beaucoup moins prévisibles dans un environnement virtuel. Pour y parvenir, les créateurs de mondes immersifs doivent prévoir un grand nombre de modèles prenant en compte la localisation du son, mais également le type de son généré par chaque type d'objet.
La reproduction spatiale du son en temps réel dans la VR est un véritable casse-tête, en passe d'être résolu par un groupe de chercheurs de l'université de Stanford, comme le montre cette vidéo de présentation. © Stanford University School of Engineering
La création de sons réalistes nécessitait des heures de calculs
La situation est d'autant plus complexe que l'auditeur se déplace dans l'environnement, modifiant ainsi la direction et le volumevolume du son à générer. Avec les méthodes actuelles chaque modèle sonore nécessite une puissance de calcul conséquente, accaparant une grappe de serveurs pendant plusieurs heures. Devant un tel obstacle, le côté immersif reste plutôt limité pour les effets sonores dans la réalité virtuelle. Partant de ce constat, un groupe de chercheurs de l'université de Stanford aux États-Unis ont travaillé sur une nouvelle méthode pour générer ces modèles beaucoup plus rapidement. Dans un article récemment publié, ils décrivent leur nouvel algorithme baptisé KleinPAT.
Jusqu'à présent, la génération des modèles sonores en 3D était basée sur les travaux d'Hermann von HelmholtzHermann von Helmholtz, un scientifique du XIXe siècle. Elle s'appuie sur la méthode des éléments finis de frontière ou BEM, un processus très lent. Les chercheurs de Stanford ont réussi à accélérer les calculs pour les modèles sonores en changeant d'approche, en évitant tout simplement l'équationéquation de Helmholtz et la méthode BEM. Les chercheurs estiment que cette nouvelle méthode accélère la génération des modèles, rendant le processus des centaines, voire des milliers de fois plus rapide.
Une méthode potentiellement plus rapide des milliers des fois
Les chercheurs se sont basés sur le Mutterakkord (accord-mère) de Fritz Heinrich Klein dans sa composition Die Maschine en 1921. Cet accord contient une instance de chaque intervalle dans l'octave, ce qui a inspiré Doug James et un de ses étudiants Jui-Hsien Wang. L'algorithme KleinPAT, nommé d'après le nom du compositeur, crée des accords optimisés à partir de différents tons modaux d'un objet 3D qui vibre. Cela permet de restituer les sons en estimant les champs de transfert acoustiques. Le résultat génère ainsi des sons 3D réalistes.
Ce qu’il faut
retenir
- En VR, générer des sons dans l'espace exige de créer de très nombreux modèles nécessitant une grande capacité de calcul.
- Des chercheurs de l'université de Stanford ont imaginé un nouvel algorithme pour modéliser de façon différente les sons.
- Les temps de calcul sont réduits au minimum en se basant sur un accord d'un titre du compositeur Fritz Heinrich Klein.
