FMOD est devenu ces dernières années un incontournable des middlewares audio, surtout auprès de la scène vidéoludique indépendante. Perçu comme une alternative plus économique que son concurrent Wwise, FMOD dispose également d'une philosophie quelque peu différente. Si Wwise peut être perçu de prime abord comme un outil de programmation assez "austère", FMOD se présente plutôt comme un DAW disposant de capacités de programmation. Tout y est très visuel et intuitif. Mais la lisibilité se perd un peu dès que le projet se complexifie.
FMOD possède également des outils uniques très intéressants, comme le Scatterer Instrument qui nous intéresse aujourd'hui. Pour résumer son fonctionnement, il permet de déclencher des sons aléatoirement (souvent courts), avec des paramètres tout aussi aléatoires : volume, pitch, spatialisation, etc. C'est très pratique car ces paramètres peuvent être modifiés par les actions du joueur ; les possibilités sont alors énormes. C'est un outil que j'utilise fréquemment pour tout un tas d'applications en sound design. Mais je ne l'avais jamais envisagé pour la musique.
Dans cet article sur le blog d'FMOD consacré à Creaks, on découvre le travail du sound designer Matouš Godík, et également celui du compositeur Joe Acheson (plus connus sous le nom d'Hidden Orchestra) qui s'essaye pour la première fois à la musique de jeu vidéo. L'interview est très intéressante car Joe y explique sa découverte de l'interactivité au travers des outils de FMOD et de ses échanges avec l'équipe. Il détaille notamment un usage musical du Scatterer Instrument auquel je n'aurais jamais songé. En calant le taux d'apparition sur le tempo (ce qui est rendu d'autant plus facile maintenant), il nous est possible de créer de la musique générative et aléatoire. C'est une idée très intéressante que j'ai décidé d'explorer au travers de cet article. Vous pouvez d'ailleurs écouter la bande-son de Creaks de manière interactive ici.
Premier test : Les percussions aléatoires
Première chose à préciser : depuis la parution de l'interview, FMOD a doté le Scatterer Instrument d'une option de calage sur le tempo. On regrettera simplement l'impossibilité d'y définir une plage, ce qui nous oblige à choisir le moment d'apparition de manière déterministe. Il serait vraiment très intéressant de pouvoir choisir plusieurs valeurs, ou au moins de pouvoir les automatiser et les faire contrôler par des modulateurs (ce qui est également impossible à l'heure actuelle).
Je commence par créer une boucle musicale simple. Puis, je crée des éléments percussifs très simples avec des durées aléatoires et sans motif rythmique reconnaissable.
J'exporte le tout depuis Cubase en rajoutant un temps d'extension pour prendre en compte les queues de réverbération (c'est beaucoup plus contraignant que le système d'export de Reaper). Voici comment je procède :
Je crée ensuite dans FMOD un 2D Timeline Event, je rentre les données de tempo et de bouclage dans la Logic Track, j'importe la boucle musicale et je crée un Scatterer Instrument dans lequel j'importe chaque petit morceau de percussions.
Après avoir rentré le tempo dans la Logic Track et défini les zones de bouclage, je fixe le taux d'apparition à deux mesures. Afin de créer de la variation de spatialisation, je configure le Min & Max Distance sur 1.00-1.00 : le son est donc joué de manière aléatoire autour de l'auditeur avec l'occlusion à un mètre de distance environ.
Mes paramètres :
Spawn Rate : En mode tempo, cela affecte le nombre maximum d'events simultanés déclenchés selon les paramètres de quantification.
Spawn Total : On n'utilise pas ce paramètre ici.
Volume Rnd : On pourrait l'utiliser, mais ce n'est pas impératif dans ce cas.
Polyphony : Je ne touche pas à ce réglage, car en fixant le paramètre sur 2 bars, il n'y a aucune chance que plus de deux events se superposent.
Voici le résultat dans FMOD :
Second test : La mélodie aléatoire
Après un premier essai basé sur les percussions, passons à un second test plus orienté sur la mélodie pour voir si cela s'avère pertinent.
Je compose une boucle de musique de type "orchestrale action" et j'utilise un Santour pour générer un peu moins d'une vingtaine de phrases musicales :
J'importe ensuite le tout dans FMOD :
Rapidement, je me retrouve confronté à un premier problème : le fonctionnement du Scatterer Instrument à l'intérieur de la Loop Region est un peu énigmatique. Dans la mesure où j'utilise cette Loop Region pour ma boucle de musique (pour assurer une transition fluide), je ne peux pas m'en passer. Je trouve donc un réglage qui semble convenir.
Second problème : étant donné l'absence de modificateur de déclenchement, si je fixe la durée à quatre mesures (soit la durée exacte de chaque segment audio), il n'y a aucune différence avec l'utilisation d'un Multi-Instrument qui serait placé toutes les 4 mesures. Je tente alors une approche asymétrique de superposition en fixant le "pop" toutes les 3 mesures : ainsi, chaque phrase se superpose un peu à la précédente pour donner plus de sensations d'imprévisibilité.
Cependant, cela décale le temps de départ des phrases, qui sont initialement prévues pour démarrer sur le premier temps. Au final, certaines phrases sonnent un peu bancales, alors que d'autres s'en sortent mieux. C'est un élément à anticiper si vous comptez utiliser cette technique en production. Pour finir, j'ajoute une compression et un delay pour contenir le son et éviter que les fins de phrases ne paraissent trop abruptes.
Voici le résultat final :
Troisième test : Double random
Jusqu'à présent, j'ai testé une piste fixe accompagnée d'une piste aléatoire. Voyons ce que cela donne avec deux pistes aléatoires. Dans la mesure où l'on ne peut pas anticiper la construction harmonique et mélodique, c'est musicalement plus "expérimental".
Je décide de partir sur un accompagnement au piano martelé de croches avec des accords de type "jazz noir", assez décorrélés les uns des autres. Pour la mélodie, il s'agit tout simplement de la gamme de Do mineur. Voici la session Cubase, que je découpe avant de tout exporter dans FMOD.
Voici les deux Scatterer Instruments : en haut le piano qui joue les accords, et en bas le synthé qui joue la mélodie :
Le piano est configuré de sorte à ne jamais se superposer. Chacune des phrases dure 4 mesures et le taux d'apparition est fixé à 4 mesures. Dans cette configuration stricte, il n'y a de nouveau aucune différence avec un simple Multi-Instrument.
Pour ajouter de l'imprévisibilité à la mélodie, les phrases durent bien 4 mesures, mais je fixe le taux d'apparition à 3 mesures. Comme dans l'exemple du dessus, cela permet d'avoir des phrases qui se chevauchent. Comme il s'agit de notes uniques, la superposition fonctionne plutôt bien.
Voici le résultat : la superposition est convaincante, même si la cohérence harmonique reste relativement peu digeste :
Dernier test : Hors tempo
Finalement, pour tirer pleinement parti de la fonctionnalité de spawn aléatoire du Scatterer Instrument, je dois me défaire de l'approche Tempo. Je tente donc une approche rubato avec un drone non rythmique qui tourne en boucle. Par-dessus, je place des notes "non métrées", exportées et intégrées dans FMOD.
Dans la session Ableton Live (en haut le drone, en bas les différentes notes), on voit bien que chaque note a une durée aléatoire.
Je crée un Scatterer Instrument et j'y insère chacune des notes exportées d'Ableton Live.
Puisque nous n'avons ici ni tempo ni rythmique imposée, on peut enfin définir une vraie plage aléatoire de déclenchement (Spawn Rate).
Je garde l'event en 2D.
Je règle l'option de polyphonie sur 2 afin que les notes puissent se superposer.
J'ajoute de la réverbération pour rallonger les notes et faciliter les transitions.
Voici le résultat quand on mélange le drone et les notes aléatoires :
Conclusion : Est-ce vraiment utile ?
Si les trois premiers essais m'ont un peu laissé sur ma faim (beaucoup trop proches de ce que l'on pourrait accomplir avec un simple Multi-Instrument), le dernier test ouvre une piste vers quelque chose de vraiment intéressant. J'ai pu, grâce à quelques notes et une boucle musicale relativement courte, générer du mouvement et éviter la répétitivité.
J'y pense a posteriori, mais j'aurais pu jouer encore plus avec le Spawn Rate dans ce dernier exemple. Dans la mesure où je n'utilise pas la fonction Tempo, augmenter le taux de spawn permet des déclenchements aléatoires plus ou moins fréquents au sein de la plage temporelle choisie. En mode Tempo, cela augmente simplement la superposition des phrases à chaque déclenchement sans vraie variance de rythme.
Et c'est bien ce qui pose problème avec l'actuel mode Tempo du Scatterer Instrument : sans possibilité d'y définir une plage, l'outil se retrouve avec un fonctionnement trop rigide et perd de sa spécificité. Mais alors, pourquoi ne pas caler une plage sur le tempo à l'aide du mode Time ? Il est assez facile de calculer un timing en millisecondes. Tout simplement parce qu'entre les deux valeurs, le spawn ne se baserait pas sur la grille rythmique, et les phrases musicales pourraient se retrouver complètement décalées. Je reste néanmoins optimiste : l'apparition du mode Tempo prouve que Firelight travaille sur le sujet. Qui sait, une "plage temporelle quantifiée" pourrait voir le jour dans une des prochaines versions.
On my side, I am curious: had you ever heard of this method? Do you use it? Will you use it following this article? I really enjoy exploring different approaches to interactive music and sound design, so if you have any other techniques of this kind, I would be keen to hear them!
You can find this post on the FMOD website there : https://www.fmod.com/blog/scatterer-for-music