oficina
sinestética
com filipe maliska
Não estamos acostumados a imaginar que o som tem forma e tamanho. O som é produzido quando algo vibra, o corpo em vibração faz vibrar o meio (água, ar etc.) ao seu redor. As vibrações no ar são chamadas ondas longitudinais em movimento, que podemos ouvir, mas não podemos ver.
O projeto Sinestética torna isso possível através de uma maneira criativa e divertida de fazer música em realidade virtual. O aplicativo utiliza um ambiente 360 graus que serve como um “papel em branco” para que o compositor "pinte" sua música utilizando movimentos dos braços e os comandos dos controles. O pintor/compositor executa suas pinceladas, da mesma forma que um instrumentista, determinando assim parâmetros sonoros, como a altura e a amplitude. Esses sons são visualizados em tempo real, isto é, uma representação do tamanho, forma e cores da onda sonora relativa a esse som.
Ao final da experiência, o usuário fica em meio a um ambiente composto por ele, onde, como no jazz, a criatividade e improvisação são fundamentais. Já imaginou improvisar sobre uma progressão harmônica e ver as ondas sonoras que estão sendo geradas? Venha viver essa experiência em realidade virtual no JoinJazz 2021.
vídeos
Como as ondas sonoras são representadas no Sinestética? O espectro sonoro audível dos seres humanos é de 20Hz (comprimento de onda de 17m) a 20.000Hz (comprimento de onda de 17mm). No Sinestética é como se estivéssemos pegando um recorte desse comprimento de onda em tempo real. Utilizando osciloscópio no software de programação de jogos Unity e influência dos estudos óticos de movimentos vibratórios de Lissajous.
O artista porta um controle em cada mão que equivalem a dois osciladores, com inúmeros parâmetros musicais que são alterados com os movimentos nos eixos x,y e z, se tornando uma ferramenta que possibilita a síntese de sons, manipulação de algoritmos, de maneira intuitiva e com inúmeros recursos de interpretação.
A Realidade Virtual, que apenas nos últimos anos se tornou uma realidade para o grande público, desponta como uma grande ferramenta para novos ares na arte imersiva. Utilizando representações tridimensionais próximas da realidade do usuário, rompe a barreira entre a tela que separa o usuário do ambiente virtual, além de possibilitar interações mais naturais. Através da utilização do headset de realidade virtual Oculus Quest, os usuários podem adentrar no ambiente virtual criado e interagir como se estivessem no meio físico.