Esboce um rabisco de uma bateria ou saxofone para evocar uma composição multi-instrumental. Olhe para uma webcam, fale e observe sua boca saltando pela tela - a entrada para uma série de reações em cadeia charmosamente desajeitadas.

Isso é o que os visitantes da MIT Lewis Music Library encontram quando interagem com duas novas instalações digitais, “Doodle Tunes” e “Sounds from the Mouth”, criadas pelo artista visitante do Center for Art and Technology (CAST) de 2022-23, Andreas Refsgaardem colaboração com o bibliotecário de tecnologia musical e mídia digital Caleb Hall. A residência foi iniciada por Avery Boddie, chefe do departamento da Lewis Music Library, que reconheceu o talento de Refsgaard para revelar a diversão das tecnologias emergentes. As complexidades da codificação e do aprendizado de máquina podem parecer assustadoras para os novatos, mas a prática de Refsgaard como codificador criativo, designer de interação e educador procura abrir o campo para todos. Abrangendo oficinas, uma palestra do artista, visitas de classe e uma exposição, a residência foi infundida com seu senso de humor único - uma combinação de excentricidade animada e relacionamento descontraído.

Refsgaard, que mora em Copenhague, é um verdadeiro dissidente do aprendizado de máquina. “Estou interessado nas maneiras como podemos nos expressar por meio do código”, explica ele. “Gosto de fazer conexões não convencionais entre entradas e saídas, com o computador servindo como um tradutor – uma ferramenta pode permitir que você toque música com os olhos ou pode gerar um poema de amor a partir da foto de um burrito.” O giro particular de Refsgaard em inovação não é resolver problemas diretamente ou lançar startups que mudam o mundo. Em vez disso, ele simplesmente procura “examinar o que pode ser feito”, fornecendo modelos de código aberto acessíveis para estimular novas ideias e aplicativos criativos.

Programado por Refsgaard e apresentando um conjunto personalizado de sons criados por Hall, “Doodle Tunes” e “Sounds from the Mouth” demonstram como composições originais podem ser geradas por meio de uma mistura de gestos humanos espontâneos e saídas produzidas por algoritmos. Em “Doodle Tunes”, um algoritmo de aprendizado de máquina é treinado em um conjunto de dados de desenhos de diferentes instrumentos: piano, bateria, baixo ou saxofone. Quando o usuário esboça uma dessas imagens em uma tela sensível ao toque, um som é gerado; quanto mais instrumentos você adicionar, mais complexa será a composição. “Sounds from the Mouth” funciona por meio de rastreamento facial e autocaptura de imagens. Quando o participante se depara com uma webcam e abre a boca, é criado um instantâneo autônomo que reflete as notas de um piano. Para experimentar os projetos, vá até o final deste artigo.

Gritos de saxofone e batidas de bateria digital não são os únicos sons emitidos pelas áreas onde os projetos estão instalados. “Meu escritório fica perto”, diz Hall. “Então, quando de repente ouço risadas, sei exatamente o que está acontecendo.” Esta nova dimensão sônica da Lewis Music Library se encaixa com o etos do ambiente como um todo - projetada como um hub do campus para experimentação de áudio, a biblioteca nunca foi planejada para ser totalmente silenciosa. A residência de Refsgaard exemplifica uma nova ênfase na programação progressiva liderada por Boddie, à medida que a estratégia da biblioteca muda para o foco em coleções digitais e tecnologia musical.

“Além de servir como um espaço para estudo silencioso e acesso a recursos físicos, queremos que a biblioteca seja um local onde os usuários se reúnam, colaborem e explorem juntos”, diz Boddie. “Essa residência foi muito bem-sucedida nesse sentido. Por meio dos workshops, conseguimos conectar indivíduos de toda a comunidade do MIT e suas disciplinas exclusivas. Tínhamos pessoas da Sloan School of Management, do Schwarzman College of Computing, da Music and Theatre Arts, todos trabalhando juntos, bagunçando, criando ferramentas que às vezes funcionavam… e às vezes não.”

A integração do erro é uma qualidade fundamental do trabalho de Refgaard. Falhas ocasionais fazem parte da arte e também servem para minar suavemente o hype em torno da IA; um algoritmo é tão bom quanto seu conjunto de dados, e esse conjunto é influenciado por preconceitos e descuidos humanos. Durante uma palestra de artista pública, “Machine Learning and the Arts”, os membros da platéia foram iniciados no paradigma artístico excêntrico de Refsgaard, apresentados a projetos como Booksby.ai (uma livraria on-line para romances de ficção científica produzidos por IA), Is it FUNKY? (uma tentativa de distinguir entre imagens “divertidas” e “chatas”), e Eye Conductor(uma interface para tocar música por meio de movimentos oculares e gestos faciais). Falhas nas instalações da exposição foram francamente admitidas (é verdade que “Doodle Tunes” ocasionalmente confunde o desenho de um saxofone com um esquilo), e Refsgaard incentivou o público a sugerir possíveis melhorias.

Essa atitude de mente aberta deu o tom dos workshops “Arte, Algoritmos e Inteligência Artificial” e “Aprendizado de Máquina para Designers de Interação”, destinados tanto a iniciantes quanto a especialistas curiosos. As visitas de Refsgaard às aulas de tecnologia musical exploraram as maneiras pelas quais a criatividade humana pode ser amplificada pelo aprendizado de máquina e como navegar na escala móvel entre a intenção artística e os resultados inesperados. “A meu ver, o sucesso é quando os participantes se envolvem com o material e surgem com novas ideias. O primeiro passo do aprendizado é entender o que está sendo ensinado – o próximo é aplicar esse entendimento de maneiras que o professor não poderia ter previsto.”

O trabalho de Refsgaard exemplifica alguns dos valores centrais e questões centrais para a evolução das bibliotecas do MIT — questões de digitalização, computação e acesso aberto. Ao optar por tornar suas demos despreocupadas livremente acessíveis, ele renuncia à propriedade de suas ideias; um modelo de aprendizado de máquina pode servir como um dispositivo de aprendizado para um aluno e também pode ser monetizado por uma corporação. Para Refsgaard, brincar é uma forma de se envolver com as implicações éticas das tecnologias emergentes, e Hall se viu às voltas com essas questões no processo de criação dos sons para as duas instalações. “Se eu escrevi as amostras de som, mas outra pessoa as organizou como uma composição, quem é o dono da música? Ou a IA é dona da música? É um momento incrivelmente interessante para trabalhar com tecnologia musical; estamos entrando em território desconhecido.”

Para Refsgaard, a incerteza é o molho secreto de sua arte algorítmica. “Gosto de fazer coisas em que me surpreendo com o resultado final”, diz ele. “Estou procurando aquele ponto ideal entre algo familiar e algo inesperado.” Como ele explica, muita surpresa simplesmente equivale a ruído, mas há algo de alegre na possibilidade de uma máquina confundir um saxofone com um esquilo. A tarefa de um codificador criativo é sintonizar continuamente a relação entre as capacidades humanas e da máquina – para encontrar e seguir a música.

“ Doodle Tunes ” e “ Sounds from the Mouth ” estão em exibição na MIT Lewis Music Library (14E-109) até 20 de dezembro. Clique nos links para interagir com os projetos online.