NICS – UNICAMP

Instituições brasileiras

O NICS mantém colaboração de pesquisa com o Grupo MUS3 da Universidade Federal da Paraíba e o Núcleo de Pesquisa em Sonologia (NUSOM) da ECA/USP.

Colaboramos com o grupo MUS3 da Universidade Federal da Paraíba (UFPB), dirigido pelo Prof. Dr. Didier Guigue, e assinamos em conjunto o Contrato de Parceria com o FORUM/IRCAM para desenvolver ferramentas de análise vinculadas à biblioteca SOAL. Em 2013, realizamos entre o NICS/Unicamp, o Mus3/UFPB e o Departamento Pedagógico do IRCAM, a disciplina de pós-graduação em “Análise Musical com Suporte Computacional” (AMusSC), ministrada simultaneamente em: 1) Campinas, NICS/Unicamp, profs. Jônatas Manzolli e Stéphan Schaub; 2) João Pessoa, Mus3/UFPB, prof. Didier Guigue; 3) Paris, IRCAM, prof. Mikhail Malt.

A colaboração da Dra. Artemis Moroni da Divisão de Robótica e Visão Computacional (DRVC) do CTI Renato Archer, de Campinas, culminou com a implementação do sistema AURAL para sonificação de trajetórias robóticas e resultou na publicação de vários trabalhos em eventos nacionais e internacionais e na instalação sonora‑visual também denominada de AURAL, apresentada na Galeria de Arte da UNICAMP de 5 a 20 de março de 2009. Essa instalação foi um trabalho inédito no Brasil, envolvendo o NICS e o CTI com numerosos resultados científicos e artísticos (Ibero-American Symposium in Computer Graphics, em 2006; 6th International Symposium on Smart Graphics [SG’2006], em 2006; EvoMUSART, em 2006; International Conference on Computer Graphics and Artificial Intelligence, em 2010; Mathematical Connections in Art, Music and Science, em 2007; 6o Congresso de Engenharia de Áudio da AES Brasil, em 2008; International Conference on Simulation, Modelling and Programming for Autonomous Robots (SIMPAR), em 2008; IEEE Latin American Robotics Symposium, em 2009; Anais do 7º Congresso de Engenharia de Áudio da AES Brasil, em 2009; 4th ACM/IEEE international Conference on Human Robot Interaction, em 2009; WCCA’2010: World Congress on Communication and Arts; IROS Workshop on Robots and Musical Expression, em 2010), bem como orientações (15) de Iniciaçã0 Científica. O destaque de Iniciação Científica resultante dessa pesquisa foi o projeto de Gustavo Solaira Medeiros de Paula, orientado pela Dra. Artemis Moroni e tendo como co-orientadora a Dra. Eliane Guimarães (DRVC/CTI). O projeto recebeu o Prêmio “Mérito Científico no XVII Congresso de Iniciação Científica da UNICAMP – PIBIC 2009” e o seu autor foi convidado a apresentar o trabalho na “XVIII Jornadas de Jovens Investigadores”, na Argentina, em 2010.

Além dos resultados científicos e artísticos, a Instalação AURAL foi apresentada com destaque em reportagem no Jornal Nacional, em 20 de março de 2009. No Jornal da UNICAMP, em 19 de março de 2009, uma matéria descreveu também os resultados do projeto. Essa parceria foi reiterada na instalação AURAL2, na exposição INSTANTE, Arte e Tecnologia no SESC Campinas – de setembro a novembro de 2011, como noticiado no Portal da UNICAMP, em 28 de setembro de 2011. INSTANTE apresentou os últimos 50 anos da produção em arte e tecnologia no Brasil, com obras de artistas que se destacam desde 1960 e que, desde então, rompem com as mídias tradicionais da pintura e escultura, expandindo os limites da arte contemporânea por meio de suportes tecnológicos.

No período de 2010 a 2011, os pesquisadores do NICS, Profs. Drs. Jônatas Manzolli e Adolfo Maia Jr., participaram do projeto Matemática Multimídia (M3). Com financiamento do FNDE, SED, MCT e MEC, foi voltado ao Ensino Médio de Matemática e coordenado pelo Prof. Dr. Samuel Rocha de Oliveira do IMECC. Dentro do projeto, o NICS participou da produção de 10 vídeos transversais sobre a interação entre Música e Matemática.  Dentre eles, destacamos o vídeo “Desenhando Ondas”, que relaciona trigonometria com métodos de síntese sonora; o vídeo “Luthier de Proporções”, que discute a construção de escalas musicais relacionando-as com proporções e a função logarítmica; e o vídeo “Procurando Xenakis” que, a partir do perfil multidisciplinar desse compositor grego, discute conceitos da Teoria de Números.

Instituições estrangeiras

Continuamos a colaboração com o Prof. Dr. Paul Verschure, iniciada em 1998, diretor do “Center of Autonomous Systems and Neurorobotics (NRAS)” da Universidade Pompeu Fabra, em Barcelona. Dentro do contexto dessa colaboração, em 2009, realizamos em conjunto a obra “Multimodal Brain Orchestra (MBO)” no encerramento da The European Future Tecnologies Conference and Exhibition (FET 09) em Praga, na República Tcheca.  A MBO foi uma performance inédita na qual 04 performers utilizando interfaces cérebro máquina (BCI), um regente musical e um observador do qual capturou-se bio‑sinais, realizaram juntos a primeira performance de música de câmera digital controlada por sinais cerebrais. Essa obra que utilizou uma tecnologia única para a ocasião, foi resultado também da colaboração entre Jônatas Manzolli (NICS) e Paul Verschure  (SPECS, UFP, Barcelona) e obteve grande impacto nos meios de comunicação e divulgação científica, tal como a divulgação na BBC News. Colaboramos com o NRAS na disciplina “Sound Comunication” que é oferecida aos alunos do Mestrado Interdisciplinar em “Sistemas Cognitivos e Mídia Interativa” (CSIM) e, principalmente, produzimos dois capítulos do livro “Language, Music, and the Brain: A Mysterious Relationship”  sobre a interação de processos musicais, modelos computacionais e neurociência da música.  Esse capítulo é resultado do 10o “Ernst Strüngmann Fórum” (ESF) realizado em Frankfurt, Alemanha. Os capítulos publicados foram: “Computational Modeling of Mind and Music” e “Semantics of Internal and External Worlds”.

Continuamos a colaboração com “Input Devices and Music Interaction Laboratory” (IDMIL) e CIRMMT da McGill University, Canadá, dirigido pelo Prof. Dr. Marcelo Wanderley. Com o professor Marcelo Wanderley, que é o coordenador do Input Devices and Music Interaction Laboratory (IDMIL) e diretor do Centre for Interdisciplinary Research in Music Media and Technology (CIRMMT), já iniciamos a colaboração, enviando o aluno de doutorado Fernando Falci para desenvolver  uma interface para controle de síntese granular. Nossa proposta de trabalho foca justamente a interação entre os modelos de síntese que estudamos no NICS e a possibilidade de desenvolvermos juntos novos dispositivos para controle em tempo real. Num segundo projeto, o aluno de doutorado Clayton Mamedes desenvolveu um framework para o mapeamento e sonificação de instalações interativas (projetos FAPESP: 2011/01553-8 e 2012/21039-0, BEPE). Essa pesquisa integra a análise de movimentos dos visitantes a partir de descritores vinculados às propriedades físicas do movimento com o quadro de esforços de Laban.

Finalmente, em 2013 iniciamos uma parceria com o grupo de Representações Musicais (RepMus) do IRCAM. O objetivo dessa colaboração foi estabelecer um diálogo com três especialistas de renome mundial na área, Gérard Assayag, Jean Bresson e Moreno Andreatta, abordando os seguintes temas: a) processos avançados aplicados à análise e criação musicais; b) interação em tempo real; c) formalização de estruturas musicais; d) fomentar intercâmbios futuros que ampliarão linhas de pesquisa que já estão em desenvolvimento, bem como projetos de colaboração internacional visando acordos futuros entre a FAPESP e o CNRS/França no campo da Análise e Criação Musicais com Suporte Computacional. Essa colaboração vincula-se também com o  doutorado em cotutela Brasil-França, experiência nova no NICS, “A peça musical como evento de um Sistema Complexo aberto e modelizável” Orientando: Charles de Paiva Santana (FAPESP 2014/06279-0, em análise), parceria entre Pós‑graduação em Música do IA e do NICS a partir de um acordo com o Institut de Recherche pour le Développement (IRD) e o Institut de Recherche et Coordination Acoustique/Musique (IRCAM) e os orientadores franceses: Profs. Drs. Jean Bresson e Moreno Andreatta e o orientador brasileiro: Prof. Dr. Jônatas Manzolli. Dessa parceria surgiu a primeira edição do “Colóquio Franco-Brasileiro de Análise e Criação Musicais com Suporte Computacional”, ocorrida em agosto de 2014: um colóquio internacional dedicado à sub- área da Sonologia, a qual engloba a da Análise e Criação Musicais com Suporte Computacional.