ProICgAgUnBg2.11w2.12

7ictorzNugoz9oaresz7alentimôúsicaz,zGachareladozqkomposiçãof

1rientadoraêz9uzetez7enturelli

5niversidadezdezGrasíliaz,z5nG2nstitutozdezLrtesz,z2dL–epartamantozdezLrtesz7isuaisz,z729

SistemagInterativogMusicalg3gfSIMg3EgProjetogRegênciagmediadagporgComputador

Introdução

z z z z z z Wstaz pesquisaz sez inserez naz fusãoz dosz camposz daz artez ez daz músicazcomputacionalâz 1z projetoz propostoz consistez emz aplicaçõesz dez músicaz digitalõzinteraçãozezseuzusoznozâmbitozdazperformancezmusicalâzzz

z z z z z 1z #rincipalz interessez doz 9istemaz 2nterativoz ôusicalz Kz q92ôKfz foiz azimplementaçãoz dez instrumentosz controladoresz comz dispositivosz nãozconvencionaiszparazestazfunçãoõzmaszquezpossuemzumazaplicabilidadezdiretazcomzasztecnologiaszdezinstrumentoszvirtuaisõzviazmensagenszô2–2zez1pen9oundkontrolq19kfâz /oiz implementadoz umz sistemaz emz quez az câmeraz interativaz Rinectõzdispositivoz doz video,gamez Xboxõz foiz utilizadaz comoz portaz dez entradaz dezinformaçõesz refententesz àsz posiçõesz dosz membrosz dez umz interatorz emz KzdimensõesqXYZfõzcomzaz finalidadezdezgerarzsonszdezacordozcomzmovimentoõzdezmaneirazanálogazaozresultadozsonorozobtidozporzumzregentezcomzumzdadozgrupozmusicalâzzLzpartirzdessazimplementaçãoõzforamzcriadaszperformanceszartísticaszemzquez oz dispositivoz servez comoz suportez paraz osz movimentosz viraremz oszinstrumentosz executadosz emz tempoz realz pelosz espectadoresõz assistidosz pelozcomputadorzquezgerazoszsonsâ

zzzzzzzzzzzz–entrozdessaszimplementaçõesõzformamzpesquisadaszdiferenteszformaszdezcomunicaçãozcomzozdispositivoõzdentrozdezcadazumazdelaszaparecezumznovoztipozdez resultadozez fidelidadez daz obtençãoz dosz dadosâz /oramz focozdestaz pesquisazKqtrêsfz etapasz dez desenvolvimentoz doz sistemaõz ez diferentesz linguagensz dezprogramaçãoõzemzquezcadazumazgerouzumzresultadozdezinteraçãozdiferenteõzozquezmotivouz az composiçãoz dez musicasz eletroacústicasz paraz regentez ez computadorõzexplorandozozpotencialzdezcadazumazdaszformasâz

RevisãogBibliográfica

zzzzzzzzzzzzLszGasesz6eóricaszparazoz9istemaz2nterativozôusicalzKzestãozagrupadaszemzdiversosztiposzmateriaiszdezreferênciaõzentrezartigosõzlivrosõzmanuaiszdezsoftwareszeztutoriaiszdezprogramaçãoâ

zzzzzzzzzzzkadazfasezdezelaboraçãozdozprojetozconsistiuzemzbuscarzdiferenteszmateriaiszdezestudoõzmuitoszmomentoszoztrabalhozsezdirecionouzsomentezaozramozpráticoõzdezexperimentaçãozcomzasztecnologiaszdisponíveiszparazconstruçãozdozprojetoâz–estazmaneiraõzazbuscazpelasz ferramentaszdisponíveiszparazexecuçãozdozprojetoztorna,sezconstantezpelozsurgimentozpontualzdeznovasztecnologiasõzquezsemprezvãozsezrenovandozpelaz junçãozdezideiaszdezdiferenteszprogramadoreszespalhadoszpelozmundoõz quez semprez estãoz encontrandoz novasz implicaçõesz técnicasz ez corrigindozproblemaszquezsupostamentezoszsistemaszpossuemâz#elozmotivozdezsemprezestarzsurgindoz novasz implementaçõesz constantementeõz az pesquisaz continuaráz sendozexecutadazafimzdezampliarzaszpossibilidadeszdezinteraçãozcomzozdispositivoâz

z z z z z Wstaz etapaz proporcionouz quez euz continuassez oz projetoz pensandoz emz novaszpossibilidadesõz ez quez foiz aplicadoz aoz processoz dez criaçãoz doz espetáculoz dez dançazmultimídiaz “9entidosz daz #resença”z dez 8arissaz /erreiraõz doutorandaz doz programaz dez#ós,yraduaçãozemzarteszvisuaiszdaz5nGõzozqualzutilizamoszozkinectzparazreconhecerzoszmovimentosz daz dançarinaz ez transformarz emz somz ez imagensz interativasâz Wstaz etapaztambémz mez conectouz comz az pesquisaz doz –râz Wufrásioz #ratesz sobrez az músicazholofractalõz quez mez instigouz az estudarz oz softwarez quez elez criouz chamadoz N6ô2z –zNolofractalz 9istemz ofz ôusicz andz 2magez 6ransductionâz 1z 9istemaz N6ô2z surgiuz daznecessidadez dez integrarz umaz sériez dez programasz quez Wufrásioz foiz desenvolvendoz aozlongoz daz últimaz décadaz comz oz intuitoz dez permitirz acessoõz numaz interfacez únicaõz azdiversaszpossibilidadeszdezimprovisaçãozaozvivoõzreunindozozpoderzdezsintetizarztimbreszcomplexoszazpartirz dezsíntesezdez/ôõz filtrá,losõzgranulá,loszezmanipulá,loszazpartirz dezinterfacesz convencionaisõz comoz tecladosz ez controladoresz ô2–2õz assimz comoz nãozconvencionaisõz comoz Wiimotesõz i#honesõz i#odsõz #adsz ez webcamsõz quez oferecemz azpossibilidadez dez feedbackz emz tempoz realâz #ode,seõz portantoõz classificá,loz comoz umzinstrumentozdezmusicalzvirtualâz/oizcriadozcomzozauxiliozdazlinguagemzdezprogramaçãozôLXbô9#âz

zzzzzzzzzzzzLzterceirazetapazezazatualzsurgiuzquandozapareceuzozprogramaz9ynapseõzquezézsimilarzaoz1pen02F6521õzmaszquezenviazviaz19kzoszpontoszdoz6rackingzezcomunicazazimagemz diretamentez comz oz programaz Juartzz komposerõz oz quez posteriormentez enviazviaz 9yphonz paraz softwaresz dez vídeoz comoz 4esolumez Lrenaõz ôodulZõz ôiluminz entrezoutrosz paraz fazerz projeçãoz mapeadaz interativaõz tambémz tornandoz possívelz azcomunicaçãozdoszdadoszparazcriaçãozdezsomzezimagemzaozmesmoztempoõzozqueznãozeraz possívelz anteriormentez atravész doz 6521Rinectâz 1sz resultadosz sonoroszposteriormentez obtidosz melhoraramz consideravelmentez poisz az leituraz doz 9ynapsez ézmaisz confiavelõz salvoz oz tempoz quez elez demoraz az maisz paraz reconhecerz oz 9kaletonz6rackingâz –entroz distoz tambémz éz possívelz fazerz projeçõesz mapeadasz dinâmicasz nozprópriozcorpozdozinteratorzàzmaneirazdezcomozsezmoveznazcenaâ

Elaboraçãogdegrelatóriogdegpesquisag

zzzzzzzzzz0estazetapazfoizelaboradozozrelatóriozfinalzdazpesquisaõzezpreparadozumzpôsterzparazapresentaçãoznozcongressozdeziniciaçãozcientíficazFP3Fzdaz5nGâz/oizumzmomentozdezreflexãozsobrezazproduçãozdezconhecimentoztécnico,artísticozdezelaboraçãozdezartezcomznovasztecnologiasâz

Resultadosg

zzzzzzzzzzzzkomozresultadosõztivemoszozsistemazdezinteraçãozdozkinectzdesenvolvidozcomzKzsoftwaresz comunicandoz viaz protocoloz 6521z ez ô2–2õz semelhantez aoz sistemaz dazreactableõzalémzdezelaboraçãozdezartigozpublicadoznozí33âL46z–z/estivalzinternacionalzdezLrtezez6ecnologiazdaz5niversidadezdezGrasíliaõzassimzcomoztambémzazexecuçãozemzconcertosz dez festivaisz dez músicaz computacionalz ez eletroacústicaz comoz oz Wncontroz0acionalzdoszkompositoresz5niversitárioszqW0k5nfzrealizadoznazescolazdezmúsicazdaz5/4Qz noz 4ioz dez Qaneiroâz 6ambémz publicamosz ez apresentamosz artigoz emz congressozinternacionalz naz Refalonia,yréciaz naz 6ecnoeticz 6elosz konferencez sobrez oz projetozyeo#artituraâ

Conclusões

zzzzzzzzzzzzLzmetazdazterceirazediçãozdoz92ôzfoizampliarzaszmaneiraszdezinteratividadezcomzmenorz quantidadez dez recursosz técnicosz ez az maiorz nívelz dez respostaz computacionalõzdandozoportunidadezdezpessoaszqueznãozpossuemzconhecimentoszmusicaiszpoderemztocarzumzinstrumentozmultiusuáriozsomentezatravészdozgestoõzalémzdezdarzoportunidadezdezdesenvolverzlinguagenszmaiszespecíficaszdezcomposiçãozgestualzparazmúsicoszquezsezfamiliarizamzcomzasznovasztecnologiasâ

Agradecimentos

zzzzzzzLgradecemoszaozkonselhoz0acionalzdez–esenvolvimentozkientíficozez6ecnológicozqk0#qfzpelozapoioõzaoz–ecanatozdez#esquisazez#ós,yraduçãozdaz5nGzq–##,5nGfõzaztodaz az equipez doz ôídia8abb729êz Qulianaz Nilárioõz kláudiaz 8ochõz Rikoz Garretoõz 4oniz4ibeiroõz Lnaz 8emosõz Lmandaz ôoreiraõz /elipez ôodestoõz 8eonardoz yuilheremez entrezváriosz outrosz colaboradoresâz Loz coletivoz Lrtísticoz Lutonomiaz –uvidosaêz LníbalzLlexandrezezQacksonzôarinhoâ

Bibliografia

#4L6W9õz Wufrásioâz ôúsicaz Nolofractalz emz kenaêz Wxperimentosz dez transduçãozsemióticazdeznoçõeszdazfísicazholonômicaõzdazteoriazdozcaoszezdoszfractaisznozcampozdaz improvisaçãoz performáticaâz 6esez dez –outoradoz emz Lrtez ez 6ecnologia,z ##yb729z5nGâzGrasíliaâzFP338ivrosê7W0654W882õz9uzeteâzLrteêzespaçoztempozimagemâzGrasíliaêzWdunbõzFPPXâ9kNLW//W4õz#ierreâz6raitézdeszobjetszmusicauxâz#arisêz9euilõz3áàà9kNLW/W4õz4âzôurrayâzLzLfinaçãozdozôundoâz9ãoz#auloêzWdâ5nespõzFPPàâzWk1õz5mbertoâz1brazLbertaâz#erspectivaõz9ãoz#auloõz3ááF9L06LW88Lõz 8úciaâz z ôatrizesz daz linguagemz doz pensamentoêz sonoraõz visualõz verbalâz9ãoz#auloêz2luminurasõzFPPxâ9oftwaresz ez 9itesêz #ure–ataõz 1penz 9ourcez 9oftwareõz ôillerz #ucketteâz Webêz qhttpêbbwwwâpuredataâinfofõz #rotocoloz 6521êz httpêbbwwwâtuioâorgbõz 1pen02êz httpêbbwwwâopenniâorgbõz9ynapseêzhttpêbbsynapsekinectâtumblrâcombõzzN6ô2z–zNolofractalzôusiczandz2magez6ransducerêzhttpêbbwwwâXsharedâcombfilebJJ3kPxZqbN6ô23Px,patchâhtmlz

Metodologia

Estudog deg materiaisõg plataformasg eg softwaresg parag comunicaçãog degdispositivosgegsensoresgparagcriaçãogsonora,gggggggggggg

z z z z z z z z 0estaz etapaõz foiz realizadaz az pesquisaz dez materiaisz paraz elaboraçãoz dozsistemaz 92ôKõz emz quez estudamosz comoz seriaz az interaçãoõz qualz sistemazoperacionalz seriaz maisz viávelz ez osz softwaresz quez responderiamz melhorz comz aztecnologiazestudadaâzzzzzzzzz z z z z z z z z 2nicialmenteõz jázescolhemoszozdispositivozkinectzapósz testeszcomzoutroszcontrolesz etecladoz midiõz oz sistemaz operacionalz ôac1Xz 8ionz q3PâYfõz oz softwarez“6521Rinect”zquezézumzgerenciadorzdezinformaçõeszreconhecidadaszpelazcâmeraõzezdesenvolvizumzprogramaznaz linguagemz#ure–ataz q#–fzquez recebezezenviazoszdadoszobtidoszpelozsensorzcomozmensagensz19kzq1penz9oundzkontrolfzezô2–2zqôusicalz2nstrumentzinz–igitalz2nterfacefõzezozprogramazescolhidozparazgeraçãozdoszsonszporzinstrumenoszvirtuaiszfoizoz8ogicz#rozáõzquezpossuizumazgamazvariadazdeztimbresz ez sessãoz dez gravaçãoz multipistaz paraz registrarz materialz tocadoz peloszinteratoresâz 0estaz fasez osz resultadosz variavamz comoz “blobs”z reconhecidosz peloz6521Rinectõz quez sãoz análogosz aosz dadosz reconhecidosz peloz sistemaz dazreactableõz quez sãoz basicamentez interpretadosz comoz pontosz nosz eixosz Xz ez Yõz ezparaz cadaz umz delesz existez naz programaçãoz umz linkz quez enviaz paraz diferenteszinstumentosz osz blobsz quez sãoz reconhecidosâz komoz resultadoz destaz primeirazetapaz elaboreiz az peçaz “concertoz paraz regentez ez computador”z emz quez explorozníveisz dez reconhecimentoz dosz gestosz peloz computadorz ez quez todoz resultadozsonorozdependezdiretamentezdeleõzcomozsez fossezumazorquestraz tocandozsobzozcomandozdozmaestroâzzzzzzzzzzzzzz z z z z z z z z zLzsegundazetapazcomeçouzquandozconhecizozprotocolozdezcomunicaçãoz1pen02õz quez basicamentez éz umz servidorz dez reconhecimentoz doz kinectz superzavançadoõzquez jáz reconhecezozpadrãozutilizadozpelaz industriazdoszvideo,gamesõzquez trata,sez doz “Rinectz 9keletonz 6racking”âz Wstaz “novidade”z quez surgiuz nazpesquisaz mudouz completamentez todaz az programaçãoz ez todaz az modelagemz dozsistemaõz poisz agoraz possoz reconhecerz independentementez cadaz pontoz daszarticulaçõesz doz corpoz ez utilizarz qualquerz umaz delasz quez quiserz paraz gerarz ezcontrolarzoszsonsâ2stozfoizumzgrandezpassozparazazpesquisaõzquezcomeçouzazmezconectarzdiretamentezcomzozestudozdançazmediadazporzprocessosztecnológicoszeztambémzazprogramaçãozvisualzquezézpossívelzserzfeitazcomzaszinformaçõeszparazazsíntesez dez vídeoz ez projeçãoz mapeadaz peloz trackingâz –estaz formaz apareceuz ozprotocoloz19kaletonõzquezézumzservidorzquezenviazviaz19kztodozoztrackingzdoszpontosz doz corpoõz oz quez foiz muitoz complexoz poisz nãoz tinhaz comoz observarz azimagemzdoszpontosõz somentez recebiazoszdadosõz fazendozcomzquez rapidamentezeuzmudassezdezsoftwareõzindozparazoz1pen02F6521õzquezézsimilarzaoz6521Rinectzezquezézpossívelzdezconectarzcomzozprogramazquezfizzemz#ure–atazparazenviarzozô2–2zparazoz8ogic#roâ

/iguraz3z–zkâmerazRinect

/igurazFz–z6elazdozprogramaz6521Rinectzezazmaneirazcomozreconhecezoszdados

/igurazKz–zôapazdoszpontoszreconhecíveiszpeloz“Rinectz9keletonz6racking”â

/igurazXz–zWxemplozdazimagemzdoz“Rinectz9keletonz6racking”znozsoftwarez9ynapseâ

/igurazxz–zWxemplozdazimagemztransduzidaznozsoftwarezJuartzzkomposerâ