Multimodal Music Stand: 9 Mga Hakbang (na may Mga Larawan)

2024 May -akda: John Day | [email protected]. Huling binago: 2024-01-30 13:15

Ang Multimodal Music Stand (MMMS) ay isang bagong paraan upang makontrol ang synthesis ng audio at mga epekto habang nagpe-play ng isang tradisyunal na instrumento (sax, flute, violin, pinangalanan mo ito), at nag-aalok ng ilang dagdag na posibilidad para sa pinalawig na mga diskarte na maaaring magamit habang tumutugtog ! Mayroon nang isang webpage tungkol sa aming proyekto sa grupo sa UC Santa Barbara kung saan binuo namin ang MMMS, kaya sa halip na ulitin iyon dito, i-post ko ang link - suriin ito! Multimodal Music Stand Website Ang isang maikling clip ng MMMS na kumikilos ay dito, ngunit may mga mas mahusay na video sa site sa itaas … Ang Multimodal ay tumutukoy sa kakayahan ng sensing input sa higit sa isang modality (audio input, video input, at sensor-based input). Ang pag-input ng audio at video ay medyo prangka, na kinasasangkutan ng isang normal na mikropono at isang webcam na nakakonekta sa iyong computer, ngunit ang input ng sensor ay medyo mas kumplikado, kaya't natuturo ito … Ginagamit namin ang CREATE USB Interface, isang simpleng circuit na binuo ko para sa isang klase Nagtuturo ako sa UCSB, kasama ang ThereminVision II kit para sa E-field (kilala rin bilang capacitive sensing) tulad ng ipinakita dito: GUMAWA ng USB InterfaceThereminVisionII kitKung hindi mo alam kung ano ang isang Theremin, gawin ang iyong sarili ng isang pabor at maghanap sa Youtube, nanalo ka 't maging dissapointed! Ang MMMS ay karaniwang katumbas ng 2 Theremins, dahil mayroon itong 4 na E-field sensing antennas, bilang karagdagan sa audio / video input na kurso. Kung interesado ka sa pagpapalawak ng iyong mga diskarte sa pagganap sa iyong instrumento sa pamamagitan ng pakikipag-ugnay sa isang computer, ngunit ayaw gumamit ng simpleng mga footpedal, bumuo ng iyong sarili ng isang Multimodal Music Stand at simulang magsanay dito!

Hakbang 1: Tungkol sa CREATE USB Interface

Ang CREATE USB Interface (CUI) ay isang simpleng naka-program na circuit na batay sa PIC na maaaring ganap na maitayo sa DIY, o maaari kang makakuha ng isang paunang naitayo mula sa akin nang direkta sa halagang $ 50 (+ 5 para sa pagpapadala), at hindi mo kakailanganin upang bumili ng isang programmer ng PIC dahil inilagay ko dito ang bootloader para sa iyo… tingnan ang website para sa mga detalye, o i-email lamang ako upang humiling ng isa: GUMAWA NG USB Interface website Ang CUI ay maaaring gumana ng maraming iba't ibang mga bagay, at ngayon ay ginamit sa daan-daang kagiliw-giliw na mga proyekto sa buong mundo … ang ilang mga halimbawa mula sa mga mag-aaral sa UC Santa Barbara ay nasa conference paper (PDF) na ito. Ang CUI ay maaaring muling maprograma sa pamamagitan ng USB cable gamit ang bootloader, kung kaya't madali itong madaling ibagay - baguhin lamang ang firmware at ito ay iba pa. Halimbawa, madaling gawin ang CUI sa isang interface ng wireless sensor gamit ang isa sa ang mga Bluetooth module mula sa spark fun - kung may interes man sa paggawa nito, mag-post ng tala sa mga komentong humihiling ng ibang itinuturo. Ang CUI ay may 13 mga channel ng 10-bit analog input at 16 na pangkalahatang layunin ng input / output pin. Ang default na firmware na ipinadala sa mga board ng CUI v1.0 ay nagpapadala sa kanilang lahat bilang mga input sa host computer, at gumagana nang maayos sa mga interactive na paggawa ng sining na kapaligiran tulad ng Max / MSP / Jitter, Pd / Gem, SuperCollider, Chuck, atbp. Ginamit ko isa sa mga board ng CUI v1.0 upang maitayo ang Multimodal Music Stand sa itinuturo na ito. Ginagamit namin ang Max / MSP / Jitter bilang isang kapaligiran, ngunit sa lahat ng paraan huwag mag-atubiling iakma ito sa Pd o iyong pinili ng software. Isa akong malaking tagahanga ng bukas na mapagkukunan (ang CUI mismo ay bukas na mapagkukunan), at malaki ang maitutulong nito kung lahat tayo ay tatayo sa balikat ng bawat isa at pagbutihin ang mga bagay na ginagawa natin!

Hakbang 2: Tungkol sa ThereminVision II Kit

Ang ThereminVision II ay magagamit pareho bilang isang kit ($ 50) at paunang built ($ 80) mula sa site ng vendor, RobotLand, at bukas din na mapagkukunan - kasama sa manwal ng ThereminVision II (PDF) ang mga circuit diagram. Para sa MMMS, binili ko ang kit at pagkatapos ay nagpasyang sumama sa paunang itinayo sa oras na ito (ito ang pangalawang MMMS na aking itinayo). Bilang isang tabi, kung sakaling nagtataka ka kung bakit hindi ako nag-aalok ng kit form ng CREATE USB Interface, ito ay dahil ang CUI bootloader ay kailangang ma-program sa isang maginoo na programmer ng PIC bago maipadala ang bagong firmware sa paglipas ng USB - kung hindi man ay tiyak na mag-aalok ako ng isang kit, kahit na kasangkot ito sa ibabaw na pag-solder… Kaya bumalik sa ang ThereminVision II - kung binili mo ito sa kit form factor, sundin ang mga (mahusay!) na tagubilin sa pdf: manual na ThereminVision IIMaraming magagandang mga diagram ng mga kable na kakailanganin mong gawin - ang tanging bagay na hindi nito ipinakita ay ang mga koneksyon sa CREATE USB Interface, kaya ipo-post ko ang mga larawang kinuha ko sa mga susunod na hakbang … oh, at nakuha ko ang mga antena para sa ThereminVision (hindi kasama) mula sa All Electronics.

Hakbang 3: Paghahanda ng Music Stand

Gawin ang iyong Multimodal Music Stand out ng isang magandang music stand tulad ng "conductor stand" na ipinakita dito o gamitin ang mayroon ka sa kamay - mas mabuti pa, gumawa ng sarili mo!

Hindi mahalaga kung ano ang ginagamit mong paninindigan, kakailanganin nito ang mga nakahiwalay na bundok para sa apat na mga antena sa mga sulok ng stand. Magsimula sa pamamagitan ng pagbabarena ng mga butas sa mga sulok - ang mounting hardware na aking inilatag sa paligid ay nagtrabaho sa isang 1/4 drill bit, ang iyo ay maaaring magkakaiba. Subukang panatilihin ang harap ng ibabaw bilang flush hangga't maaari upang maiwasan ang pagkagambala sa sheet music.

Hakbang 4: Pagkonekta sa mga Modemang Sensor ng ThereminVision

Ang pagkonekta sa mga module ng "sensor" ng ThereminVision (555 timer circuit) sa module na "processor" ng ThereminVision ay tinalakay din nang mas detalyado sa manwal na ThereminVision II, ngunit narito ang ilang mga larawan ng proseso …

Hakbang 5: Pagkonekta sa ThereminVision sa CREATE USB Interface

Tulad ng nakita natin sa huling hakbang, mayroong 4 na mga wire na kumukonekta sa bawat isa sa mga module ng sensor sa module ng processor ng ThereminVision. Mayroon ding 6 na mga wire na kumukonekta sa module ng processor ng ThereminVision sa CREATE USB Interface - ang mga ito ay Power, Ground, Sensor Output, Sensor Select A, Sensor Select B, at Sensor Stop.

Dahil makukuha ng ThereminVision II ang lakas nito mula sa CREATE USB Interface (na kung saan ay makakakuha ng lakas nito mula sa USB), nagpasya akong ikonekta ang lakas para sa bawat isa sa mga module ng sensor ng ThereminVision nang direkta sa CREATE USB Interface - ginagawa itong medyo mas kaunti ng pugad ng isang ibon sa mga kable dahil mayroon nang maraming mga wire na papunta sa board ng processor ng TherminVision. Ikonekta ang "+" sa ThereminVision sa "5V" sa CUI Connect "-" sa ThereminVision sa "GND" sa CUI Connect "4" (ang hatiin sa 4 na output) sa ThereminVision sa "D7" sa CUI Connect "SEL B" sa ThereminVision sa "D5" sa CUI ikonekta ang "SEL A" sa ThereminVision sa "D4" sa CUI Connect "S" sa ThereminVision sa "D6" sa CUI

Hakbang 6: Pag-mount sa Lahat ng Lahat sa Panindigan

Kaya't ang electronics ay tapos na, ngayon tina-mount lang ito sa stand - maraming pamamaraan para sa paggawa nito, at baka gusto mong ilagay ang iyong electronics sa isang kahon ng proteksiyon, atbp ….

Narito ang ilang mga larawan ng ilan sa pinakasimpleng pamamaraan ng pag-mount.

Hakbang 7: Pag-boot sa boot ng Firmware para sa ThereminVision Sa CUI

Nagpapadala ang ThereminVision ng mga signal ng tiyempo para sa mga sensor nito sa halip na mga analog output (o alinman sa karaniwang mga digital na protokol tulad ng I2C o SPI). Kaya't ang ilang mga pasadyang firmware upang masukat ang tiyempo ng mga signal na ito ay kinakailangan … Ang unang bersyon ng Multimodal Music Stand firmware ay nasa zip file sa ibaba, ang parehong source code at ang pinagsamang hex file ay kasama (kasama ang isang pagsubok na patch para sa Max / MSP / Jitter): CUI-ThereminVision firmware Ang screenshot sa ibaba ay nagpapakita ng programa ng OS X na Boot Down ni Craig Schimmel - isang utility ng bootloading ng Macintosh para sa CUI. Kung nasa windows ka, ang pinakamadaling bagay ay ang paggamit ng sariling tool ng Microchip, PDFSUSB.exe na nada-download mula sa kanilang website, o kasama sa halimbawang code na ito para sa CREATE USB Interface. Upang mailagay ang CUI sa "bootloader mode", pindutin nang matagal ang pindutan ng programa at pindutin ang pindutan ng pag-reset (o plug lamang sa USB cable habang hinahawakan ang pindutan ng programa pababa). Ang LED status ng CUI ay patuloy na magpikit na nagpapahiwatig na ito ay nasa bootloader mode. Ngayon ay maaari mong gamitin ang Boot Down upang maipadala ang CUIEfieldBootDown.hex file sa CREATE USB Interface. Kung nais mong palitan ang firmware para sa CREATE USB Interface pabalik sa orihinal, narito ito, at may iba pang mga halimbawa ng firmware para sa CUI din dito.

Hakbang 8: Pagsubok sa Multimodal Music Stand sa Max / MSP / Jitter

Buksan ang halimbawang patch sa Max / MSP / Jitter (ang isang 30-araw na demo ay maida-download mula sa www.cycling74.com, at magagamit din ang isang "runtime" na bersyon na hindi pinapayagan ang pag-save ng mga patch), o sundin ang mga kombensyon sa Max patch at gumawa ng iyong sariling patch sa PureData (Pd)… Ginagamit ang Jitter upang maipakita ang posisyon ng 3D ng mga input na pang-galaw, kung saan ang z-axis (patungo at malayo sa kinatatayuan) ay nai-mapa sa pangkalahatang kasidhian ng lahat ng 4 na antennas - hindi masyadong siyentipiko, ngunit ito ay gumagana! Ang data mula sa mga indibidwal na sensor ay ipinadala rin bilang OSC sa 127.0.0.1 (localhost) para magamit ng iba pang mga application kung kinakailangan. Isang kapaki-pakinabang na bagay sa Max / MSP / Jitter para sa pag-filter ng mga spike mula sa data ng sensor (sanhi ng pagkagambala ng elektrikal) Ang site ni Tristan ay may "mas malinaw", na naida-download dito: mas malinaw na max object, ingay ~, at ang all-in-one analyzer ~ object. Kapag mayroon kang data na dumarating sa Max, kakailanganin mong ayusin ang pagkasensitibo ng mga sensor ng ThereminVision nang paisa-isa sa isang maliit na srewdriver. Gawin ito sa pamamagitan ng pagpapalawak ng mga antennas sa lahat ng paraan, pagkatapos ay i-on ang asul na trimpot pakaliwa hanggang sa mapunta ito sa mode na "reverse sensing" - pagkatapos ay ibalik ito pabalik pakanan hanggang sa makabalik ka sa normal na saklaw ng pandama. Ang maliliit na pagsasaayos (ang pag-tune ng senstivity, tulad ng pag-tune ng gitara) ay maaaring gawin sa pamamagitan ng pagbabago ng haba ng mga antena, kaya hindi mo na kailangang dalhin ang maliit na birador sa mga gig sa iyo.

Hakbang 9: Paggamit ng Multimodal Music Stand in Performance! (at Pagpapalawak nito)

Huwag kalimutan, ang mga bagong diskarte sa pagganap na binibigyang-daan ng Multimodal Music Stand na kailangan ng pagsasanay, at pag-unlad ng mga bagong pagmamapa at ideya para sa nais mong kontrolin dito! Gayundin, kung nais mong palawakin ang iyong MMMS upang isama ang iba pang mga uri ng sensor, posible na gamitin ang 13 mga analog na input sa CUI bilang karagdagan sa mga sensor ng ThereminVision sa mga hinaharap na bersyon ng MMMS firmware, kaya may ilang mga simpleng sensor (mga slider / knobs / footpedal) o iba pang mga uri ng sensor (IR / ultrasound / etc), maaari itong magamit kasama ang audio input at video sa computer. Sa kasalukuyan ang firmware ay gumagamit ng isang "serial-over-USB" na protocol ngunit sa paglaon ang plano ay lumipat sa "HID" (Human Input Device) na protokol na karaniwang ginagamit ng CREATE USB Interface. Mangyaring huwag mag-atubiling mag-ambag sa pagsisikap … Mayroong isang katulad na proyekto ng bukas na mapagkukunan para sa sensasyong E-field (kilala rin bilang capacitive sensing) na gumagamit ng parehong circuit topology (batay sa disenyo ng ThereminVision) na tinatawag na CapToolKit - gumagamit ito ng "maliit na kapatid "ng PIC18F4550, ang PIC18F2550 na walang maraming mga input ng analog (10 sa halip na 13). Ang firmware para sa CapToolKit ay bahagyang magkakaiba dahil hindi nila ginagamit ang board ng processor ng ThereminVision. Gumagamit kami ng isang simpleng firewire camera (istilo ng webcam) na naka-mount sa tuktok ng music stand para sa optikal na pagkilala sa mga pisikal na kilos at pagtuklas ng tingin - Kung ikaw ay interesado sa paningin ng computer o audio analysis at synthesis ng mga pagsasaliksik ng aming pangkat, mangyaring tingnan ang mga papel sa website ng Multimodal Music Stand. At mangyaring i-post ang iyong mga karanasan kung bumuo ka ng isang Multimodal Music Stand … Mayroon kaming dalawa sa kanila sa UCSB tulad ng ipinakita sa larawan sa ibaba - mas mahusay na magkaroon ng maraming mga komposisyon, palabas, at musikero na ginagamit ang mga ito doon! Sinulat ni Dr. JoAnn Kuchera-Morin ang unang komposisyon na kinasasangkutan ng MMMS, na isinagawa ng flutist na si Jill Felber sa Eastman School of Music noong Marso 2007.