Multimodal хөгжмийн тавцан: 9 алхам (зурагтай)

2024 Зохиолч: John Day | [email protected]. Хамгийн сүүлд өөрчлөгдсөн: 2024-01-30 11:05

Multimodal Music Stand (MMMS) нь уламжлалт хөгжмийн зэмсгийг (сакс, лимбэ, хийл) та тоглож байхдаа аудио синтез, эффектийг хянах шинэ арга бөгөөд тоглох явцад ашиглаж болох нэмэлт техникийг ашиглах хэд хэдэн нэмэлт боломжийг санал болгодог. ! UC Santa Barbara дахь манай бүлгийн төслийн талаархи вэб хуудас аль хэдийн бий болсон бөгөөд бид MMMS -ийг боловсруулсан тул үүнийг давтахын оронд би линкээ оруулна уу. Үүнийг үзээрэй! Multimodal Music Stand вэбсайт энд байна, гэхдээ дээрх сайт дээр илүү сайн видеонууд байна … Multimodal гэдэг нь оролтыг нэгээс илүү горимд (аудио оролт, видео оролт, мэдрэгч дээр суурилсан оролт) мэдрэх чадварыг хэлдэг. Аудио болон видео оролт нь энгийн микрофон, таны компьютерт холбогдсон вэбкамерыг багтаасан байдаг, гэхдээ мэдрэгчийн оролт нь арай илүү төвөгтэй тул зааварчилгаа өгдөг … Бид ангидаа зориулан бүтээсэн энгийн хэлхээ болох CREATE USB Interface -ийг ашигладаг. Би UCSB-д E-талбарт зориулагдсан ThereminVision II иж бүрдэл (багтаамжийн мэдрэгч гэж нэрлэдэг) -тэй хамт энд харуулав: USB интерфэйсийг бүтээхThereminVisionII хэрэгсэл Хэрэв та Theremin гэж юу болохыг мэдэхгүй байгаа бол өөрт таалагдсан зүйлээ хийж, Youtube дээрээс хайгаарай. сэтгэлээр унах хэрэггүй! MMMS нь үндсэндээ 2 Theremins-тэй тэнцүү, учир нь аудио/видео оролтоос гадна 4 электрон талбар мэдрэгчтэй антентай. Энгийн хөлийн гишгүүр ашиглахыг хүсэхгүй, өөртөө мультимодаль хөгжмийн тавиур барьж, түүнтэй хамт дасгал хийж эхлээрэй!

Алхам 1: CREATE USB интерфэйсийн тухай

CREATE USB Interface (CUI) нь PIC дээр суурилсан програмчлагдах энгийн хэлхээг бүхэлд нь DIY хэлбэрээр хийх боломжтой, эсвэл та надаас урьдчилан барьсан хэсгийг 50 доллараар (тээвэрлэлтийн хувьд +5) авах боломжтой бөгөөд танд хэрэггүй болно. Би ачаалагчийг танд зориулан суулгаснаас хойш PIC програмист худалдаж авахын тулд … вэбсайтыг дэлгэрэнгүй үзэх, эсвэл надад имэйлээр хүсэлт гаргахын тулд имэйлээр илгээнэ үү: CREATE USB Interface вэбсайт Дэлхий даяар сонирхолтой төслүүд … Санта Барбара хотын оюутнуудын цөөн хэдэн жишээг энэхүү хурлын материалд (PDF) оруулсан болно. CUI -ийг USB кабелиар дамжуулан дахин ачаалах програмыг ачаалагч ашиглан дахин програмчлах боломжтой байдаг тул програм хангамжийг өөрчилж болно, өөрөөр хэлбэл CUI -ийг утасгүй мэдрэгчийн интерфейс болгон хувиргахад хялбар байдаг. Bluetooth -ийн модулиуд нь хөгжилтэй байдаг - хэрэв хэн нэгэн үүнийг хийхийг хүсч байвал өөр заавар өгөхийг хүссэн сэтгэгдлээ бичээрэй. CUI нь 10 битийн аналог оролтын 13 суваг, 16 ерөнхий зориулалттай оролт/гаралтын зүүтэй. CUI v1.0 самбараар дагалддаг анхдагч програм хангамж нь бүгдийг нь компьютерт оруулдаг бөгөөд Max/MSP/Jitter, Pd/Gem, SuperCollider, Chuck гэх мэт интерактив урлагийн орчинд сайн ажилладаг. Энэхүү зааварчилгааны дагуу Multimodal хөгжмийн тавцанг бүтээх CUI v1.0 самбаруудын нэг. Бид Max/MSP/Jitter -ийг орчин болгон ашигладаг боловч үүнийг Pd эсвэл өөрийн сонгосон програм хангамжид тохируулан ашиглахад чөлөөтэй байдаг. Би нээлттэй эх сурвалжийн том фен (CUI өөрөө нээлттэй эх сурвалж) бөгөөд хэрэв бид бүгд бие биенийхээ мөрөн дээр зогсож, хийж буй зүйлээ сайжруулах юм бол энэ нь маш их тусалдаг!

Алхам 2: ThereminVision II Kit -ийн тухай

ThereminVision II -ийг RobotLand борлуулагч сайтаас иж бүрдэл ($ 50) болон урьдчилан барьсан ($ 80) хэлбэрээр авах боломжтой бөгөөд мөн нээлттэй эх сурвалжтай байдаг - ThereminVision II гарын авлага (PDF) нь хэлхээний диаграмыг агуулдаг. MMMS-ийн хувьд би иж бүрдэл худалдаж аваад дараа нь энэ удаа урьдчилан бүтээсэн хамт явахаар шийдлээ (энэ бол миний бүтээсэн хоёр дахь МММС). Надад яагаад санал болгохгүй байгаа юм бол гэж гайхаж байгаа бол. CREATE USB Interface -ийн иж бүрдэл хэлбэр нь CUI ачаалагчийг шинэ програм хангамжийг USB -ээр илгээхээс өмнө ердийн PIC програмистаар програмчлах шаардлагатай байдаг, эс тэгвээс би гадаргуу дээр холбох гагнуур хийх шаардлагатай байсан ч гэсэн иж бүрдэл санал болгоно. ThereminVision II - хэрэв та үүнийг иж бүрдэл хэлбэрээр худалдаж авсан бол pdf дээрх (гайхалтай!) зааврыг дагана уу: ThereminVision II гарын авлага Утасны маш олон гоё диаграммууд танд хэрэгтэй болно. Энэ бол CREATE USB Interface -ийн холболт юм, тиймээс би дараагийн хэдэн алхам дээр авсан зургуудаа оруулах болно … өө, мөн ThereminVision -ийн антенныг All Electronics -ээс авсан.

Алхам 3: Хөгжмийн тавиур бэлтгэх

Энд үзүүлсэн "кондукторын тавцан" гэх мэт сайхан хөгжмийн тавиураас мултимодаль хөгжмийн тавиураа гаргаж эсвэл гартаа байгаа бүх зүйлийг ашиглаарай.

Та ямар стенд ашиглаж байгаагаас үл хамааран тавиурын буланд байрлах дөрвөн антенны тусгаарлагдсан бэхэлгээ хэрэгтэй болно. Булангийн нүхийг өрөмдөж эхлээрэй - миний эргэн тойронд байрлуулсан бэхэлгээний тоног төхөөрөмж нь 1/4 инчийн өрөмдлөгөөр ажилладаг байсан, магадгүй таных арай өөр байх болно. Хуудасны хөгжимд саад учруулахгүйн тулд гадаргуугийн урд хэсгийг аль болох тэгшхэн байлгахыг хичээ.

Алхам 4: ThereminVision мэдрэгчийн модулийг холбох

ThereminVision "мэдрэгч" модулийг (555 таймерын хэлхээ) ThereminVision "процессор" модульд холбох талаар ThereminVision II гарын авлагад илүү дэлгэрэнгүй авч үзсэн боловч энэ үйл явцын цөөн хэдэн зургийг энд оруулав.

Алхам 5: ThereminVision -ийг CREATE USB интерфэйстэй холбох

Сүүлийн алхам дээр харсанчлан мэдрэгчийн модуль бүрийг ThereminVision процессорын модульд холбосон 4 утас байна. ThereminVision процессорын модулийг CREATE USB интерфэйстэй холбосон 6 утас байдаг - эдгээр нь тэжээл, газардуулга, мэдрэгчийн гаралт, мэдрэгч сонгох А, мэдрэгч сонгох В, мэдрэгч зогсоох.

ThereminVision II нь өөрийн хүчийг CREATE USB Interface -ээс авах болно (энэ нь USB -ээс хүчээ авдаг) тул би ThereminVision мэдрэгч модуль бүрийн хүчийг CREATE USB Interface -тэй шууд холбохоор шийдсэн юм. TherminVision процессорын самбар дээр маш олон утас явж байгаа тул утсан дээрх шувууны үүр. ThereminVision дээрх "+" -г CUI холболтын "5V" -тай холбоно уу "-ThereminVision дээрх" GND "-г CUI холболтын" 4 "(4 гаралтаар хуваах) дээр ThereminVision дээрх CUI холболтын" D7 "руу холбоно уу. ThereminVision дээрх "SEL B" -г CUI дээрх "D5" -тэй холбож, ThereminVision дээрх "SEL A" -г CUI дээрх "D4" -тэй холбож, ThereminVision дээрх "S" холболтыг CUI дээрх "D6" руу холбоно уу.

Алхам 6: Бүх зүйлийг тавиур дээр бэхлэх

Электроникийг хийж дууссан, одоо л тавиур дээр суулгаж байна - үүнийг хийх олон арга бий, та цахилгаан бараагаа хамгаалалтын хайрцагт хийх гэх мэт байж магадгүй юм.

Хамгийн энгийн холбох аргуудын зарим зургийг энд оруулав.

Алхам 7: ThereminVision -ийн програмыг CUI руу ачаалах

ThereminVision нь аналог гаралтын оронд (эсвэл I2C эсвэл SPI гэх мэт стандарт дижитал протоколуудын оронд) мэдрэгчдээ цагийн дохиог илгээдэг. Тиймээс эдгээр дохионуудын цагийг хэмжих тусгай програм хангамж шаардлагатай байсан … Multimodal Music Stand програм хангамжийн анхны хувилбар нь доорх зип файлд байгаа бөгөөд эх код болон эмхэтгэсэн hex файлыг хоёуланг нь оруулсан болно (Max -ийн туршилтын нөхөөсний хамт) MSP/Jitter): CUI -ThereminVision програм хангамж Доорх дэлгэцийн агшинд CUI -д зориулсан Macintosh ачаалах хэрэгсэл болох Крейг Шиммелийн Boot Down OS X програмыг харуулав. Хэрэв та цонхнууд дээр байгаа бол хамгийн хялбар зүйл бол Microchip -ийн өөрийн хэрэгсэл болох PDFSUSB.exe -ийг вэбсайтаас татаж авах эсвэл CREATE USB Interface -ийн жишээ кодонд оруулах явдал юм. програмын товчлуурыг дарж дахин тохируулах товчийг дарна уу (эсвэл програмын товчлуурыг дарж байхдаа USB кабелийг залгаарай). CUI -ийн статусын LED тасралтгүй анивчих бөгөөд энэ нь ачаалагч горимд байгааг илтгэнэ. Одоо та Boot Down ашиглан CUIEfieldBootDown.hex файлыг CREATE USB Interface руу илгээж болно. Хэрэв та CREATE USB Interface програмыг анхны хувилбар руу нь өөрчлөхийг хүсч байвал энд байгаа бөгөөд програм хангамжийн бусад жишээ бий. CUI энд бас байна.

Алхам 8: Multimodal хөгжмийн зогсоолыг Max/MSP/Jitter дээр туршиж үзээрэй

Жишээ засварыг Max/MSP/Jitter дээр нээнэ үү (30 хоногийн демо хувилбарыг www.cycling74.com дээрээс татаж авах боломжтой бөгөөд засваруудыг хадгалахыг зөвшөөрдөггүй "ажиллах цагийн хувилбар" бас байдаг) эсвэл Макс засварын дүрмийг дагаж мөрдөөрэй. PureData (Pd) дээр өөрийн нөхөөсийг хий … Jitter нь дохионы оролтын 3D байрлалыг харуулахад ашиглагддаг бөгөөд z тэнхлэгийг (зогсоолын зүг ба түүнээс хол) бүх 4 антенны ерөнхий эрч хүчээр харуулдаг., гэхдээ энэ нь ажилладаг! Мэдрэгчээс авсан өгөгдлийг OSC хэлбэрээр 127.0.0.1 (localhost) руу илгээж, шаардлагатай бол бусад програмуудад ашиглах боломжтой. Tristan Jehan -ийн "гөлгөр" -ийг эндээс татаж авах боломжтой: smoother max objectTristan -ийн сайтад Multimodal Music Stand -ийн аудио анализ хийх хэсэгт ашигладаг Max -ийн MSP -ийн олон тооны гадаад хэсгүүд байдаг. Үүнд: давтамж ~, чанга байдал ~, тод байдал ~, чимээ шуугиан ~, мөн бүхэлд нь багтаасан анализатор ~ объект. Танд Макс мэдээлэл орж ирмэгц ThereminVision мэдрэгчийн мэдрэмтгий байдлыг жижиг халиваар тохируулах шаардлагатай болно. Үүнийг хийхийн тулд антенныг бүхэлд нь сунгаж, дараа нь цэнхэр тримпотыг "урвуу мэдрэх" горимд шилжих хүртэл цагийн зүүний эсрэг эргүүлээд дараа нь ердийн мэдрэх хүрээ рүү буцах хүртэл цагийн зүүний дагуу эргүүлээрэй. Антенны уртыг өөрчилснөөр бага зэргийн тохируулга хийх боломжтой (яг л гитар тааруулах гэх мэт), тиймээс та жижиг халивыг авч явах шаардлагагүй болно.

Алхам 9: Multimodal хөгжмийн тавиурыг гүйцэтгэлд ашиглах! (мөн өргөтгөх)

Multimodal Music Stand -ийг идэвхжүүлдэг шинэ гүйцэтгэлийн техникүүд нь дадлага хийх, түүнтэй хамт хянахыг хүсч буй зүйлийнхээ төлөө шинэ зураглал, санаа боловсруулах шаардлагатайг бүү мартаарай! Хэрэв та MMMS -ээ өөр төрлийн мэдрэгчтэй болгохыг хүсч байвал, MMMS програм хангамжийн дараагийн хувилбаруудад ThereminVision мэдрэгчээс гадна CUI дээрх 13 аналог оролтыг ашиглах боломжтой тул зарим энгийн мэдрэгч (гулсагч/бариул/хөлийн гишгүүр) эсвэл бусад мэдрэгчийн төрөл (IR/хэт авиан/гэх мэт) ашиглах боломжтой болно. Эдгээрийг аудио оролт, видеоны хамт компьютерт ашиглаж болно. Одоогийн байдлаар програм хангамж нь "USB-ээс хэт давсан" протоколыг ашигладаг боловч эцэст нь CREATE USB Interface-ийн ашигладаг "HID" (Хүний оролтын төхөөрөмж) протокол руу шилжих төлөвлөгөөтэй байна. Хүчин чармайлтад хувь нэмрээ оруулна уу… CapToolKit нэртэй ижил хэлхээний топологийг (ThereminVision загвар дээр үндэслэсэн) ашигладаг E талбарын мэдрэгч (багтаамжийн мэдрэх чадвар гэж нэрлэдэг) ижил төстэй нээлттэй төсөл байдаг. "PIC18F4550 -ийн PIC18F2550 нь аналог оролтгүй (13 -ийн оронд 10). CapToolKit -ийн програм хангамж нь ThereminVision процессорыг ашигладаггүй тул арай өөр байх болно. Хөгжмийн тавиур дээр суурилуулсан энгийн галын камер (вэбкамерын хэв маяг) ашиглан бие махбодийн дохио зангаа, харцыг илрүүлэх боломжтой. Манай бүлгийн судалгааны компьютерийн алсын хараа, аудио анализ, синтезийн талаар сонирхож байгаа бол Multimodal Music Stand вэбсайт дээрх нийтлэлүүдийг үзнэ үү. Хэрэв та Multimodal хөгжмийн тавиур бүтээвэл өөрийн туршлагаа хуваалцана уу … Бид доорх зурган дээр үзүүлсэн шиг UCSB дээр хоёрыг нь байрлуулсан байгаа - тэнд илүү олон хөгжмийн зохиол, тоглолт, хөгжимчид байвал үнэхээр сайхан байх болно! Доктор ЖоАнн Кучера-Морин 2007 оны 3-р сард Истмэн хөгжмийн сургуульд лимбэчин Жилл Фелберийн тоглосон MMMS-ийг багтаасан анхны зохиолыг бичсэн.