Чанга яригч Камара систем (SPACS): 8 алхам

2024 Зохиолч: John Day | [email protected]. Хамгийн сүүлд өөрчлөгдсөн: 2024-01-30 11:03

Олон камерын чанга яригч нэг камераар хүрээлэгдсэн хурлын дуудлага гэж төсөөлөөд үз дээ. Камерын харах өнцгийн хязгаарлагдмал байдал нь ярьж буй хүнийг харахгүй байх тохиолдол гардаг. Энэхүү тоног төхөөрөмжийн хязгаарлалт нь хэрэглэгчийн туршлагыг ихээхэн доройтуулдаг. Хэрэв камер идэвхтэй чанга яригчийг харж чаддаг бол алсын зайнаас үзэгчид ярианы үеэр илүү их яриа өрнүүлэх болно. Энэхүү төсөлд бид камерыг чанга яригч руу эргүүлэх замаар идэвхтэй чанга яригчийг илрүүлж, дагаж мөрдөх камерын (прототип) системийг санал болгож байна. Систем нь харааны болон аудио дээр суурилсан аргыг ашигладаг. Камераас нүүр царай илрэх үед энэ нь ярьж буй хүнийг тодорхойлж, эргүүлэх өнцгийг тооцоолно. Царайг өнөөгийн өнцгөөр илрүүлээгүй тохиолдолд систем нь ирэх дууны дохионы чиглэлд үндэслэн чанга яригчийг хайдаг.

Алхам 1: Материал

Adafruit Feather nRF52840 Express X 1

www.adafruit.com/product/4062

Цахилгаан микрофон өсгөгч - MAX4466 X 2

www.adafruit.com/product/1063

Бичил Servo мотор X 1

www.adafruit.com/product/169

Android ухаалаг гар утас X 1

Алхам 2: Тоног төхөөрөмж - 3D хэвлэх

Хурдан хэрэгжүүлэхийн тулд бид шаардлагатай хавсралтаа 3D хэвлэхээр шийдсэн. Хашаа барих хоёр үндсэн бүрэлдэхүүн хэсэг байдаг; эргэдэг ширээ, ухаалаг гар утасны тавиур. Бид энэ холбоосоос (https://www.thingiverse.com/thing:141287) эргэх хүснэгтийг ашигласан бөгөөд энэ нь доод хэсэгт Arduino хайрцгийг байрлуулж, servo мотортой холбох боломжтой эргэдэг хүснэгтийг ашигласан болно. Бид энэ линкээс (https://www.thingiverse.com/thing:2673050) ухаалаг гар утасны зогсоол ашигласан бөгөөд энэ нь эвхэгддэг ба өнцгийг тохируулж өгдөг тул өнцгийг тохируулах боломжийг олгодог. Доорх зурагт 3D хэвлэмэл хэсгүүдийг хамтад нь угсарч байгааг харуулав.

Алхам 3: Тоног төхөөрөмж - электрон бүрэлдэхүүн хэсэг

Утастай дөрвөн бүрэлдэхүүн хэсэг байдаг; Adafruit Feather, хоёр микрофон, мотор. Авсаархан сав баглаа боодлын хувьд бид талхны хавтан ашиглахгүйгээр утсыг гагнана (саарал дугуйлан). Доорх хэлхээний диаграм болон бодит олдворыг тайлбарласан болно.

Алхам 4: Програм хангамж

Манай систем нь нүүр царай таниулах харааны мэдээллийг илүү нарийвчлалтайгаар яригчийг дагаж мөрдөхөд ашигладаг. Анд нь Андройд апп -аас харааны мэдээлэл авахын тулд бид Bluetooth Low Energy -ийг харилцааны үндсэн арга болгон ашигладаг.

Аливаа царай илрэх үед апп нь чанга яригчийг хүрээний төвд төвлөрүүлэхийн тулд мотор эргэх шаардлагатай өнцгийг тооцоолно. Бид боломжит хувилбаруудыг задалж, дараах байдлаар шийдвэрлэв.

1. Хэрэв нүүр царай илэрч, ярьж байгаа бол чанга яригчийн дунд цэгийг тооцоолж, өд рүү харьцангуй өнцгийг буцаана.
2. Хэрэв нүүр царай илэрсэн боловч тэдний хэн нь ч ярихгүй бол нүүрний дунд цэгийг тооцоолж, өнцгийг нь буцааж өгнө.
3. Хэрэв ямар ч царай илрээгүй бол систем нь чанга яригчийг хянах логикийг визуалаас аудио болгон өөрчилдөг.

SPACS програм хангамж нь https://github.com/yhoonkim/cse599h-fp хаягаар байрладаг.

Алхам 5: Програм хангамж - Дуу

Дуу (YH)

Ирж буй дууны эх үүсвэрийг олохын тулд бид эхлээд хоёр микрофоны цагийн ялгааг ашиглахыг оролдсон. Гэхдээ бид дууны дохиог туршиж үзсэн Arduino Leopard-ийн дээж авах хурд (~ 900Hz) нь 10 см-ийн зайтай микрофоны хоорондох цагийн зөрүүг олж чадахгүй байгаа тул бидний бодож байсан шиг тийм нарийвчлалтай биш байв.

Бид хоёр оролтын дууны дохионы хоорондох эрчмийн ялгааг ашиглах төлөвлөгөөгөө өөрчилсөн. Үүний үр дүнд өд нь хоёр дуут дохиог хүлээн авч, дууг хаанаас ирснийг олж тогтоохын тулд боловсруулдаг. Боловсруулалтыг дараахь алхамаар тодорхойлж болно.

1. Хоёр микрофоны оролтыг аваад дохионы далайцыг авахын тулд офсетыг хасна уу.
2. MIC тутамд 500 пикап авах далайцын үнэмлэхүй утгыг хуримтлуул.
3. Хуримтлагдсан утгуудын ялгааг 5 үүртэй дараалалд хадгална уу.
4. Дарааллын нийлбэрийг эцсийн зөрүүний утга болгон буцаана.
5. Дуу нь хаанаас гарсныг тодорхойлохын тулд эцсийн утгыг босго оноотой харьцуулж үзээрэй.

Зүүн ба баруун талаас гарах дуу чимээ гэх мэт янз бүрийн нөхцөл байдалд эцсийн утгыг төлөвлөх замаар бид босгыг олсон. Эцсийн утгын босгон дээр бид дуу чимээг шүүхийн тулд 2 -р алхам дахь хуримтлагдсан далайцын дундаж утгын өөр босгыг тогтоосон болно.

Алхам 6: Програм хангамж - нүүр ба ярианы илрүүлэлт

Нүүр царай танихын тулд бид Google-ээс гаргасан Firebase-д зориулсан ML Kit-ийг ашигласан (https://firebase.google.com/docs/ml-kit). ML Kit нь нүүр, нүүр, нүд, хамар, чих, хацар, амны янз бүрийн цэгүүдийн хязгаарлагдмал хайрцгийг буцааж өгдөг нүүр илрүүлэх API -ийг өгдөг. Нүүрийг илрүүлсний дараа тухайн хүн ярьж байгаа эсэхийг тодорхойлохын тулд апп нь амны хөдөлгөөнийг хянадаг. Бид найдвартай гүйцэтгэлийг өгдөг босго дээр суурилсан энгийн аргыг ашигладаг. Хүн ярихдаа амны хөндийн хөдөлгөөн нь хэвтээ ба босоо чиглэлд аль аль нь томордог болохыг бид хөшүүрэг болгон ашигласан. Бид амны босоо ба хэвтээ зайг тооцоолж, зай бүрийн стандарт хазайлтыг тооцоолно. Нүүрний хэмжээ хүртэл зайг хэвийн болгодог. Илүү том стандарт хазайлт нь яриаг илтгэнэ. Энэхүү хандлага нь идэх, уух, эвшээх зэрэг амны хөндийн хөдөлгөөнийг хамарсан аливаа үйлдлийг ярих гэж хүлээн зөвшөөрдөг хязгаарлалттай байдаг. Гэхдээ энэ нь хуурамч сөрөг хувь багатай байдаг.

Алхам 7: Програм хангамж - Эргэдэг мотор

Эргэлтийн хурдыг хянадаг тул хөдөлгүүрийн эргэлт бидний төсөөлж байсан шиг тийм ч хялбар биш байв. Хурдыг хянахын тулд бид хувьсагч тодорхой утгад хүрэхэд л хөдөлгүүр эргэх боломжийг олгодог дэлхийн эсрэг хувьсагч зарлаж байна. Бид мотор эргэхээс гарах дуунаас зайлсхийхийн тулд мотор микрофон руу мэдэгдэхийн тулд хөдөлж байгаа эсэхийг харуулсан өөр нэг дэлхийн хувьсагч зарласан.

Алхам 8: Ирээдүйн сайжруулалтууд

Хязгаарлалтын нэг нь мотор тодорхой өнцгөөр ганхах явдал юм. Мотор нь ухаалаг гар утсыг эргүүлснээр үүссэн эргэлтийг даван туулах хүч чадалгүй юм шиг байна. Илүү хүчирхэг мотор ашиглах эсвэл эргүүлэх хүчийг багасгахын тулд ухаалаг гар утасны байрлалыг эргэлтийн төв рүү тохируулах замаар үүнийг шийдэж болно.

Аудио дээр суурилсан дууны чиглэлийг илрүүлэх ажлыг илүү нарийн аргаар сайжруулж болно. Бид ирж буй дууны чиглэлийг тодорхойлохын тулд акустик туяа хэлбэржүүлэх аргыг туршиж үзэхийг хүсч байна. Бид аудио дохиог ирэх цагийг туршиж үзсэн. Гэхдээ өдний дээж авах хурд нь микрофон ердөө 10см орчим зайтай байх үеийн ялгааг илрүүлэхийн тулд хязгаарлагдмал байдаг.

Энэхүү прототипийн хамгийн сүүлчийн алга болсон хэсэг бол ашиглах боломжтой байдлын үнэлгээ юм. Үнэлэх нэг ирээдүйтэй арга бол системийг одоо байгаа видео дуудлагын платформтой нэгтгэх, хэрэглэгчдийн хариултыг ажиглах явдал юм. Эдгээр хариултууд нь системийг сайжруулж, энэхүү загварыг дахин давтах болно.