Харааны бэрхшээлтэй хүмүүст туслахын тулд Sonar, Lidar, Computer Vision -ийг микроконтроллер дээр ашиглах: 16 алхам

2024 Зохиолч: John Day | [email protected]. Хамгийн сүүлд өөрчлөгдсөн: 2024-01-30 11:03

Би одоо байгаа шийдлүүдээс хамаагүй илүү харааны бэрхшээлтэй хүмүүст туслах ухаалаг "таяг" бий болгохыг хүсч байна. Таяг нь хүрээлэн буй орчны дууны төрлийн чихэвчийг чимээ гаргаснаар урд болон хажуугийн объектуудын талаар хэрэглэгчдэд мэдэгдэх боломжтой болно. Таяг нь мөн жижиг камертай бөгөөд LIDAR (Гэрэл илрүүлэх ба тохируулах) төхөөрөмжтэй байх бөгөөд ингэснээр өрөөн доторх объект, хүмүүсийг таньж, чихэвч ашиглан хэрэглэгчдэд мэдэгдэнэ. Аюулгүй байдлын үүднээс чихэвч бүх дуу чимээг хаахгүй, учир нь шаардлагагүй бүх дуу чимээг шүүж, машины дуут дохио болон хүмүүсийн яриаг хадгалж чаддаг микрофон байх болно. Эцэст нь систем нь GPS -тэй байх бөгөөд ингэснээр чиглэл өгч, хэрэглэгчид хаашаа явахаа харуулах болно.

Надад микроконтроллер, гадаа фитнессийн уралдаанд саналаа өгөөрэй!

Алхам 1: Төслийн тойм

Хараагүй хүмүүст зориулсан дэлхийн хандалтын дагуу бие бялдрын хөдөлгөөн нь хараагүй хүмүүсийн хувьд хамгийн том бэрхшээлүүдийн нэг юм. Аялах эсвэл хүн ихтэй гудамжаар алхах нь маш хэцүү байж магадгүй юм. Уламжлал ёсоор цорын ганц шийдэл бол хэрэглэгчийн ойролцоох саад бэрхшээлийг даван туулах замаар хүрээлэн буй орчныг шалгахад ашигладаг "цагаан таяг" ашиглах явдал байв. Илүү сайн шийдэл бол сохор хүн үл мэдэгдэх орчинд гарч аюулгүй байдлыг мэдрэхийн тулд саад бэрхшээлүүдийн байршлын талаар мэдээлэл өгөх замаар хараатай туслахыг орлох төхөөрөмж байх болно. Энэхүү төслийн явцад батерейгаар ажилладаг эдгээр шалгуурыг хангасан жижиг төхөөрөмжийг бүтээжээ. Төхөөрөмж нь объектын хэмжээ, байршлыг мэдрэгч ашиглан илрүүлж, хэрэглэгчтэй холбоотой объектуудын байрлалыг хэмжиж, энэ мэдээллийг микроконтроллерт дамжуулж, дараа нь аудио болгон хөрвүүлж хэрэглэгчдэд мэдээлэл өгөх боломжтой. Энэхүү төхөөрөмжийг арилжааны боломжтой LIDAR (Гэрэл илрүүлэх ба хязгаарлах), SONAR (Дууны навигаци ба диапазон), микроконтроллертой холбосон компьютерийн харааны технологийг ашиглан бүтээсэн бөгөөд чихэвч эсвэл чихэвч ашиглан шаардлагатай дууны мэдээллийг гаргадаг. Илрүүлэх технологийг хэрэглэгчийн нөхцөл байдлыг бусад хүмүүст харуулах, нэмэлт аюулгүй байдлыг хангах үүднээс “цагаан таяг” дотор суулгасан болно.

Алхам 2: Үндсэн судалгаа

2017 онд Дэлхийн Эрүүл Мэндийн Байгууллагаас дэлхий даяар 285 сая харааны бэрхшээлтэй хүн байдгаас 39 сая нь бүрэн хараагүй гэж мэдээлсэн. Ихэнх хүмүүс харааны бэрхшээлтэй хүмүүсийн өдөр тутам тулгардаг асуудлын талаар боддоггүй. Хараагүй хүмүүст зориулсан дэлхийн хандалтын дагуу бие бялдрын хөдөлгөөн нь хараагүй хүмүүсийн хувьд хамгийн том сорилтуудын нэг юм. Аялах эсвэл хүн ихтэй гудамжаар алхах нь маш хэцүү байж магадгүй юм. Ийм учраас харааны бэрхшээлтэй олон хүмүүс шинэ орчинд аялахад туслахын тулд алсын хараатай найз эсвэл гэр бүлийнхээ гишүүнийг авчрахыг илүүд үздэг. Уламжлал ёсоор цорын ганц шийдэл бол хэрэглэгчийн ойролцоох саад бэрхшээлийг даван туулах замаар хүрээлэн буй орчныг шалгахад ашигладаг "цагаан таяг" ашиглах явдал байв. Илүү сайн шийдэл бол сохор хүн үл мэдэгдэх орчинд гарч аюулгүй байдлыг мэдрэхийн тулд саад бэрхшээлүүдийн байршлын талаар мэдээлэл өгөх замаар хараатай туслахыг орлох төхөөрөмж байх болно. IBM болон Карнеги Меллон Их Сургуулийн хамтын ажиллагааны NavCog компани нь Bluetooth дохио, ухаалаг гар утсыг ашиглан хөтөч болгох системийг бий болгож асуудлыг шийдэхийг оролджээ. Гэсэн хэдий ч шийдэл нь нэлээд төвөгтэй байсан бөгөөд томоохон хэмжээний хэрэгжилтэд маш их өртөгтэй болох нь батлагдсан. Миний шийдэл нь гадны төхөөрөмжүүдийн хэрэгцээг арилгаж, дуу хоолой ашиглан хэрэглэгчийг бүтэн өдрийн турш удирдан чиглүүлдэг (Зураг 3). Энэхүү технологийг "цагаан таяг" дотор суулгасан давуу тал нь дэлхийн бусад орнуудад хэрэглэгчийн нөхцөл байдлын талаар дохио өгдөг бөгөөд энэ нь хүрээлэн буй хүмүүсийн зан төлөвт өөрчлөлт оруулдаг.

Алхам 3: Дизайн шаардлага

Боломжит технологийг судалсны дараа би харааны бэрхшээлтэй хүмүүст хүрээлэн буй орчиндоо аялахад нь туслах хамгийн сайн арга замыг харааны чиглэлээр мэргэшсэн хүмүүстэй хамтран шийдвэрлэх боломжийн талаар ярилцсан. Доорх хүснэгтэд хэн нэгэн миний төхөөрөмж рүү шилжихэд шаардлагатай хамгийн чухал шинж чанаруудыг жагсаасан болно.

Онцлог - Тодорхойлолт:

• Тооцоолол - Хэрэглэгч ба мэдрэгчийн хооронд мэдээлэл солилцох системд хурдан боловсруулалт хийх шаардлагатай байна. Жишээлбэл, систем нь хэрэглэгчээс дор хаяж 2 метрийн зайд байгаа саад бэрхшээлийн талаар мэдээлэх чадвартай байх шаардлагатай.
• Хамрах хүрээ - Систем нь харааны бэрхшээлтэй хүмүүсийн амьдралын чанарыг сайжруулахын тулд дотор болон гадаа үйлчилгээ үзүүлэх ёстой.
• Цаг - Систем нь өдрийн цагаар шөнийн цагаар сайн ажиллах ёстой.
• Хүрээ - хүрээ нь хэрэглэгч болон системийн илрүүлэх объектын хоорондох зай юм. Хамгийн тохиромжтой хамгийн бага хүрээ нь 0.5 м, хамгийн дээд хүрээ нь 5 м -ээс их байх ёстой. Цаашдын зай нь илүү дээр байх боловч тооцоолоход илүү хэцүү байх болно.
• Объектын төрөл - Систем нь объектын гэнэт гарч ирэхийг илрүүлэх ёстой. Систем нь хөдөлж буй объектууд болон статик объектуудын ялгааг ялгах чадвартай байх ёстой.

Алхам 4: Инженерийн зураг төсөл, тоног төхөөрөмжийн сонголт

Олон янзын бүрэлдэхүүн хэсгүүдийг судалж үзээд би доорхи өөр өөр ангиллаас сонгосон хэсгүүдийг сонгосон.

Сонгосон хэсгүүдийн үнэ:

• Zungle Panther: $ 149.99
• LiDAR Lite V3: $ 149.99
• LV-MaxSonar-EZ1: 29.95 доллар
• Хэт авианы мэдрэгч - HC -SR04: 3.95 доллар
• Raspberry Pi 3: 39.95 доллар
• Arduino: $ 24.95
• Kinect: $ 32.44
• Floureon 11.1v 3s 1500mAh: $ 19.99
• LM2596HV: 9.64 доллар

Алхам 5: Тоног төхөөрөмжийн сонголт: Харилцааны арга

Тулгуур дээр олон товчлууртай байх нь харааны бэрхшээлтэй хүмүүст, ялангуяа зарим функцэд товчлуурын хослол шаардагддаг тул дуут удирдлагыг төхөөрөмжтэй харьцах арга болгон ашиглахаар шийдсэн. Дуут удирдлагын тусламжтайгаар хэрэглэгч таягтай холбогдохын тулд урьдчилан тохируулсан тушаалуудыг ашиглаж болзошгүй алдааг бууруулдаг.

Төхөөрөмж: Давуу тал-Сул талууд:

• Товчлуурууд: Баруун товчлуурыг дарахад ямар ч алдаа гардаггүй-Зөв товчлуурыг дарахад хэцүү байх болно
• Дуут хяналт: Хэрэглэгч урьдчилан тохируулсан тушаалуудыг ашиглаж чаддаг тул хялбар байдаг-Буруу дуудлага нь алдаа гаргахад хүргэдэг

Алхам 6: Тоног төхөөрөмжийн сонголт: Микроконтроллер

Энэхүү төхөөрөмж нь Raspberry Pi -ийг ашигласан бөгөөд хямд өртөгтэй, газрын гүнийг тооцоолох хангалттай боловсруулалтын хүчин чадалтай байсан. Intel Joule нь хамгийн тохиромжтой сонголт байсан боловч түүний үнэ нь системийн өртөгийг хоёр дахин нэмэгдүүлэх байсан бөгөөд энэ нь хэрэглэгчдэд хямд өртөгтэй сонголт хийх зорилгоор бүтээгдсэн төхөөрөмж биш юм. Мэдрэгчээс мэдээлэл авах боломжтой тул arduino -ийг системд ашигласан. BeagleBone болон Intel Edison -ийг үнэ, гүйцэтгэлийн харьцаа бага байсан тул ашиглаагүй бөгөөд энэ нь өртөг багатай энэ системийн хувьд муу юм.

Микроконтроллер: Давуу тал-Сул талууд:

• Raspberry Pi: Саадыг олоход хангалттай боловсруулалтын хүчин чадалтай, WiFi/Bluetooth-ийг нэгтгэсэн-Мэдрэгчээс мэдээлэл авах олон сонголт байдаггүй
• Arduino: Жижиг мэдрэгчээс өгөгдлийг хялбархан хүлээн авах боломжтой. өөрөөр хэлбэл. LIDAR, хэт авианы, SONAR, гэх мэт-Саад тотгорыг олоход боловсруулалтын хүч хангалтгүй байна
• Intel Эдисон: Хурдан процессор ашиглан саад бэрхшээлийг хурдан даван туулж чадна-Системд ажиллахын тулд нэмэлт хөгжүүлэгчийн хэсгүүдийг шаарддаг
• Intel Joule: Өнөөдрийг хүртэл хэрэглээний зах зээл дээрх аль ч микроконтроллерийн боловсруулалтын хурдыг хоёр дахин нэмэгдүүлсэн --- Энэ системийн өртөг өндөр бөгөөд мэдрэгчийн харилцан үйлчлэлийн хувьд GPIO-той харьцахад хэцүү байдаг.
• BeagleBone Black: Ерөнхий зориулалтын оролтын гаралт (GPIO) ашиглан төсөлд ашигладаг мэдрэгчтэй авсаархан, нийцтэй-Обьектуудыг үр дүнтэй олоход хангалттай боловсруулалтын хүч байхгүй.

Алхам 7: Тоног төхөөрөмжийн сонголт: Мэдрэгч

Байршлын нарийвчлалыг олж авахын тулд хэд хэдэн мэдрэгчийн хослолыг ашигладаг. Kinect нь гол мэдрэгч юм, учир нь тэр нэг удаад саад тотгорыг хайх боломжтой. LIDAR нь ХЯГДАХ ХЭРЭГЛЭХ, ХАМРАХ гэсэн утгатай бөгөөд алсын зайнаас тандан судлах арга бөгөөд мэдрэгч байгаа объектоос объект хүртэлх зайг хэмжих импульсийн лазер хэлбэртэй гэрлийг ашигладаг; Энэ мэдрэгч нь 40 метр (м) хүртэлх зайг хянах боломжтой тул янз бүрийн өнцгөөр скан хийж чаддаг тул ямар ч алхам дээш эсвэл доошоо явж байгааг илрүүлж чаддаг. SOund Navigation and Ranging (SONAR) болон хэт авианы мэдрэгчийг Kinect нь хэрэглэгчид аюул учруулж болзошгүй шон эсвэл газарт мөргүүлээгүй тохиолдолд нөөц хяналт болгон ашигладаг. Эрх чөлөөний 9 градусын мэдрэгч нь хэрэглэгч ямар чиглэлд тулгарч байгааг хянахад хэрэглэгддэг бөгөөд ингэснээр тухайн хүн дараагийн удаа нэг газар алхах үед мэдээллийг илүү нарийвчлалтайгаар хадгалах боломжтой болно.

Мэдрэгч: Давуу тал-Сул тал:

• Kinect V1: Хүрээлэн буй орчныг илрүүлэхийн тулд зөвхөн нэг камераар 3D объектуудыг хянах боломжтой
• Kinect V2: Өндөр нарийвчлалтай 3D объект илрүүлэх зориулалттай 3 хэт улаан туяаны камер, Улаан, Ногоон, Цэнхэр, Гүний (RGB-D) камертай-Халаах боломжтой бөгөөд хөргөх сэнс хэрэгтэй байж магадгүй бөгөөд бусад мэдрэгчээс том хэмжээтэй
• LIDAR: 40 м хүртэлх зайд байрлах байрлалыг хянах боломжтой туяа-Объект руу чиглүүлэх шаардлагатай бөгөөд зөвхөн тэр зүг рүү харах боломжтой.
• SONAR: 5 м-ийн зайд мөргөж болох боловч хол зайд байгаа туяа-Өд гэх мэт жижиг зүйл нь мэдрэгчийг хөдөлгөж чаддаг.
• Хэт авианы: 3 м хүртэлх зайтай бөгөөд маш хямд байдаг-Зай хааяа үнэн зөв байдаггүй
• Эрх чөлөөний мэдрэгчийн 9 зэрэг: Хэрэглэгчийн чиг баримжаа, хурдыг сайн мэдэрдэг-Мэдрэгчдэд ямар нэгэн зүйл саад болж байвал зайны тооцоог буруу тооцоолж болно.

Алхам 8: Тоног төхөөрөмжийн сонголт: Програм хангамж

Kinect V1 мэдрэгчээр бүтээгдсэн эхний хэдэн прототипийн сонгосон програм хангамж нь Freenect байсан боловч тийм ч нарийвчлалтай биш байв. Kinect V2 ба Freenect2 руу шилжих үед V2 нь HD камер, 3 хэт улаан туяаны камертай тул Kinect V1 дээрх нэг камераас ялгаатай нь хяналтын үр дүн сайжирсан. Би OpenNi2 -ийг Kinect V1 -тэй ашиглаж байх үед функцууд хязгаарлагдмал байсан бөгөөд би төхөөрөмжийн зарим функцийг хянаж чадахгүй байсан.

Програм хангамж: Давуу тал-Сул талууд:

• Freenect: Бүх зүйлийг хянах доод түвшний хяналттай-Зөвхөн Kinect V1-ийг дэмждэг
• OpenNi2: Kinect-аас мэдээллийн урсгалаас цэгийн үүл өгөгдлийг хялбархан үүсгэх боломжтой-Зөвхөн Kinect V1-ийг дэмждэг бөгөөд доод түвшний хяналтыг дэмждэггүй.
• Freenect2: Мэдрэгчийн барын доод түвшний хяналттай-Зөвхөн Kinect V2 дээр ажилладаг
• ROS: Камерын функцийг програмчлахад тохиромжтой үйлдлийн систем --- Програм хангамж ажиллахын тулд хурдан SD картанд суулгах шаардлагатай.

Алхам 9: Тоног төхөөрөмжийн сонголт: Бусад хэсгүүд

Лити -ион батерейг хөнгөн, өндөр хүчин чадалтай, цэнэглэдэг тул сонгосон. Литиум ион батерейны 18650 хувилбар нь цилиндр хэлбэртэй бөгөөд нишингийн загвартай бүрэн нийцдэг. 1 -р загвар таяг нь хөндий бөгөөд таягны жинг бууруулдаг тул PVC хоолойгоор хийсэн болно.

Алхам 10: Системийн хөгжил: Тоног төхөөрөмжийг бий болгох 1 -р хэсэг

Эхлээд бид Kinect -ийг хөнгөн болгож, таяг дотор нь багтахаар задлах ёстой. Ашигласан хуванцар нь маш их жинтэй тул би Kinect -ийн гадна талын бүх бүрхүүлийг салгаж эхлэв. Дараа нь суурийг нь салгаж авахын тулд кабелийг таслах шаардлагатай болсон. Би зураг дээр үзүүлсэн холбогчоос утаснуудаа аваад дохионы утастай USB кабель руу гагнаж, нөгөө хоёр холболт нь 12V оролтын чадалтай байв. Би таяг доторх сэнсийг бусад бүх эд ангиудыг хөргөх бүрэн хүчин чадлаараа ажиллуулахыг хүссэн тул Kinect -аас сэнсний холбогчийг тасалж, Raspberry Pi -ээс 5V -ийг холбосон. Би бас LiDAR утсанд жижиг адаптер хийсэн бөгөөд энэ нь Raspberry Pi -тэй бусад системгүйгээр шууд холбогдох боломжтой болсон.

Би санамсаргүйгээр цагаан утсыг хар утсанд гагнасан тул утас диаграмын зургийг бүү хараарай

Алхам 11: Системийн хөгжил: Тоног төхөөрөмжийг бий болгох 2 -р хэсэг

Би Raspberry Pi шиг 5V шаарддаг бүх төхөөрөмжүүдийг тэжээлээр хангах зохицуулагч хэсгийг бүтээсэн. Би зохицуулагчийг гаралт дээр тоолуур тавьж, эсэргүүцэгчийг тохируулах замаар зохицуулагч 5.05 В хүчдэл өгөх болно. Би үүнийг 5V -ээс арай өндөр гэж хэлсэн, учир нь цаг хугацаа өнгөрөх тусам батерейны хүчдэл буурч, гаралтын хүчдэлд бага зэрэг нөлөөлдөг. Би мөн адаптер хийсэн бөгөөд энэ нь батерейнаас 12V шаарддаг 5 хүртэлх төхөөрөмжийг асаах боломжийг олгодог.

Алхам 12: Системийн хөгжил: Системийн програмчлал 1 -р хэсэг

Энэ системийн хамгийн хэцүү хэсгүүдийн нэг бол програмчлал юм. Анх Kinect -ийг тоглож эхлэхэд би Kinect -аас өгөгдлийн урсгалыг авч цэгийн үүл болгон хувиргадаг RTAB Map нэртэй програм суулгасан. Үүлэн үүлний тусламжтайгаар энэ нь эргүүлэх боломжтой 3D дүрсийг бүтээсэн бөгөөд ингэснээр бүх объектууд хаана байгааг харна уу. Хэсэг хугацаанд тоглож, бүх тохиргоог хийсний дараа би Raspberry Pi дээр Kinect -аас өгөгдлийн урсгалыг харах боломжийг олгохын тулд програм хангамж суулгахаар шийдсэн. Дээрх сүүлийн хоёр зураг нь Raspberry Pi нь секундэд 15-20 фрэймээр юу үйлдвэрлэх боломжтойг харуулж байна.