Biofeedback кино: 7 алхам

2024 Зохиолч: John Day | [email protected]. Хамгийн сүүлд өөрчлөгдсөн: 2024-01-30 11:04

Төслийн Зохиогч

Жессика Анн

Хамтран ажиллагсад

• Грегори Хоу
• Салуд Лопез
• Педро Пейра

Тухай

Туршилтын видео бичлэг хийх систем нь оролцогчийн тархийг Neurosky Mindwave EEG Reader чихэвчээр камерын функцтэй холбодог. Biofeedback Cinema систем нь уламжлалт зураглаачийн оронд ажилладаг бөгөөд оронд нь захиалгат тархи ашиглан КАМЕРА интерфэйсээр дамжуулан оролцогчдод найруулгын агентлагийг өгдөг. Энэхүү төслийг семинарт оролцогчид Грегори Хоф, Салуд Лопез, Педро Пейра нартай хамтран боловсруулсан болно. Та семинарын үр дүнг https://comunidad.medialab-prado.es/en/groups/biofeedback-cinema дээрээс унших боломжтой.

Прототипийн тохиргоо

Biofeedback Cinema систем нь олон боломжит програмуудыг ашиглах боломжийг олгодог. Энэхүү зааварчилгааны хувьд бид оролцогчийн анхаарал/анхаарлын түвшинг (нэг бүхэл тоо) хардаг системийн демог бэлтгэсэн бөгөөд үүнийг камерын байрлал (тогоо ба хазайлтаар), камерын фокус (OpenCV -ээр дамжуулан) болгон хөрвүүлдэг. Энэ бүхэн нь Neurosky EEG Reader чихэвч болон Raspberry Pi хоёрын bluetooth холболтоор боломжтой болсон.

Raspberry Pi бол вэб камер, скриптээр тоноглогдсон жижиг компьютер бөгөөд оролцогчийн тархины үйл ажиллагааг камерын тохиргоо, камерын байрлалд холбодог. Динамик камерын байрлалыг Raspberry Pi -ээс дохио хүлээн авдаг Arduino микроконтроллероор дамжуулан хийх боломжтой. Бид тархины долгионы нэмэлт параметрүүд (нүд анивчихтай холбоотой давтамж гэх мэт) болон камерын функцуудыг (өөрөөр хэлбэл өнгө, ханалт, тод байдал гэх мэт) оруулахыг зорьж байгаа тул бид цаашдын хөгжлийг тэсэн ядан хүлээж байна.

Biofeedback Cinema системийг өөрийн гараар бүтээх зааврыг доор өгөв.

Аз жаргалтай туршилт

Алхам 1: хангамж

Өөрийн Biofeedback Cinema загварыг бүтээхэд хэрэгтэй бүх зүйлийг доор жагсаав.

1. Neurosky Mindwave гар утасны EEG чихэвч

2. Raspberry Pi B+ (b+ нь илүү сайн, илүү олон USB портууд байдаг, гэхдээ хэрэв та USB төвтэй бол В загвар нь бас тохиромжтой).

   1. Raspberry Pi цахилгаан адаптер эсвэл батерейны багц
   2. Wifi Dongle -эсвэл Ethernet холболт (зөвхөн тохиргооны үед шаардлагатай)
   3. Bluetooth Dongle нь нийцтэй донглуудын талаар вики -г үзнэ үү
   4. SD карт (хамгийн багадаа 8 ГБ) NOOBS -тэй.

3. Arduino Аливаа самбар сайн байна, энэ зааварт Uno ашиглана уу. Мөн Pi дээрх I/O -ийг ашиглах боломжтой гэдгийг анхаарна уу.

   1. Arduino цахилгаан адаптер эсвэл батерейны багц
   2. A-B USB кабель
4. USB вэб камер
5. Пан налуутай мини иж бүрдэл

6. HDMI оролтыг хянах эсвэл VNC ашиглан пи -ээ компьютерээсээ алсаас удирдах боломжтой (энд байгаа заавар)

   HDMI кабель

7. USB гар ба хулгана нь ашигласан USB портыг багасгахын тулд bluetooth гар болон хулганыг санал болгодог.

Алхам 2: Raspberry Pi -ийг тохируулна уу

1. Тоног төхөөрөмжийг тохируулах

Гар, хулгана, bluetooth dongle, wifi dongle (эсвэл ethernet), вэб камер, мониторыг HDMI кабелиар холбож, Raspberry Pi -тэй холбоно уу

2. Үйлдлийн системийг тохируулах

• Цахилгаан асаахад таны Pi асах ёстой. Rasbpian OS-ийг эндээс суулгана уу:
• Хэрэв ачаалж, Raspian -ийг зөв суулгасан бол та гэрийн ширээний компьютерийг харах ёстой.

ЗӨВЛӨГӨӨ:

• Хэрэв ширээний дэлгэцийн харьцаа унтарсан бол Raspberry Pi -г дахин ачаалж үзнэ үү. Хэрэв энэ нь унтраалттай хэвээр байвал пропорцийг харьцаагаар гараар шинэчлэхийн тулд эндээс үзнэ үү.
• Хэрэв та текст засварлагчийг нээж, гарын тусгай тэмдэгтүүд таарахгүй байвал гарны тохиргоог шинэчлэхийн тулд эндээс үзнэ үү.
• Интернет холболтоо шалгаарай (тохиргооны явцад номын санг суулгахын тулд танд энэ хэрэгтэй болно). Wi -Fi -ийг тохируулахад туслахын тулд эндээс үзнэ үү.

Алхам 3: Neurosky чихэвчийг холбоно уу

1. Bluetooth тохиргоо

Pi Neurosky -тэй холбогдохын өмнө бид bluetooth -ийг тохируулах хэрэгтэй.

Ширээний компьютер дээр "LXTerminal" -ийг нээнэ үү (эндээс эхлэн терминал гэж нэрлэдэг). Алдааг олж засварлахын тулд энэ тушаалыг ажиллуулна уу

$ sudo apt-get шинэчлэлт

Bluetooth -ийг дараах тушаалаар суулгана уу

$ sudo apt-get bluetooth суулгаарай

Блютүүт хэрэгслүүдийн ширээний хэрэгслийг суулгах:

$ sudo apt-get install -y bluetooth bluez-utils blueman

Терминалаас Pi -г дахин ачаална уу:

$ sudo дахин ачаална уу

2. Bluetooth холболтыг туршиж үзээрэй

• Neurosky чихэвчийг асаана уу
• Терминалаас төхөөрөмж хайх:

hcitool скан хийх

Mindwave чихэвчийг жагсаасан байх ёстой бөгөөд чихэвчний MAC хаягийг анхаарна уу [дээрх зураг]

3. Neurosky Libraries -ийг суулгах

Одоо бид Neurosky Python -ийн номын санг суулгаж, өгөгдлийн урсгалыг номын сангийн тестийн скриптээр авахад бэлэн боллоо.

Терминалаас github хэрэгслийг суулгана уу

sudo apt-get суулгах git-core

Neurosky Python номын сантай clone github репозитор:

sudo git clone

Бид MindwaveMobileRawReader.py файлыг чихэвчнийхээ MAC хаягаар шинэчлэх хэрэгтэй. Мэдээлэл: Файлын нэр том үсгийг томруулдаг

sudo nano /home/pi/python-mindwave-mobile/MindwaveMobileRawReader.py

• Файлд жагсаасан MAC хаягийг шинэчилнэ үү. Ctrl-X дуусгах, Y хадгалах, гарахын тулд Enter дарна уу.
• Neurosky болон Pi -ийг хослуулж, PIN код оруулахыг шаардвал "0000" -ыг автоматаар холбох боломжийг олгоно уу.

$ sudo bluez-энгийн-агент hci0 XX: XX: XX: XX: XX: XX

$ sudo bluez-test-device итгэмжлэгдсэн XX: XX: XX: XX: XX: XX: XX тийм

Python Bluetooth номын санг суулгах:

sudo apt-get python-bluez суулгана уу

Pi нь өгөгдлийн урсгалыг урьдчилан харах боломжтой байхын тулд номын сангийн тест скриптийг ажиллуулна уу. Та өгөгдөл дамжуулж байгааг харах ёстой [дээрх зураг]:

$ sudo python/home/pi/python-mindwave-mobile/read_mindwave_mobile.py

Алхам 4: USB вэбкамерыг CV нээж холбоно уу

1. OpenCV суулгана уу

Терминалаас:

$ sudo apt-get libopencv-dev python-opencv суулгана уу

Дууссаны дараа үргэлжлүүлнэ үү:

$ sudo apt -get -f суулгана уу

Сайн хэмжихийн тулд:

$ sudo apt-get libopencv-dev python-opencv суулгаарай

Номын санг импортлохыг оролдож суулгалтыг шалгана уу:

$ питон

> cv2 импортлох

2. OpenCV -ийг USB вэбкамер ашиглан Python дээр туршиж үзээрэй

• Ширээний компьютер дээр "IDLE" -г нээнэ үү (IDLE3 -ийг бүү нээ!)
• Файл цэснээс Шинэ цонхыг сонгоно уу. Манай Cv-Blur-Test скриптийг шинэ цонхонд хуулж хадгална уу. Скриптийг эндээс авах боломжтой:
• Run цэснээс Run Module -ийг сонгоно уу (эсвэл F5 дарна уу). Үүнийг эхлүүлэхэд хэдэн секунд шаардагдах боловч та вэбкамерын шууд дамжуулалтаар жижиг хүрээ гарч ирэх бөгөөд видеог бүдгэрүүлэх ёстой. Баяр хүргэе, OpenCV суулгагдсан бөгөөд таны вэбкамертай амжилттай ажиллаж байна [Дээрх зураг].

Алхам 5: Arduino -г холбоно уу

1. Arduino IDE татаж авах

Терминалаас:

sudo apt-get arduino суулгана уу

2. Arduino & Load Sketch -ийг холбоно уу

• A-B USB кабелиар arduino-г Pi-д залгаарай.
• Ширээний эхлэх цэснээс Electronics руу очоод Arduino IDE -ийг нээнэ үү. Бидний arduino-serial-pi ноорогыг IDE руу хуулж аваарай [Доорх линк]. Энэ бол цуваа дээрх оролт дээр үндэслэн servo моторыг хөдөлгөх маш энгийн ноорог юм. Бид бүх зүйлийг нэгтгэх үед сүүлчийн алхамд тархины долгионы гаралт дээр тулгуурлан өгөгдлийг Python ноорог ашиглан илгээх болно.

Arduino-serial-pi-ийн ноорог эндээс:

Arduino IDE дээр Tools цэс рүү орж Serial Port -ийг сонгоод Arduino портыг сонгоно уу, магадгүй /dev /ttyACM0. Боомтын талаар тэмдэглэл хөтлөнө үү

3. Цуваа консолыг идэвхгүй болгох

Цуваа консолыг идэвхгүй болгохын тулд скриптийг татаж аваад ажиллуулснаар USB цуваа холболт жигд ажиллах боломжтой болно

$ wget

/alamode-setup.tar.gz?raw=true -O alamode-setup.tar.gz

$ tar -xvzf alamode -setup.tar.gz

$ cd alamode-ийн тохиргоо

$ sudo./setup

$ sudo дахин ачаална уу

Мэдээлэл:

Хэрэв та B+ ашиглаж байгаа бол servos -ийг дэмжих хангалттай оролт/гаралт байж магадгүй (эндээс GPIO -г тохируулах, ашиглахыг үзнэ үү). Гэсэн хэдий ч би тархи-электроникийн ирээдүйн туршилтанд нэмэлт бүрэлдэхүүн хэсгүүдийг нэмж оруулах сонирхолтой байна. Тиймээс, анхны загварыг arduino ашиглан тохируулах нь олон тооны цахим боломжийг нээж өгдөг.

Алхам 6: Бүгдийг нэгтгэх

1. Эцсийн Python скрипт

"Python-mindwave-mobile" фолдерт эцсийн питон скриптийг оруулахын өмнө бид хавтасны зөвшөөрлийг өөрчлөх хэрэгтэй. Терминалаас:

$ chmod a = rwx/home/pi/python-mindwave-mobile

• IDLE-ийг нээгээд онлайнаар авах боломжтой Python-ийн эцсийн скриптийг ажиллуулна уу: https://github.com/PrivateHQ/biofeedback-cinema/ Энэ нь python-mindwave-mobile фолдерт байгаа эсэхийг шалгаарай. Мэдээлэл: Та манай Python скриптийг өөрийн жинхэнэ Arduino портын хаягаар шинэчлэх шаардлагатай болно.
• Та энэ скриптийг ажиллуулахдаа дараах гурван зүйлийг хийх ёстой: 1) Таны анхаарлын түвшинг Python Shell дээр жагсаах болно, 2) Вэкам камерын шууд дамжуулалтыг харуулсан жижиг хүрээ гарч ирэх бөгөөд анхаарлын төвшинд үндэслэн бүдэгрэх байдал өөрчлөгдөх болно; 3) мотор (s) Анхаарлын түвшинг arduino руу цувралаар дамжуулах үед [дээрх видео] шилжих.

Алхам 7: Сайжруулалт ба хөгжил

Raspberry Pi нь боловсруулах хүчин чадал багатай бөгөөд OpenCV -ийн функцийг жигд ажиллуулахын тулд тэмцдэг. Энэ бол миний үргэлжлүүлэн хөгжүүлж, сайжруулах болно. Нэмж хэлэхэд би тархины долгионы нэмэлт параметрүүд (нүд анивчихтай холбоотой давтамж гэх мэт) болон камерын функцуудыг (өөрөөр хэлбэл өнгө, ханалт, тод байдал гэх мэт) оруулахаар төлөвлөж байна.