Оюуны лонхны хогийн сав: 6 алхам

2024 Зохиолч: John Day | [email protected]. Хамгийн сүүлд өөрчлөгдсөн: 2024-01-30 11:02

Би энэ хогийн савыг Yeting Bao, Yuni Xie нарын хамт бүтээсэн. Энэхүү төсөлд чин сэтгэлээсээ хандсанд баярлалаа:).

Хэрэглэхэд хялбар машин сурах хэрэгслийг ашиглан өөрийн байрны ойролцоох хог хаягдлыг дахин боловсруулах хэлтэст зориулан оюуны лонхтой хогийн сав үүсгээрэй: та савыг тусгай хогийн саванд хаясны дараа түүний хажууд байгаа дэлгэц дээр түүний материалыг харуулна.

Хангамж

Бидэнд дахин ашиглахыг хүсч буй шилэнд зориулсан хайрцаг, микрофонтой фотоны хэлхээ, интернетэд холбогдсон компьютер, товчлуур (бид iPad ашигладаг) хэрэгтэй байна.

Алхам 1: Энэ нь хэрхэн ажилладагийг хараарай

Алхам 2: Хайрцаг хийх

Энд бид дөрвөн нийлэг хавтан, нэг модон хавтанг ашиглан хайрцгийг бүрдүүлж байна. Та хүссэн материалаа ашиглаж болно, гэхдээ тэдгээр нь савыг хэдэн мянган удаа хаях чадвартай байх ёстой бөгөөд энэ нь мэдээж чимээ гаргах ёстой.

Алхам 3: Акустик машин сурах загвараа сургаарай

Энд бид өөр өөр төрлийн шилийг хогийн саванд хаяхыг дуурайдаг хогийн савны загварыг ашигладаг. Вэбсайтыг заах машиныг ашигласнаар бид янз бүрийн төрлийн дууг бүртгэж, дууны дээжийг гаргаж авдаг. Галт тэрэгний загварыг ашиглан компьютерийг эдгээр янз бүрийн дуу чимээг танихад сургах. Загварыг экспортлохоо бүү мартаарай, ингэснээр үүнийг вэбсайт дээрээ ашиглах боломжтой болно.

Энэ явцад бид өдөр тутмын амьдралд байнга хэрэглэгддэг дөрвөн төрлийн лонх (хуванцар сав, лааз, цаасан хайрцаг, шил) -ээс гаргаж буй дуу чимээг цуглуулсан.

Алхам 4: Фотоны хэлхээгээ байгуулна уу

Фотоны хэлхээг холбохын тулд микрофон, чанга яригч ашиглан дээрх зургийг үзнэ үү. Үүнийг хүчдэлд холбохоо бүү мартаарай.

Алдааг олж засварлах цаг

Хэрэв та фотон эсвэл Arduino хэлхээний өөр хувилбарыг ашиглаж байгаа бол "TensorFlowLite" машин сургалтын номын санг Photon дээр ашиглах боломжтой байж магадгүй юм. Гэсэн хэдий ч бидний фотоны хувилбар ийм функцийг гүйцэтгэдэггүй. Үүний оронд бид машин сургалтын хэрэгслийн javascript номын санг ашигладаг.

Энэ хооронд бидний фотоны хувилбар аудиог компьютерт илгээж, бодит цаг хугацаанд дүн шинжилгээ хийж чадахгүй байна. Тиймээс бид "Speaker" npm багцыг ашиглан аудио тоглуулж, хөтөч дээр дүн шинжилгээ хийдэг.

Хэрэв танд өөр фотон эсвэл Arduino хувилбар байгаа бол аудиог компьютерт илгээх эсвэл машин сургалтын номын санг хэлхээндээ ашиглах хялбар аргуудыг туршиж үзээрэй.

Алхам 5: Компьютер дээр кодоо ажиллуулна уу

Аудио хүлээн авах, автоматаар тоглуулахын тулд Node.js -ийг ашиглаарай. Чи чадна

Та үүнийг Github дээрээс олж болно.

Энэ алхамд бидний ашигладаг гол код энд байна.

… // wav файлыг дотооддоо хадгалаад шилжүүлэлт дуусмагц тоглуулна

socket.on ('өгөгдөл', функц (өгөгдөл) {// Бид энэ холболтын талаар мэдээлэл хүлээн авсан.

socket.on ('end', function () {console.log ('дамжуулалт дууссан,' + outPath -д хадгалагдсан); editor.end (); var file = fs.createReadStream (outPath); var reader = new wav. Reader // (wavOpts));}); // WAVE файлыг Reader instance file.pipe (уншигч);}); }). сонсох (dataPort); …

Алхам 6: Өөрийн дүрслэлийг хөгжүүлэх

Javascript ашиглан AJAX хүсэлтийг бөөм рүү илгээж, "нээлттэй" функцийг хянана уу. "Нээлттэй" функцийг дуудаж, утгыг "1" болгож тохируулах үед фотон дээрх микрофоныг асааж, 3 секундын турш тэмдэглэнэ. Бичсэн аудиог компьютерт илгээх бөгөөд автоматаар тоглуулах болно.

Компьютер аудио хүлээн авсны дараа таних хуудас дээр гарч ирнэ.