Англи хэлний хувийн сургагч багш - AI дууны туслах: 15 алхам

2025 Зохиолч: John Day | day@howwhatproduce.com. Хамгийн сүүлд өөрчлөгдсөн: 2025-01-23 15:00

Энэхүү төсөл нь аливаа хэлний шалгалтанд бэлдэж буй оюутнуудад туслах болно.

Алхам 1: Түүх

Бид яагаад үүнийг бүтээсэн юм бэ?

Миний хувийн туршлагаас харахад GRE, TOEFL, IELTS гэх мэт төрөл бүрийн хэл шинжлэлийн шалгалтанд бэлдэж буй олон хүмүүсийг би харсан. Эдгээр үгсийг цээжлэх, ойлгоход нь туслах хүн хэрэгтэй байдаг. Ер нь хүн ийм шалгалтанд бэлдэхдээ алдаа гаргавал шалгаж, засч залруулах хүн хэрэгтэй болдог. Энэхүү шийдлийн тусламжтайгаар бид дуут туслах ажилтан ажиллуулснаар хүн хүчийг бууруулах боломжтой.

Алхам 2: Тоног төхөөрөмж бүтээх

Юуны өмнө, энэхүү төслийг гайхалтай Snips Voice Interaction Development Kit (Base Kit) тусламжтайгаар дэмжиж өгсөн SNIPS болон SEEED -д талархал илэрхийлье, энэ самбарыг ашиглан мэдээлэл сайтай байсан бөгөөд ПХБ -д нэгтгэгдсэн зарим нарийн төвөгтэй төслүүдийг хэрэгжүүлэх боломжтой болсон.

Та Snips Voice Interaction Base Kit -ийг 115 доллараар, Snips Voice Interaction Satellite Set -ийг 85 доллараар худалдаж авах боломжтой

Алхам 3: SNIPS -ийг эхлүүлэх

Эхлэхээсээ өмнө танд хэрэгтэй зүйлээ авч үзье.

• Raspberry Pi 3B/B+ (Зөвлөмж болгож буй) эсвэл Pi 2 загвар В (Дэмжигдсэн).
• Raspberry Pi-ийн Micro-USB кабель ба Micro-USB цахилгаан адаптер.
• Micro SD карт (хамгийн багадаа 8 GB) - Эхлэхийн тулд үйлдлийн систем шаардлагатай. Та Raspbian Stretch програмыг татаж аваад Raspberry Pi вэбсайт дахь Mac OS, Linux, Windows -ийн гарын авлагыг ашиглаж болно.
• USB гар ба хулгана, гадаад HDMI дэлгэц - USB гар, хулгана, HDMI дэлгэц ашиглахыг зөвлөж байна.
• Интернет холболт (Ethernet эсвэл WiFi)

Snips дуу хоолойны харилцан үйлчлэлийн үндсэн хэрэгсэл

Snips Voice Interaction Development иж бүрдэл нь хэрэглэгчдэд дуу хоолойны интерфейсийг хөгжүүлэх, Snips AI Voice Platform-ийг техник хангамжтай хялбархан нэгтгэх боломжийг олгодог. Snips төхөөрөмж дээр ажилладаг бөгөөд энэ нь таны бүх дуут команд болон өгөгдлийг үүл рүү илгээхээс илүү дотооддоо боловсруулдаг гэсэн үг юм. Энэхүү төхөөрөмж дээр боловсруулалт хийснээр таны хувийн өгөгдлийг хувийн нууцлалтай байлгах бүрэн аюулгүй офлайн дуут туслахыг бий болгоно.

Voice Interaction Base Kit нь Snips AI Voice Platform -ийг бүхэлд нь ажиллуулах боломжийг танд олгоно. Raspberry Pi 3 Model B+ ба ReSpeaker 2-Mics Pi HAT-ээр ажилладаг бөгөөд энэ нь таны гэрийн ухаалаг чанга яригчийн үүргийг гүйцэтгэх чадвартай. Энэхүү иж бүрдэлтэй хамт чанга яригч, Grove - Температур ба чийгшлийн мэдрэгч (SHT31), Grove - буухиа, бэхэлгээний самбар зэргийг хананд өлгөх эсвэл гоёмсог тавиур бий болгоно.

Гэхдээ энэ бүгд биш! Дуут харилцан үйлчлэлийн хиймэл дагуулын иж бүрдэл нь таны үндсэн станцыг өргөтгөж, байшингийнхаа өрөө бүрт хүрч, таны өгсөн тушаалыг үндэслэн тоног төхөөрөмжтэй харьцах боломжийг танд олгоно.

Энэхүү хэрэгсэл нь Raspberry Pi3 B+ самбар, ReSpeaker 2 -Mics Pi HAT, Grove - Relay, Grove - Температур ба чийгшил мэдрэгч (SHT31), 6 Ом 2W чанга яригч, MicroSD карт, Micro USB холбогч бүхий цахилгаан адаптер, Grove кабель x 2, нийлэг суурь самбар.

Ассемблейн алхамууд: (SNIPS -ийн агуулга) Дараах зураг нь угсралтын хэсгүүдийн тойм юм.

Энд угсралтын хэсгүүдийг үндсэн самбар дээр суурилуулсан болно.

Дараа нь бүх электрон эд ангиудыг самбар дээр суулгасан болно.

Үүний дараа нийлэг хамгаалалтын бүрхүүлийг Grove -Relay дээр байрлуулна.

Эдгээр 2 хэсгийг иж бүрдлийг ширээний тавцан болгоход ашигладаг.

Эцэст нь та Snips -тэй тоглоход бэлэн байна.

Энэхүү хэрэгсэл нь байрлуулах хоёр аргыг санал болгодог. Үүнийг хэвтээ гадаргуу дээр тавиур шиг байрлуулж эсвэл утас, утас ашиглан хананд өлгөх боломжтой. Ажлын хүчдэл өндөр байх тул иж бүрдэл асаалттай байх үед релетэй болгоомжтой харьцана уу.

ТАЙЛБАР: Бидэнд Raspberry Pi 3B+ -ийн оронд Raspberry Pi тэг агуулсан Snips Voice Interactive Satellite Kit байдаг.

Алхам 4: Snips AI -тэй харилцах (үндсэн төсөл)

• Багцыг иж бүрдэл дэх үндсэн тэжээлийн адаптераар тэжээх эсвэл Micro USB холбогчтой 5V-2A DC адаптер ашиглана уу.
• Дараагийн алхам бол Snips туслахыг Raspberry Pi дээр суулгах явдал юм. Тохиргооны цагийг хэмнэхийн тулд иж бүрдэл дэх MicroSD карт нь системийн бүрэн ажиллагаатай дүрсийг харуулсан бөгөөд энэ нь Snips туслах нь таны гох үгэнд бэлэн байна гэсэн үг юм.
• Алхам алхмаар суулгах гарын авлагыг https://docs.snips.ai/getting-started/quick-start… хаягаар орж судалж, сам хэрэгслийг командын мөрөөс сурахыг зөвлөж байна.
• Туслагчийг "Хөөе" гэж хэлээд командыг дагана уу.

Та доорх Snips Voice Interaction үндсэн хэрэгсэлд суулгасан жишээний видеог олж болно.

Алхам 5: Snips AI -тэй харилцах (Project AI)

Тиймээс энэ нь ингэж ажилладаг. Нэгдүгээрт, бид халуун түлхүүр үгийг ашиглан Snips таних ажиллагааг эхлүүлнэ. Энэ нь Snips NLU ашиглан өгүүлбэрийг ойлгож, зорилгыг тодорхойлдог. Дараа нь зорилгоо ашиглан үүрүүдийг тус тусад нь задлаарай. Үйлдлийн кодоор бид хиймэл оюун ухааны хариу үйлдлийг үүрэнд харгалзуулан програмчилдаг.

Алхам 6: Апп болон зорилгыг бий болгох

• Туслах үүсгэх. Миний хувьд би JARVIS нэртэй, JARVIS гэсэн халуун үгээр туслах ажилтан бүтээсэн.
• Захиалгат програм үүсгэх эсвэл эхлэгчдэд зориулсан програмыг номын сангаас ашиглана уу.
• Би Words нэртэй програм үүсгэсэн
• Зорилго үүсгэж, AI -ийг сургаж эхлээрэй. Энэ нь таны хиймэл оюун ухааныг бэхжүүлэхэд чухал үүрэг гүйцэтгэдэг. Боломжтой бүх орцоор үүнийг сургаарай.
• Үгсийг тодорхойлохын тулд үүр үүсгэ. Өгүүлбэрийн хүлээгдэж буй өгүүлбэрт үүрийг байрлуул. Миний жишээний хувьд өгөгдсөн үг бол үүрний нэр бөгөөд үүнийг цэнхэр өнгөөр тодруулсан болно.
• Үүнийг хийсний дараа таны захиалгат ASR бэлэн болно. Оруулгуудыг туршиж үзээрэй. Бид хариултыг таны баруун талд, туслахын доор олох боломжтой. Энэ нь түүхий үнэ, зорилгын нэр, үүрийг гаргаж авах боломжийг танд олгоно.
• Доор үзүүлсэн шиг илүү олон жишээ бүхий үүрүүдийг тодорхойл
• Эцэст нь өөрийн хиймэл оюун ухааныг мэдрэхийн тулд туслахаа байрлуул.

Алхам 7: Raspbian -ийг SD карт руу шарна уу

Raspbian бол Raspberry Pi дээр ажилладаг Linux -ийн сонголт юм. Энэхүү гарын авлагад бид Lite хувилбарыг ашиглах болно, гэхдээ Ширээний хувилбарыг (график орчинтой хамт ирдэг) бас ашиглах боломжтой.

• Etcher програмыг татаж аваад суулгаарай.
• SD карт уншигчаа дотор нь SD карттай холбоно уу.
• Etcher -ийг нээгээд өөрийн хатуу дискнээс SD карт руу бичихийг хүсч буй Raspberry Pi.img эсвэл.zip файлыг сонгоно уу.
• Зургаа бичихийг хүсч буй SD картаа сонгоно уу.
• Сонголтуудаа шалгаад 'Flash!' Дээр дарна уу. SD карт руу өгөгдөл бичиж эхлэх

Төхөөрөмжийг сүлжээндээ холбоно уу

• SD карт дээрх ачаалах эзлэхүүний үндсийг дахин байрлуулсан хоосон ssh файлыг нэмж SSH хандалтыг идэвхжүүлнэ үү.
• SD картыг Raspberry Pi -д оруулна уу. Энэ нь ойролцоогоор 20 секундын дотор ачаалагдах болно. Та одоо Raspberry Pi -д SSH хандах эрхтэй байх ёстой. Анхдагч байдлаар, түүний хост нэр raspberrypi.local байх болно. Компьютер дээрээ терминалын цонх нээгээд дараах үгийг бичнэ үү.

ssh pi@raspberrypi.local

Анхдагч нууц үг нь бөөрөлзгөнө юм

Алхам 8: Snips платформыг суулгана уу

Хэрэв та хараахан амжаагүй байгаа бол Sam Command Line Interface -ийг компьютер дээрээ суулгаарай. Терминал цонхыг нээгээд оруулна уу:

sudo npm install -g snips -samor npm install -g snips -sam // Windows

Raspberry Pi -г сүлжээнээс хайж олохын тулд дараахь зүйлийг ашиглана уу.

сам төхөөрөмжүүд

Дараа нь төхөөрөмжтэй холбоо тогтооно уу. Төхөөрөмжийн хэрэглэгчийн нэр, нууц үгийг асуух болно (анхдагч нь pi ба бөөрөлзгөнө юм):

Сэм холбоно уу

Бид одоо Raspberry Pi дээр Snips платформыг суулгахад бэлэн боллоо. Командыг оруулна уу:

сам эх

Алхам 9: Тоног төхөөрөмжийг тохируулна уу

Сэм нь тоног төхөөрөмжийн бүрэлдэхүүн хэсгүүдийг хялбархан тохируулж, тохируулах зарим тушаалуудыг өгдөг. Энэ хэсэгт бид чанга яригч, микрофон тохируулах болно. Таны тохиргооноос хамааран зарим тохиргоог хийх шаардлагатай болно.

sam тохиргооны аудио

Илтгэгчийг туршиж үзээрэй

Чанга яригч ажиллаж байгаа эсэхийг шалгахын тулд ажиллуулна уу

sam тестийн чанга яригч

Хэрэв бүх зүйл хэвийн байвал та чанга яригч дээр хэдэн үг хэлэх дуу хоолойг сонсох ёстой. Микрофоныг тохируулах Та микрофон ажиллаж байгаа эсэхийг шалгаж болно.

sam тестийн микрофон

Чамайг чанга яригчтай гэж үзвэл, хэрэв та хэлсэн үгээ тодорхой сонсож чадвал микрофоны тохиргоо хийхгүйгээр үргэлжлүүлж болно.

Тоног төхөөрөмжийн тохиргоо ажиллаж байгаад сэтгэл хангалуун байгаа бол та дараагийн алхам руу шилжихэд бэлэн байгаа бөгөөд та анхны туслахаа байрлуулах болно.

Алхам 10: AI загварыг консолоос импортлох

Өмнөх алхамуудаас туслагчаа үүсгэсний дараа терминалын цонхноос консол руу нэвтрэн орно уу.

sam нэвтрэх

Таны Snips Console -ийн итгэмжлэлийг оруулахыг танаас хүсэх болно.

Дараа нь туслахыг суулгана уу:

sam суулгах туслах

Хэрэв та консол дээр хэд хэдэн туслах үүсгэсэн бол жагсаалтаас аль нь суулгахыг сонгохыг танаас хүсэх болно.

Алхам 11: Боловсруулагч ба үйлдлийн код

Raspberry Pi -д хариу өгөхийн тулд бид зохицуулагчийн кодыг бичих шаардлагатай болно. Энэ бол Snips платформ дээр тодорхой үйл явдал тохиолдоход, жишээ нь санааг илрүүлэх үед хийгддэг код юм.

Ажиллаж буй байдлаас хамааран Handler үүсгэх янз бүрийн аргууд байдаг.

Компьютер дээрээ зохицуулагчийн кодыг хадгалахыг хүссэн фолдер үүсгэнэ үү. Терминал цонхноос тэр директор руу шилжиж, оруулна уу:

npm эхлэл

Энэ нь таны төслийн тайлбар, хамаарал болон бусад зүйлийг агуулсан package.json нэртэй файл үүсгэх болно. Дараа нь mqtt багцын хамаарлыг нэмнэ үү.

npm суулгах mqtt --save

Одоо index.js нэртэй файл үүсгээд дараах кодыг буулгаж, хост нэрийн хувьсагчийг өөрийн Raspberry Pi -ийн хост нэрээр солино уу (хэрэв энэ нь анхдагч raspberrypi -с ялгаатай бол):

var mqtt = шаарддаг ('mqtt');

var хостын нэр = "mqtt: //raspberrypi.local"; var client = mqtt.connect (хостын нэр); client.on ('холбогдох', function () {console.log ("[Snips Log] MQTT брокерт холбогдсон" + хостын нэр); client.subscribe ('hermes/#');}); client.on ('message', function (topic, message) {if (topic === "hermes/asr/startListening") {onListeningStateChanged (true);} if if (topic === "hermes/asr/stopListening")) {onListeningStateChanged (false);} if if (topic.match (/hermes \/hotword / /.+ \/илрүүлсэн/g)! == null) {onHotwordDetected ()} if if (topic.match (/hermes / /intent\/.+/g)! == null) {onIntentDetected (JSON.parse (зурвас));}}); onIntentDetected (зорилготой) функц {console.log ("[Snips Log] Зорилго илэрсэн:" + JSON.stringify (зорилго)); } функц onHotwordDetected () {console.log ("[Snips Log] Hotword илэрсэн"); } функц onListeningStateChanged (сонсох) {console.log ("[Snips Log]" + (сонсох? "Эхлэх": "Зогсоох") + "сонсох"); }

Node ашиглан энэ кодыг ажиллуулна уу:

зангилааны индекс.js

Та Snips MQTT брокертой амжилттай холбогдсон тухай мессежийг харах ёстой. Урьдын адил Raspberry Pi -тойгоо дуу хоолойгоор харьцаарай.

Хөөе Снипс, Ченнайд цаг агаар ямар байна

Та бүртгэлүүд шинэчлэгдэж байгааг харах ёстой.

[Snips Log] MQTT брокер mqtt: //raspberrypi.local -тэй холбогдсон

[Snips Log] Халуун үг илрэв [Snips Log] Сонсохыг эхлүүлэх [Snips Log] Сонсохоо болих [Snips Log] Зорилго илрэв: {"sessionId": "c84b5aa5-3f14-4218-975e-8872b9217933", "customData": null, "siteId ":" default "," input ":" chennai -д цаг агаар ямар байна "," aim ": {" aimName ":" searchWeatherForecast "," магадлал ": 0.73845243}," slots ": [{" rawValue ":" chennai "," value ": {" kind ":" Custom "," value ":" Chennai "}," range ": {" start ": 44," end ": 53}," entity ":" locality ", "slotName": "урьдчилсан_хариулт"}]}

Алхам 12: Алдааг олж засварлах

Хэрэв байгаа бол өмнөх туслахыг устгана уу

$ sudo rm -rf/usr/share/snips/assistant/

Лавлахыг туслах болгон өөрчлөх

cd/var/lib/snips/ур чадвар/

Репо контентыг орон нутгийн хэмжээнд хуулбарлах

git clone

Setup.sh скриптийг ажиллуулах

./setup.sh

Виртуал орчныг идэвхжүүлэх

venv/bin/идэвхжүүлэх эх сурвалж

Үйлдлийн кодыг ажиллуулна уу

./action-.py

Python скриптэд зөвшөөрөл өгөх

chmod +x action-.py

Алхам 13: Хашаа

• Би энэ төсөлд IP үнэлгээтэй хашлага ашиглаж байсан
• Нэгдүгээрт, би цахилгаан утас болон HDMI кабелийн хэлхээ ба үүрийг холбоход шаардлагатай нүх гаргав.
• Дараа нь би бүх Raspberry Pi -ийг хашлага дотор хийж, сайтар шургуулав.
• Би чанга яригч болон микрофоны жижиг нээлхийг хийж, нийлэг цаасны жижиг хэсгийг ашиглан таглав.
• ReSpeaker малгай руу чанга яригчийг сайтар холбоно уу.
• Эцэст нь бүх боолтыг бат бэх суурилуулж, цахилгаан кабелийг үүрээр оруулна.
• AI эцэст нь иймэрхүү харагдаж байна: D

Алхам 14: AI -ийн ажил

Та Snips-watch ашиглан хянадаг өгөгдлийг олох боломжтой

Одоо шоуны цаг боллоо. Би AI -ийн энгийн мэндчилгээгээр хийж эхлэв. Үүнийг хэрхэн ажиллаж байгааг хараарай.

Сургагч AI нь хязгаарлагдмал үгээр програмчлагдсан болно. Үүнийг бага зэрэг өөрчлөх замаар өргөтгөх боломжтой. Энэ нь оюутнуудад уламжлалт аргаас илүү хурдан утгыг цээжлэхэд тусалдаг.

Анхаар: Энэхүү төсөл нь ойролцоогоор 25 үгэнд зориулагдсан болно. Үүнийг үйлдлийн кодонд бага зэрэг өөрчлөлт оруулах замаар өргөжүүлж болно.

Та үйлдлийн скриптүүдийг хавсаргасан миний Github репозитороос олж болно.

Төслийн репо мэндчилгээ AI-https://github.com/Rahul24-06/Greetings_Assistant-TTS

Сургагч AI-д зориулсан төслийн репо-https://github.com/Rahul24-06/Personal-English-Trainer---TTS

Миний програмын линк:

Бүхэл бүтэн тохиргоо нь ойролцоогоор 115 долларын үнэтэй бөгөөд үүнийг SNIPS -ээс худалдаж авах боломжтой бөгөөд энэхүү шийдэл нь уламжлалт аргуудтай харьцуулахад маш хямд бөгөөд үр дүнтэй байдаг. Энэтхэгт ойролцоогоор 100,000 гаруй туршилт хийсэн бөгөөд энэ бүтээгдэхүүн нь GRE -ийн хэрэглэгчдэд хамгийн сайн нэмэлт болно.

Хэрэв энэ нь танд үнэхээр тусалсан бол эрхий хуруугаа өгөөрэй, сонирхолтой төслүүдийн талаар миний сувгийг дагаарай.:) Хэрэв танд таалагдаж байвал энэ видеог хуваалцаарай. Та бүртгүүлсэндээ баяртай байна: https://console.snips.ai/store/en/skill_xBKlxnE5K… Уншсанд баярлалаа!