AWS дээр Magicbit -аас өгөгдлийг дүрслэн харуулах нь: 5 алхам

2024 Зохиолч: John Day | [email protected]. Хамгийн сүүлд өөрчлөгдсөн: 2024-01-30 11:00

Magicbit -т холбогдсон мэдрэгчээс цуглуулсан өгөгдлийг MWTT -ээр дамжуулан AWS IOT цөмд нийтэлж, бодит цаг хугацаанд график дүрслэн харуулах болно. Бид ESP32 дээр суурилсан энэхүү төсөлд magicbit -ийг хөгжлийн самбар болгон ашиглаж байна. Тиймээс энэ төсөлд ESP32 хөгжүүлэх самбарыг ашиглаж болно.

Хангамж:

Magicbit

Алхам 1: Түүх

Энэхүү төсөл нь таны Magicbit төхөөрөмжийг MWTT -ээр дамжуулан AWS Cloud -тэй холбох тухай юм. MQTT -ээр дамжуулж буй өгөгдлийг AWS үйлчилгээг ашиглан үүлэн дотор дүн шинжилгээ хийж, дүрслэн харуулдаг. Тиймээс эхэлцгээе

Эхлээд та AWS консол руу ороод нэвтэрнэ үү. Суралцахын тулд та AWS -ийн санал болгодог үнэгүй түвшний сонголтыг ашиглаж болно. Энэ төсөлд хангалттай байх болно.

Үүнийг хялбарчлахын тулд би төслийг хоёр хэсэгт хуваах болно.

Энэ бол манай төслийн эхний үе шат байх болно. Эхний шатны төгсгөлд өгөгдлийг S3 хувин дээр хадгалах болно.

Эхний хэсэгт ашиглах AWS үйлчилгээ,

• Kinesis Firehose
• AWS цавуу
• AWS S3

Эхлээд AWS Kinesis үйлчилгээ рүү очно уу.

Доор үзүүлсэн шиг Kinesis Data Firehose -ийг сонгоод Create дарна уу

Дараа нь таныг Firehose үйлчилгээ үүсгэх 1 -р алхам руу чиглүүлэх болно. Хүргэлтийн урсгалын нэрийг оруулаад шууд оруулах эсвэл бусад эх сурвалжийг сонгоно уу. Дараах дээр дарна уу.

2 -р алхам цонхонд бүх зүйлийг анхдагчаар үлдээж, дараа нь дарна уу. AWS Glue үйлчилгээг үүсгэсний дараа бид энэ алхамыг засахаар буцаж ирэх болно.

3 -р алхамд хэрэв та өмнө нь үүсгэсэн бол S3 хувиныг сонгоно уу. Үгүй бол үүсгэх дээр дарж хувин үүсгэнэ үү. S3 угтвар хэсэгт dest/, алдааны угтвар дээр алдаа/ гэж оруулна уу. Та дээрх хоёр нэрэнд дурын нэр оруулж болно. Гэхдээ хялбар болгохын тулд бид нийтлэг нэрээр үргэлжлүүлэх болно. Сонгосон хувин дотроо dest нэртэй хавтас үүсгэхээ мартуузай. Дараах дээр дарна уу.

4 -р алхамд бодит цагийн мэдээлэл дамжуулах хамгийн бага буферийн хэмжээ болон буферийн интервалыг сонгоно уу. Зөвшөөрөл хэсэгт IAM roleKinesisFirehoseServiceRole үүсгэх буюу шинэчлэхийг сонгоно уу. Бүх зүйлийг анхдагчаар хадгалах. Дараагийн дээр дарна уу.

Дараагийн хэсэгт таны оруулсан өөрчлөлтүүдийн тоймыг харуулах болно. OK дарна уу. Дараа нь та Kinesis Firehose -тэй болно.

Хэрэв та Firehose үйлчилгээг амжилттай үүсгэсэн бол иймэрхүү зүйлийг олж авах болно.

Алхам 2: Firehose болон S3 хувиныг турших

Галын хоолой ба S3 хувин зөв ажиллаж байгааг шалгахын тулд консолоос IOT цөмийг сонгоно уу. Таныг ийм хуудас руу чиглүүлэх болно. Дүрмийг сонгоод дүрмийг үүсгэнэ үү.

AWS IOT -ийн дүрэм гэж юу вэ?

Энэ нь MQTT -аас хүлээн авсан аливаа өгөгдлийг тодорхой үйлчилгээнд дамжуулахад ашигладаг. Энэ жишээнд бид Kinesis Firehose руу шилжүүлэх болно.

Дүрмийн нэрийг сонгоно уу. Дүрэм, асуулгын мэдэгдлийг байгаагаар нь үлдээгээрэй. Энэ нь iot/сэдвийн сэдвээр нийтлэгдсэн бүх зүйлийг энэ дүрмээр дамжуулан Firehose кинезис рүү дамжуулах болно гэдгийг бидэнд хэлж байна.

Нэг буюу хэд хэдэн үйлдлийг тохируулах хэсгийн доор үйлдэл нэмэх дээр дарна уу. Amazon Kinesis Firehose Stream руу зурвас илгээхийг сонгоно уу. Тохируулахыг сонгоно уу. Дараа нь өмнө нь үүсгэсэн галын хоолойн нэрийг сонгоно уу. Дараа нь Үүрэг үүсгэх дээр дарж үүрэг үүсгэнэ үү. Одоо та AWS -д дүрээ амжилттай бүтээсэн.

Таны нийтэлсэн аливаа мессежийг Kinesis Firehose -ээр дамжуулан S3 хувин руу дамжуулах болно.

Firehose нь буфер бөглөх эсвэл буферийн интервалд хүрэх үед өгөгдлийг илгээдэг гэдгийг санаарай. Буферийн хамгийн бага интервал нь 60 сек байна.

Одоо бид төслийн хоёр дахь хэсэгт шилжиж болно. Энэ бол бидний өгөгдлийн урсгалын диаграм болно.

Алхам 3: AWS цавууг тохируулах

Бидэнд яагаад AWS Glue болон AWS Athena хэрэгтэй байна вэ?

S3 хувин дээр хадгалагдсан өгөгдлийг AWS Quicksight -ийн оролт болгон шууд ашиглах боломжгүй. Эхлээд бид өгөгдлийг хүснэгт хэлбэрээр байрлуулах хэрэгтэй. Үүний тулд бид дээрх хоёр үйлчилгээг ашигладаг.

AWS Glue руу очно уу. Хажуугийн хэрэгслийн мөр дээр Crawler -ийг сонгоно уу. Дараа нь Crawler нэмэх командыг сонгоно уу.

Эхний алхам дээр мөлхөгч танд нэр оруулна уу. Дараагийн дээр дарна уу. Дараагийн алхамд үүнийг анхдагч байдлаар үлдээнэ үү. Гурав дахь алхамд сонгосон S3 хувин руу орох замыг оруулна уу. Дараагийн цонхыг анхдагчаар үлдээнэ үү. Тав дахь цонхонд IAM -ийн үүргийг оруулна уу. Дараагийн алхамд үйлчилгээг ажиллуулах давтамжийг сонгоно уу.

Унтраах цонхонд захиалгаа сонгож, хамгийн бага хугацааг сонгохыг зөвлөж байна.

Дараагийн алхамд Өгөгдлийн сан нэмэх, дараа нь дарна уу. Finish дээр дарна уу.

Одоо бид Kinesis Firehose -ийг өөрсдийн бүтээсэн AWS цавуугаар нэгтгэх ёстой.

Бидний үүсгэсэн AWS Kinesis firehose руу очоод засварлах дээр дарна уу.

Бичлэгийн форматыг хөрвүүлэх хэсэг рүү доош гүйлгээд Enabled -ийг сонгоно уу.

Гаралтын форматыг Apache Parquet хэлбэрээр сонгоно уу. Үлдсэн дэлгэрэнгүй мэдээллийг өөрийн үүсгэсэн Glue мэдээллийн сангийн дэлгэрэнгүй мэдээллийг бөглөнө үү. Мэдээллийн санд хүснэгт үүсгэж, нэрийг энэ хэсэгт нэмж оруулах ёстой. Хадгалах дээр дарна уу.

Алхам 4: AWS Athena -ийг тохируулах

Өгөгдлийн сан болон үүсгэсэн өгөгдлийн хүснэгтийг сонгоно уу. Асуулгын хэсэгт энэ кодыг нэмж оруулах ёстой.

хүснэгтийн нэрийг таны үүсгэсэн Цавуу хүснэгтийн жинхэнэ нэрээр солих ёстой.

Run Query дээр дарна уу. Хэрэв энэ нь ажилладаг бол AWS S3 хувин дээр хадгалагдсан өгөгдлийг өгөгдлийн хүснэгт болгон харуулах ёстой.

Одоо бид олж авсан өгөгдлөө төсөөлөхөд бэлэн байна.

Алхам 5: QuickSight -ийг тохируулах

AWS Quicksight руу очно уу

Баруун дээд буланд байгаа Шинэ шинжилгээ дээр дараад Шинэ мэдээллийн сан дээр дарна уу.

Жагсаалтаас Афинаг сонгоно уу. Попап карт дээр ямар ч мэдээллийн эх үүсвэрийн нэрийг оруулна уу.

Унтраах цонх болон холбогдох хүснэгтээс Glue мэдээллийн баазыг сонгоно уу. Энэ нь таныг энэ хуудас руу хөтлөх болно.

Талбарын жагсаалтаас дурын талбарыг чирээд хаяж, харааны төрлийг сонгоно уу.

Одоо та MagicBit -ээсээ илгээсэн аливаа өгөгдлийг AWS үйлчилгээг ашиглан дүрслэн харах боломжтой боллоо !!!

Өгөгдлийг дүрслэн харуулахын тулд тус тусад нь S3 хувин руу хурдан нэвтрэх боломжийг олгохоо бүү мартаарай.