Pag-visualize ng Data Mula sa Magicbit sa AWS: 5 Mga Hakbang

2024 May -akda: John Day | [email protected]. Huling binago: 2024-01-30 13:10

Ang data na nakolekta mula sa mga sensor na konektado sa Magicbit ay mai-publish sa AWS IOT core sa pamamagitan ng MQTT upang maipakita nang graphic sa real time. Gumagamit kami ng magicbit bilang development board sa proyektong ito na batay sa ESP32. Samakatuwid ang anumang ESP32 development board ay maaaring magamit sa proyektong ito.

Mga Pantustos:

Magicbit

Hakbang 1: Kwento

Ang Project na ito ay tungkol sa pagkonekta ng iyong Magicbit device sa AWS Cloud sa pamamagitan ng MQTT. Ang data na ipinadala sa pamamagitan ng MQTT ay sinusuri at isinalarawan sa cloud gamit ang mga serbisyo ng AWS. Kaya't magsimula tayo

Una dapat kang pumunta sa AWS Console at mag-sign in. Para sa mga hangarin sa pag-aaral maaari mong gamitin ang opsyon sa libreng tier na inaalok ng AWS. Sapat na ito para sa proyektong ito.

Upang gawing mas simple ay hahatiin ko ang proyekto sa dalawang seksyon.

Ito ang magiging unang yugto ng aming proyekto. Sa pagtatapos ng unang yugto ng data ay maiimbak sa mga S3 na timba.

Ang mga serbisyo ng AWS na gagamitin sa unang seksyon,

• Kinesis Firehose
• AWS Pandikit
• AWS S3

Unang mag-navigate sa serbisyo ng AWS Kinesis.

Piliin ang Kinesis Data Firehose tulad ng ipinakita sa ibaba at i-click ang Lumikha

Pagkatapos ay ididirekta ka sa Hakbang 1 ng paglikha ng isang serbisyo ng Firehose. Magpasok ng isang pangalan ng stream ng paghahatid at pumili ng Direktang Ilagay o Iba Pang Mga Pinagmulan. Mag-click sa Susunod.

Sa Hakbang 2 window iwanang lahat bilang default at mag-click sa susunod. Matapos likhain ang AWS Glue Service babalik kami upang i-edit ang hakbang na ito.

Sa Hakbang 3 pumili ng isang S3 bucket kung nilikha mo ito dati. Kung hindi man i-click ang lumikha at lumikha ng isang bucket. Sa seksyon ng unlapi ng S3 gumamit ng dest / at sa error na pag-prefect ipasok ang error /. Maaari kang maglagay ng anumang pangalan para sa dalawang nasa itaas. Ngunit para sa kadalian ay magpapatuloy kami sa isang karaniwang pangalan. Siguraduhing lumikha ng isang folder na pinangalanang dest sa loob ng bucket na iyong pinili. Mag-click sa Susunod.

Sa Hakbang 4 piliin ang minimum na laki ng buffer at agwat ng buffer para sa paglipat ng data ng real time. Sa seksyon ng Pahintulot piliin ang Lumikha o mag-update ng IAM roleKinesisFirehoseServiceRole. Panatilihing default ang lahat. Mag-click sa susunod.

Sa susunod na seksyon ang isang pagsusuri ng mga pagbabagong iyong ginawa ay ipapakita. Mag-click sa OK. Pagkatapos ay magkakaroon ka ng gumaganang Kinesis Firehose.

Kung matagumpay mong nalikha ang serbisyo ng Firehose makakakuha ka ng katulad nito.

Hakbang 2: Pagsubok sa Firehose at S3 Bucket

Upang masubukan na ang firehose at S3 bucket ay gumagana nang maayos, piliin ang IOT core sa console. Madidirekta ka sa isang pahinang tulad nito. Piliin ang Panuntunan at lumikha ng isang panuntunan.

Ano ang panuntunan ng AWS IOT?

Ginagamit ito upang ipasa ang anumang data na natanggap mula sa MQTT sa isang partikular na serbisyo. Sa halimbawang ito ay isusulong namin ang Kinesis Firehose.

Pumili ng isang pangalan para sa Panuntunan. Iwanan ang Pahayag at Patakaran sa Query na ito ay totoo. Sinasabi nito sa amin na ang anumang nai-publish sa paksa ng iot / paksa ay ipapasa sa kinesis Firehose sa pamamagitan ng panuntunang ito.

Sa ilalim ng seksyon Itakda ang isa o higit pang mga pagkilos i-click ang magdagdag ng pagkilos. Piliin ang Magpadala ng mensahe sa Amazon Kinesis Firehose Stream. Piliin ang i-configure. Pagkatapos piliin ang pangalan ng firehose stream na nilikha kanina. Pagkatapos i-click ang Lumikha ng isang Tungkulin at lumikha ng isang papel. Ngayon ay matagumpay kang nakalikha ng isang papel sa AWS.

Anumang mensahe na nai-publish mo ay ipapasa sa pamamagitan ng Kinesis Firehose sa S3 na mga balde.

Tandaan na ang Firehose ay nagpapadala ng data kapag ang buffer nito ay napunan o kapag naabot ang agwat ng buffer. Ang minimum na agwat ng buffer ay 60 sec.

Maaari na kaming lumipat sa ikalawang bahagi ng proyekto. Ito ang magiging diagram ng aming dataflow.

Hakbang 3: Pag-configure ng AWS Glue

Bakit kailangan natin ng AWS Glue at AWS Athena?

Ang data na nakaimbak sa mga S3 bucket ay hindi maaaring direktang magamit bilang input sa AWS Quicksight. Una kailangan naming ayusin ang data sa anyo ng mga talahanayan. Para sa mga ito ginagamit namin ang nasa itaas ng dalawang mga serbisyo.

Pumunta sa AWS Glue. Piliin ang Crawler sa bar ng tool sa gilid. Pagkatapos piliin ang Magdagdag ng Crawler.

Sa unang hakbang magpasok ng isang pangalan para sa iyong crawler. Mag-click sa susunod. Sa susunod na hakbang iwanan ito bilang default. Sa pangatlong hakbang ipasok ang landas sa iyong napiling S3 bucket. Iwanan ang susunod na window bilang default. Sa ikalimang window ipasok ang anumang papel na ginagampanan ng IAM. Sa susunod na hakbang ay pinili ang dalas ng pagpapatakbo ng serbisyo.

Maipapayo na pumili ng pasadya sa drop down box at pumili ng isang minimum na oras.

Sa susunod na hakbang i-click ang Magdagdag ng Database at pagkatapos ay ang susunod. I-click ang Tapusin.

Ngayon ay dapat nating isama ang aming Kinesis Firehose sa AWS Glue na nilikha namin.

Pumunta sa AWS Kinesis firehose na nilikha namin at i-click ang i-edit.

Mag-scroll pababa sa seksyong I-convert ang Format ng Record at pinili ang Pinagana.

Pinili na format ng output bilang Apache Parquet. Para sa natitirang mga detalye punan ang mga detalye ng database ng Pandikit na iyong nilikha. Ang isang talahanayan ay dapat nilikha sa database at ang pangalan ay dapat idagdag sa seksyong ito. I-click ang I-save.

Hakbang 4: Pag-configure ng AWS Athena

Piliin ang database at ang talahanayan ng data na iyong nilikha. Sa seksyon ng query ang code na ito ay dapat idagdag.

ang pangalan ng talahanayan ay dapat mapalitan ng aktwal na pangalan ng talahanayan ng Pandikit na iyong nilikha.

I-click ang Run Query. Kung gumagana ito ang data na nakaimbak sa AWS S3 bucket ay dapat ipakita bilang isang talahanayan ng data.

Handa na kaming malarawan ang data na nakuha namin.

Hakbang 5: Pag-configure ng QuickSight

Mag-navigate sa AWS Quicksight

I-click ang Bagong Pagsusuri sa kanang sulok sa itaas at pagkatapos ay i-click ang Bagong Dataset.

Piliin ang Athena mula sa listahan. Ipasok ang anumang pangalan ng mapagkukunan ng Data sa pop up card.

Piliin ang database ng Pandikit mula sa drop down box at ang nauugnay na talahanayan. Ire-navigate ka nito sa pahinang ito.

I-drag at i-drop ang anumang patlang mula sa listahan ng patlang at pumili ng anumang uri ng visual.

Ngayon ay maaari mong mailarawan ang anumang data na ipinadala mula sa iyong MagicBit Paggamit ng mga serbisyo sa AWS !!!

Alalahanin na payagan ang pag-access para sa quicksight para sa kani-kanilang mga timba ng S3 upang mailarawan ang mga data sa kanila.