Kuangalia data kutoka kwa Magicbit katika AWS: Hatua 5

2024 Mwandishi: John Day | [email protected]. Mwisho uliobadilishwa: 2024-01-30 12:48

Takwimu zilizokusanywa kutoka kwa sensorer zilizounganishwa na Magicbit zitachapishwa kwa msingi wa AWS IOT kupitia MQTT ili kuonyeshwa kwa picha kwa wakati halisi. Tunatumia magicbit kama bodi ya maendeleo katika mradi huu ambayo inategemea ESP32. Kwa hivyo bodi yoyote ya maendeleo ya ESP32 inaweza kutumika katika mradi huu.

Ugavi:

Uchawi

Hatua ya 1: Hadithi

Mradi huu ni kuhusu kuunganisha kifaa chako cha Magicbit kwenye Wingu la AWS kupitia MQTT. Takwimu zilizotumwa kupitia MQTT zinachambuliwa na kuonyeshwa kwenye wingu kwa kutumia huduma za AWS. Basi lets kuanza

Kwanza unapaswa kwenda kwenye Dashibodi ya AWS na uingie. Kwa madhumuni ya kujifunza unaweza kutumia chaguo la kiwango cha bure linalotolewa na AWS. Itatosha kwa mradi huu.

Ili kuifanya iwe rahisi zaidi nitagawanya mradi katika sehemu mbili.

Hii itakuwa hatua ya kwanza ya mradi wetu. Mwisho wa data ya hatua ya kwanza itahifadhiwa kwenye ndoo za S3.

Huduma za AWS ambazo zitatumika katika sehemu ya kwanza,

• Kinesis Firehose
• Gundi ya AWS
• AWS S3

Kwanza nenda kwenye huduma ya AWS Kinesis.

Chagua Kinesis Data Firehose kama inavyoonyeshwa hapa chini na bonyeza Unda

Kisha utaelekezwa kwa Hatua ya 1 ya kuunda huduma ya Firehose. Ingiza jina la mkondo wa uwasilishaji na uchague Kuweka Moja kwa Moja au Vyanzo Vingine. Bonyeza Ijayo.

Katika Hatua ya 2 dirisha acha kila kitu kama chaguomsingi na bonyeza ijayo. Baada ya kuunda Huduma ya Gundi ya AWS tutarudi kuhariri hatua hii.

Katika Hatua ya 3 chagua ndoo ya S3 ikiwa umeiunda hapo awali. Vinginevyo bonyeza kuunda na kuunda ndoo. Katika sehemu ya kiambishi awali cha S3 tumia dest / na katika kiambishi cha makosa ingiza kosa /. Unaweza kuingiza jina lolote kwa haya mawili hapo juu. Lakini kwa wepesi tutaendelea na jina la kawaida. Hakikisha kuunda folda inayoitwa dest ndani ya ndoo uliyochagua. Bonyeza Ijayo.

Katika Hatua ya 4 chagua kiwango cha chini cha bafa na muda wa bafa kwa uhamishaji wa data ya wakati halisi. Katika sehemu ya Ruhusa chagua Unda au usasishe jukumu la IAMKinesisFirehoseServiceRole. Weka kila kitu kiwe chaguomsingi. Bonyeza ijayo.

Katika sehemu inayofuata hakiki ya mabadiliko uliyofanya itaonyeshwa. Bonyeza OK. Basi utakuwa na Kinesis Firehose inayofanya kazi.

Ikiwa umefanikiwa kuunda huduma ya Firehose utapata kitu kama hiki.

Hatua ya 2: Kupima Firehose na S3 Ndoo

Ili kujaribu kuwa firehose na ndoo ya S3 inafanya kazi vizuri, chagua msingi wa IOT kwenye koni. Utaelekezwa kwenye ukurasa kama huu. Chagua Kanuni na uunda sheria.

Je! Sheria ya AWS IOT ni nini?

Inatumika kupeleka data yoyote iliyopokelewa kutoka MQTT kwenda kwa huduma fulani. Katika mfano huu tutasambaza kwa Kinesis Firehose.

Chagua jina la Kanuni. Acha Kanuni na Swala ya Swala ilivyo. Hii inatuambia kuwa chochote kilichochapishwa kwenye mada ya iot / mada kitapelekwa kwa kinesis Firehose kupitia sheria hii.

Chini ya sehemu Weka hatua moja au zaidi bonyeza kitendo cha kuongeza. Chagua Tuma ujumbe kwa mkondo wa Amazon Kinesis Firehose. Chagua usanidi. Kisha chagua jina la mkondo wa moto ulioundwa mapema. Kisha bonyeza Unda Jukumu na unda jukumu. Sasa umefanikiwa kuunda jukumu katika AWS.

Ujumbe wowote utakaochapisha utatumwa kupitia ndoo ya Kinesis kwa ndoo za S3.

Kumbuka Firehose hutuma data wakati bafa yake imejazwa au wakati muda wa bafa unapofikiwa. Kipindi cha chini cha bafa ni sekunde 60.

Sasa tunaweza kuhamia sehemu ya pili ya mradi huo. Hii itakuwa mchoro wetu wa dataflow.

Hatua ya 3: Kusanidi Gundi ya AWS

Kwa nini tunahitaji Gundi ya AWS na AWS Athena?

Takwimu zilizohifadhiwa kwenye ndoo za S3 haziwezi kutumiwa moja kwa moja kama pembejeo kwa AWS Quicksight. Kwanza tunahitaji kupanga data katika mfumo wa meza. Kwa hili tunatumia huduma mbili hapo juu.

Nenda kwa Gundi ya AWS. Chagua Kitambaa kwenye mwambaa zana wa kando. Kisha chagua Ongeza Kitambaa.

Katika hatua ya kwanza ingiza jina kwako mtambaji. Bonyeza ijayo. Katika hatua inayofuata acha kama chaguo-msingi. Katika hatua ya tatu ingiza njia ya ndoo uliyochagua S3. Acha dirisha linalofuata kama chaguo-msingi. Katika dirisha la tano ingiza jukumu lolote la IAM. Katika hatua inayofuata ilichagua masafa ya kuendesha huduma.

Inashauriwa kuchagua desturi kwenye kisanduku cha kushuka na uchague muda wa chini.

Katika hatua inayofuata bonyeza Ongeza Hifadhidata kisha ufuate. Bonyeza Maliza.

Sasa tunapaswa kuunganisha Kinesis Firehose yetu na Gundi ya AWS tuliyounda.

Nenda kwa AWS Kinesis firehose tuliyounda na bonyeza hariri.

Nenda chini hadi sehemu ya Badilisha Umbizo la Rekodi na uchague Imewezeshwa.

Chagua fomati ya pato kama Apache Parquet. Kwa habari zingine jaza maelezo ya hifadhidata ya Gundi uliyounda. Jedwali linapaswa kuundwa kwenye hifadhidata na jina linapaswa kuongezwa katika sehemu hii. Bonyeza Hifadhi.

Hatua ya 4: Kusanidi AWS Athena

Chagua hifadhidata na jedwali la data ulilounda. Katika sehemu ya swala nambari hii inapaswa kuongezwa.

jina la meza linapaswa kubadilishwa na jina halisi la jedwali la Gundi ulilounda.

Bonyeza Kuendesha Hoja. Ikiwa inafanya kazi data iliyohifadhiwa kwenye ndoo ya AWS S3 inapaswa kuonyeshwa kama jedwali la data.

Sasa tuko tayari kuibua data tuliyopata.

Hatua ya 5: Kusanidi QuickSight

Nenda kwa AWS Quicksight

Bonyeza Uchambuzi Mpya kwenye kona ya juu kulia kisha ubonyeze Hifadhidata mpya.

Chagua Athena kutoka kwenye orodha. Ingiza jina lolote la chanzo cha data kwenye kadi ya pop.

Chagua hifadhidata ya Gundi kutoka sanduku la kushuka na jedwali husika. Hii itakuelekeza kwenye ukurasa huu.

Buruta na uangushe uwanja wowote kutoka kwenye orodha ya uwanja na uchague aina yoyote ya kuona.

Sasa unaweza kuibua data yoyote iliyotumwa kutoka kwa MagicBit yako Kutumia huduma za AWS !!!

Kumbuka kuruhusu ufikiaji wa kuona haraka kwa ndoo husika za S3 ili kuibua data iliyo ndani yao.