एडब्ल्यूएस में मैजिकबिट से डेटा विज़ुअलाइज़ करना: 5 चरण

2024 लेखक: John Day | [email protected]. अंतिम बार संशोधित: 2024-01-30 09:18

मैजिकबिट से जुड़े सेंसर से एकत्र किए गए डेटा को वास्तविक समय में ग्राफिक रूप से देखने के लिए MQTT के माध्यम से AWS IOT कोर में प्रकाशित किया जाएगा। हम इस परियोजना में विकास बोर्ड के रूप में मैजिकबिट का उपयोग कर रहे हैं जो ईएसपी 32 पर आधारित है। इसलिए इस परियोजना में किसी भी ESP32 विकास बोर्ड का उपयोग किया जा सकता है।

आपूर्ति:

मैजिकबिट

चरण 1: कहानी

यह प्रोजेक्ट आपके मैजिकबिट डिवाइस को MQTT के माध्यम से AWS क्लाउड से जोड़ने के बारे में है। MQTT के माध्यम से भेजे गए डेटा का विश्लेषण किया जाता है और AWS सेवाओं का उपयोग करके क्लाउड में इसकी कल्पना की जाती है। तो चलो शुरू हो जाओ

सबसे पहले आपको AWS कंसोल में जाना चाहिए और साइन इन करना चाहिए। सीखने के उद्देश्यों के लिए आप AWS द्वारा दिए गए फ्री टियर विकल्प का उपयोग कर सकते हैं। यह इस परियोजना के लिए पर्याप्त होगा।

इसे सरल बनाने के लिए मैं परियोजना को दो खंडों में विभाजित करूँगा।

यह हमारे प्रोजेक्ट का पहला चरण होने जा रहा है। पहले चरण के अंत में डेटा S3 बकेट में संग्रहीत किया जाएगा।

पहले खंड में उपयोग की जाने वाली AWS सेवाएँ,

• किनेसिस फायरहोज
• एडब्ल्यूएस गोंद
• एडब्ल्यूएस S3

सबसे पहले AWS Kinesis सर्विस पर जाएँ।

नीचे दिखाए अनुसार Kinesis Data Firehose चुनें और Create पर क्लिक करें।

फिर आपको फायरहोज सेवा बनाने के चरण 1 के लिए निर्देशित किया जाएगा। एक डिलीवरी स्ट्रीम नाम इनपुट करें और डायरेक्ट पुट या अन्य स्रोत चुनें। अगला पर क्लिक करें।

चरण 2 विंडो में सब कुछ डिफ़ॉल्ट के रूप में छोड़ दें और अगला क्लिक करें। एडब्ल्यूएस गोंद सेवा बनाने के बाद हम इस चरण को संपादित करने के लिए वापस आएंगे।

चरण 3 में एक S3 बाल्टी चुनें यदि आपने इसे पहले बनाया है। अन्यथा बकेट बनाएं और बनाएं पर क्लिक करें। S3 उपसर्ग अनुभाग में dest/ का उपयोग करें और त्रुटि उपसर्ग में error/ दर्ज करें। आप उपरोक्त दोनों के लिए कोई भी नाम दर्ज कर सकते हैं। लेकिन आसानी के लिए हम एक सामान्य नाम के साथ जारी रखेंगे। आपके द्वारा चुनी गई बकेट के अंदर डेस्ट नाम का फोल्डर बनाना सुनिश्चित करें। अगला पर क्लिक करें।

चरण 4 में रीयल टाइम डेटा ट्रांसफर के लिए न्यूनतम बफर आकार और बफर अंतराल चुनें। अनुमति अनुभाग में IAM roleKinesisFirehoseServiceRole बनाएं या अपडेट करें चुनें। सब कुछ डिफ़ॉल्ट रखें। अगला पर क्लिक करें।

अगले भाग में आपके द्वारा किए गए परिवर्तनों की समीक्षा दिखाई जाएगी। ओके पर क्लिक करें। तब आपके पास एक कार्यशील Kinesis Firehose होगा।

यदि आपने सफलतापूर्वक फ़ायरहोज़ सेवा बनाई है तो आपको कुछ इस तरह प्राप्त होगा।

चरण 2: फायरहोज और S3 बाल्टी का परीक्षण

यह जांचने के लिए कि फायरहोज और S3 बाल्टी ठीक से काम कर रही है, कंसोल में IOT कोर चुनें। आपको इस तरह के पेज पर निर्देशित किया जाएगा। नियम चुनें और नियम बनाएं।

एडब्ल्यूएस आईओटी नियम क्या है?

इसका उपयोग MQTT से प्राप्त किसी भी डेटा को किसी विशेष सेवा में अग्रेषित करने के लिए किया जाता है। इस उदाहरण में हम Kinesis Firehose को अग्रेषित करेंगे।

नियम के लिए एक नाम चुनें। नियम और क्वेरी स्टेटमेंट को वैसे ही छोड़ दें। यह हमें बताता है कि आईओटी/विषय विषय पर प्रकाशित कुछ भी इस नियम के माध्यम से किनेसिस फायरहोज को अग्रेषित किया जाएगा।

अनुभाग के अंतर्गत एक या अधिक क्रियाएँ सेट करें क्रिया जोड़ें पर क्लिक करें। Amazon Kinesis Firehose Stream को संदेश भेजें चुनें। कॉन्फ़िगर करें चुनें। फिर पहले बनाए गए फायरहोज स्ट्रीम के नाम का चयन करें। फिर एक भूमिका बनाएँ पर क्लिक करें और एक भूमिका बनाएँ। अब आपने सफलतापूर्वक AWS में एक भूमिका बना ली है।

आपके द्वारा प्रकाशित कोई भी संदेश Kinesis Firehose के माध्यम से S3 बकेट में अग्रेषित किया जाएगा।

ध्यान रखें कि फ़ायरहोज़ डेटा भेजता है जब उसका बफर भर जाता है या जब बफर अंतराल पहुंच जाता है। न्यूनतम बफर अंतराल 60 सेकंड है।

अब हम परियोजना के दूसरे भाग की ओर बढ़ सकते हैं। यह हमारा डेटाफ्लो डायग्राम होगा।

चरण 3: एडब्ल्यूएस गोंद को कॉन्फ़िगर करना

हमें एडब्ल्यूएस गोंद और एडब्ल्यूएस एथेना की आवश्यकता क्यों है?

S3 बकेट में संग्रहीत डेटा को सीधे AWS क्विकसाइट के इनपुट के रूप में उपयोग नहीं किया जा सकता है। सबसे पहले हमें डेटा को तालिकाओं के रूप में व्यवस्थित करने की आवश्यकता है। इसके लिए हम उपरोक्त दो सेवाओं का उपयोग करते हैं।

एडब्ल्यूएस गोंद पर जाएं। साइड टूल बार पर क्रॉलर चुनें। फिर क्रॉलर जोड़ें चुनें।

पहले चरण में क्रॉलर के लिए एक नाम दर्ज करें। अगला पर क्लिक करें। अगले चरण में इसे डिफ़ॉल्ट के रूप में छोड़ दें। तीसरे चरण में अपने चुने हुए S3 बकेट का पथ दर्ज करें। अगली विंडो को डिफ़ॉल्ट के रूप में छोड़ दें। पाँचवीं विंडो में कोई भी IAM भूमिका दर्ज करें। अगले चरण में सेवा चलाने की आवृत्ति को चुना।

यह सलाह दी जाती है कि ड्रॉप डाउन बॉक्स में कस्टम का चयन करें और न्यूनतम समय चुनें।

अगले चरण में डेटाबेस जोड़ें और फिर अगला क्लिक करें। समाप्त क्लिक करें।

अब हमें अपने Kinesis Firehose को हमारे द्वारा बनाए गए AWS Glue के साथ एकीकृत करना चाहिए।

हमारे द्वारा बनाए गए AWS Kinesis फ़ायरहोज़ पर जाएँ और संपादित करें पर क्लिक करें।

कन्वर्ट रिकॉर्ड फॉर्मेट सेक्शन तक स्क्रॉल करें और इनेबल को चुनें।

Apache Parquet के रूप में आउटपुट स्वरूप चुनें। बाकी विवरण के लिए आपके द्वारा बनाए गए ग्लू डेटाबेस का विवरण भरें। डेटाबेस में एक तालिका बनाई जानी चाहिए और इस खंड में नाम जोड़ा जाना चाहिए। सहेजें क्लिक करें.

चरण 4: एडब्ल्यूएस एथेना को कॉन्फ़िगर करना

डेटाबेस और आपके द्वारा बनाई गई डेटा तालिका चुनें। क्वेरी सेक्शन में यह कोड जोड़ा जाना चाहिए।

तालिका-नाम को आपके द्वारा बनाई गई गोंद तालिका के वास्तविक नाम से बदला जाना चाहिए।

क्वेरी चलाएँ क्लिक करें। यदि यह काम करता है तो AWS S3 बकेट में संग्रहीत डेटा को डेटा की तालिका के रूप में प्रदर्शित किया जाना चाहिए।

अब हम प्राप्त आंकड़ों की कल्पना करने के लिए तैयार हैं।

चरण 5: क्विकसाइट को कॉन्फ़िगर करना

एडब्ल्यूएस क्विकसाइट पर नेविगेट करें

शीर्ष दाएं कोने पर नया विश्लेषण क्लिक करें और फिर नया डेटासेट क्लिक करें।

सूची से एथेना चुनें। पॉप अप कार्ड पर कोई भी डेटा स्रोत नाम दर्ज करें।

ड्रॉप डाउन बॉक्स और संबंधित तालिका से ग्लू डेटाबेस का चयन करें। यह आपको इस पेज पर नेविगेट करेगा।

फ़ील्ड सूची से किसी भी फ़ील्ड को खींचें और छोड़ें और किसी भी दृश्य प्रकार का चयन करें।

अब आप AWS सेवाओं का उपयोग करके अपने MagicBit से भेजे गए किसी भी डेटा की कल्पना कर सकते हैं !!!

उनमें डेटा की कल्पना करने के लिए संबंधित S3 बकेट के लिए त्वरित दृष्टि तक पहुंच की अनुमति देना याद रखें।