दृष्टिबाधित लोगों की सहायता के लिए माइक्रोकंट्रोलर पर सोनार, लिडार और कंप्यूटर विजन का उपयोग करना: 16 कदम

2024 लेखक: John Day | [email protected]. अंतिम बार संशोधित: 2024-01-30 09:21

मैं एक बुद्धिमान 'बेंत' बनाना चाहता हूं जो मौजूदा समाधानों की तुलना में दृष्टिबाधित लोगों की बहुत अधिक मदद कर सके। बेंत सराउंड साउंड टाइप हेडफ़ोन में शोर करके सामने या किनारे की वस्तुओं के उपयोगकर्ता को सूचित करने में सक्षम होगा। बेंत में एक छोटा कैमरा और LIDAR (लाइट डिटेक्शन एंड रेंजिंग) भी होगा ताकि वह कमरे में वस्तुओं और लोगों को पहचान सके और हेडफ़ोन का उपयोग करके उपयोगकर्ता को सूचित कर सके। सुरक्षा कारणों से, हेडफ़ोन सभी शोर को अवरुद्ध नहीं करेगा क्योंकि इसमें एक माइक्रोफ़ोन होगा जो सभी अनावश्यक आवाज़ों को फ़िल्टर कर सकता है और कार हॉर्न और लोगों को बात कर सकता है। अंत में सिस्टम में एक जीपीएस होगा ताकि यह दिशा-निर्देश दे सके और उपयोगकर्ता को बता सके कि कहां जाना है।

कृपया मुझे माइक्रोकंट्रोलर और आउटडोर फिटनेस प्रतियोगिता में वोट करें!

चरण 1: परियोजना का अवलोकन

वर्ल्ड एक्सेस फॉर द ब्लाइंड के अनुसार, नेत्रहीन लोगों के लिए शारीरिक गतिविधि सबसे बड़ी चुनौतियों में से एक है। यात्रा करना या बस भीड़-भाड़ वाली सड़क पर चलना बहुत मुश्किल हो सकता है। परंपरागत रूप से एकमात्र समाधान आमतौर पर ज्ञात "सफेद बेंत" का उपयोग करना था जो मुख्य रूप से उपयोगकर्ता की निकटता में बाधाओं को मारकर परिवेश को स्कैन करने के लिए उपयोग किया जाता है। एक बेहतर समाधान एक उपकरण होगा जो बाधाओं के स्थान के बारे में जानकारी प्रदान करके दृष्टि सहायक को बदल सकता है ताकि अंधा व्यक्ति अज्ञात वातावरण में बाहर जा सके और सुरक्षित महसूस कर सके। इस परियोजना के दौरान, इन मानदंडों को पूरा करने वाला एक छोटा बैटरी चालित उपकरण विकसित किया गया था। डिवाइस सेंसर के माध्यम से वस्तु के आकार और स्थान का पता लगा सकता है जो उपयोगकर्ता के संबंध में वस्तुओं की स्थिति को मापता है, उस जानकारी को एक माइक्रोकंट्रोलर को रिले करता है, और फिर उपयोगकर्ता को जानकारी प्रदान करने के लिए इसे ऑडियो में परिवर्तित करता है। डिवाइस को उपलब्ध वाणिज्यिक LIDAR (लाइट डिटेक्शन एंड रेंजिंग), सोनार (साउंड नेविगेशन एंड रेंजिंग), और माइक्रोकंट्रोलर से जुड़ी कंप्यूटर विज़न तकनीकों का उपयोग करके बनाया गया था और ईयरबड्स या हेडफ़ोन का उपयोग करके आवश्यक श्रव्य सूचना आउटपुट प्रदान करने के लिए प्रोग्राम किया गया था। उपयोगकर्ता की स्थिति को दूसरों को इंगित करने और अतिरिक्त सुरक्षा प्रदान करने के लिए पहचान तकनीक को "सफेद बेंत" के भीतर एम्बेड किया गया था।

चरण 2: पृष्ठभूमि अनुसंधान

2017 में, विश्व स्वास्थ्य संगठन ने बताया कि दुनिया भर में 285 मिलियन नेत्रहीन लोग थे, जिनमें से 39 मिलियन पूरी तरह से अंधे हैं। अधिकांश लोग उन मुद्दों के बारे में नहीं सोचते हैं जिनका सामना दृष्टिबाधित लोग प्रतिदिन करते हैं। वर्ल्ड एक्सेस फॉर द ब्लाइंड के अनुसार, नेत्रहीन लोगों के लिए शारीरिक गतिविधि सबसे बड़ी चुनौतियों में से एक है। यात्रा करना या बस भीड़-भाड़ वाली सड़क पर चलना बहुत मुश्किल हो सकता है। इस वजह से, बहुत से लोग जो दृष्टिबाधित हैं, नए वातावरण में नेविगेट करने में मदद करने के लिए एक दृष्टिहीन दोस्त या परिवार के सदस्य को लाना पसंद करते हैं। परंपरागत रूप से एकमात्र समाधान आमतौर पर ज्ञात "सफेद बेंत" का उपयोग करना था जो मुख्य रूप से उपयोगकर्ता की निकटता में बाधाओं को मारकर परिवेश को स्कैन करने के लिए उपयोग किया जाता है। एक बेहतर समाधान एक उपकरण होगा जो बाधाओं के स्थान के बारे में जानकारी प्रदान करके दृष्टि सहायक को बदल सकता है ताकि अंधा व्यक्ति अज्ञात वातावरण में बाहर जा सके और सुरक्षित महसूस कर सके। आईबीएम और कार्नेगी मेलॉन यूनिवर्सिटी के बीच एक सहयोग नेवकॉग ने मार्गदर्शन में सहायता के लिए ब्लूटूथ बीकन और स्मार्टफोन का उपयोग करने वाली प्रणाली बनाकर समस्या को हल करने का प्रयास किया है। हालांकि, समाधान बोझिल था और बड़े पैमाने पर कार्यान्वयन के लिए बहुत महंगा साबित हुआ। मेरा समाधान बाहरी उपकरणों की किसी भी आवश्यकता को समाप्त करके और पूरे दिन उपयोगकर्ता का मार्गदर्शन करने के लिए एक आवाज का उपयोग करके इसे संबोधित करता है (चित्र 3)। प्रौद्योगिकी को "सफेद बेंत" के भीतर एम्बेड करने का लाभ यह है कि यह शेष दुनिया को उपयोगकर्ता की स्थिति के बारे में संकेत देता है जो आसपास के लोगों के व्यवहार में बदलाव का कारण बनता है।

चरण 3: डिजाइन आवश्यकताएँ

उपलब्ध तकनीकों पर शोध करने के बाद, मैंने दृष्टिहीन पेशेवरों के साथ अपने पर्यावरण को नेविगेट करने में मदद करने के सर्वोत्तम दृष्टिकोण पर दृष्टि पेशेवरों के साथ संभावित समाधानों पर चर्चा की। नीचे दी गई तालिका सबसे महत्वपूर्ण विशेषताओं को सूचीबद्ध करती है जो किसी व्यक्ति को मेरे उपकरण में संक्रमण के लिए आवश्यक है।

फ़ीचर - विवरण:

• संगणना - सिस्टम को उपयोगकर्ता और सेंसर के बीच सूचनाओं के आदान-प्रदान के लिए तेजी से प्रसंस्करण प्रदान करने की आवश्यकता है। उदाहरण के लिए, सिस्टम को कम से कम 2 मीटर दूर सामने आने वाली बाधाओं के बारे में उपयोगकर्ता को सूचित करने में सक्षम होना चाहिए।
• कवरेज - दृष्टिबाधित लोगों के जीवन की गुणवत्ता में सुधार के लिए सिस्टम को घर के अंदर और बाहर अपनी सेवाएं प्रदान करने की आवश्यकता है।
• समय - सिस्टम को दिन के समय के साथ-साथ रात के समय भी अच्छा प्रदर्शन करना चाहिए।
• रेंज - रेंज सिस्टम द्वारा पता लगाए जाने वाले उपयोगकर्ता और ऑब्जेक्ट के बीच की दूरी है। आदर्श न्यूनतम सीमा 0.5 मीटर है, जबकि अधिकतम सीमा 5 मीटर से अधिक होनी चाहिए। आगे की दूरी और भी बेहतर होगी लेकिन गणना करना अधिक चुनौतीपूर्ण होगा।
• वस्तु का प्रकार - सिस्टम को वस्तुओं की अचानक उपस्थिति का पता लगाना चाहिए। सिस्टम को चलती वस्तुओं और स्थिर वस्तुओं के बीच अंतर बताने में सक्षम होना चाहिए।

चरण 4: इंजीनियरिंग डिजाइन और उपकरण चयन

कई अलग-अलग घटकों को देखने के बाद, मैंने नीचे दी गई विभिन्न श्रेणियों में से चयनित भागों पर निर्णय लिया।

चयनित भागों की कीमत:

• जंगल पैंथर: $149.99
• LiDAR लाइट V3: $149.99
• LV-MaxSonar-EZ1: $29.95
• अल्ट्रासोनिक सेंसर - HC-SR04: $3.95
• रास्पबेरी पाई 3: $39.95
• अरुडिनो: $24.95
• किनेक्ट: $32.44
• फ्लोरियन 11.1v 3s 1500mAh: $19.99
• LM2596HV: $9.64

चरण 5: उपकरण चयन: बातचीत की विधि

मैंने डिवाइस के साथ बातचीत करने की विधि के रूप में आवाज नियंत्रण का उपयोग करने का फैसला किया क्योंकि एक बेंत पर कई बटन होने से दृष्टिबाधित व्यक्ति के लिए चुनौतीपूर्ण हो सकता है, खासकर अगर कुछ कार्यों में बटनों के संयोजन की आवश्यकता होती है। आवाज नियंत्रण के साथ, उपयोगकर्ता बेंत के साथ संचार करने के लिए प्रीसेट कमांड का उपयोग कर सकता है जो संभावित त्रुटियों को कम करता है।

डिवाइस: पेशेवरों --- विपक्ष:

• बटन: दायां बटन दबाए जाने पर कमांड की कोई त्रुटि नहीं --- सही बटन दबाए जाने को सुनिश्चित करना चुनौतीपूर्ण हो सकता है
• आवाज नियंत्रण: आसान है क्योंकि उपयोगकर्ता प्रीसेट कमांड का उपयोग कर सकता है --- गलत उच्चारण त्रुटियों को प्रेरित कर सकता है

चरण 6: उपकरण चयन: माइक्रोकंट्रोलर

इसकी कम लागत और गहराई के नक्शे की गणना करने के लिए पर्याप्त प्रसंस्करण शक्ति के कारण डिवाइस ने रास्पबेरी पाई का उपयोग किया। इंटेल जूल पसंदीदा विकल्प होता लेकिन इसकी कीमत सिस्टम की लागत को दोगुना कर देती जो कि आदर्श नहीं होगा यह डिवाइस जो उपयोगकर्ताओं के लिए कम लागत विकल्प प्रदान करने के लिए विकसित किया गया है। सिस्टम में arduino का उपयोग किया गया था क्योंकि यह सेंसर से आसानी से जानकारी प्राप्त कर सकता है। बीगलबोन और इंटेल एडिसन का उपयोग कम कीमत से प्रदर्शन अनुपात के कारण नहीं किया गया था जो इस कम लागत प्रणाली के लिए खराब है।

माइक्रोकंट्रोलर: पेशेवरों --- विपक्ष:

• रास्पबेरी पाई: बाधाओं को खोजने के लिए पर्याप्त प्रसंस्करण शक्ति है और इसमें वाईफाई/ब्लूटूथ एकीकृत है --- सेंसर से डेटा प्राप्त करने के लिए कई विकल्प नहीं हैं
• Arduino: छोटे सेंसर से आसानी से डेटा प्राप्त करें। अर्थात। LIDAR, अल्ट्रासोनिक, सोनार, आदि --- बाधाओं को खोजने के लिए पर्याप्त प्रसंस्करण शक्ति नहीं है
• इंटेल एडिसन: तेज प्रोसेसर के साथ बाधाओं को जल्दी से संसाधित कर सकता है --- सिस्टम के लिए कार्य करने के लिए अतिरिक्त डेवलपर टुकड़ों की आवश्यकता होती है
• इंटेल जूल: उपभोक्ता बाजार पर आज तक किसी भी माइक्रोकंट्रोलर की प्रसंस्करण गति दोगुनी है --- इस प्रणाली के लिए बहुत अधिक लागत और सेंसर इंटरैक्शन के लिए जीपीआईओ के साथ बातचीत करना मुश्किल है
• बीगलबोन ब्लैक: सामान्य प्रयोजन इनपुट आउटपुट (जीपीआईओ) का उपयोग करके परियोजना में उपयोग किए गए सेंसर के साथ कॉम्पैक्ट और संगत --- वस्तुओं को प्रभावी ढंग से खोजने के लिए पर्याप्त प्रसंस्करण शक्ति नहीं है

चरण 7: उपकरण चयन: सेंसर

उच्च स्थान सटीकता प्राप्त करने के लिए कई सेंसरों के संयोजन का उपयोग किया जाता है। एक समय में बाधाओं के लिए स्कैन कर सकने वाले क्षेत्र की मात्रा के कारण किनेक्ट मुख्य सेंसर है। LIDAR जो कि लाइट डिटेक्शन एंड रेंजिंग के लिए खड़ा है, एक रिमोट सेंसिंग विधि है जो एक स्पंदित लेजर के रूप में प्रकाश का उपयोग उस दूरी को मापने के लिए करती है जहां से सेंसर तेजी से वस्तुओं तक है; उस सेंसर का उपयोग किया जाता है क्योंकि यह ४० मीटर (m) दूर के क्षेत्र को ट्रैक कर सकता है और चूंकि यह विभिन्न कोणों पर स्कैन कर सकता है, यह पता लगा सकता है कि कोई कदम ऊपर या नीचे जा रहा है या नहीं। ध्वनि नेविगेशन और रेंजिंग (सोनार) और अल्ट्रासोनिक सेंसर का उपयोग बैकअप ट्रैकिंग के रूप में किया जाता है, जब किनेक्ट जमीन में एक पोल या टक्कर से चूक जाता है जो उपयोगकर्ता के लिए खतरा पैदा करता है। फ्रीडम सेंसर की 9 डिग्री का उपयोग यह ट्रैक करने के लिए किया जाता है कि उपयोगकर्ता किस दिशा का सामना कर रहा है ताकि डिवाइस अगली बार उसी स्थान पर चलने पर उच्च सटीकता के लिए जानकारी संग्रहीत कर सके।

सेंसर: पेशेवरों --- विपक्ष:

• Kinect V1: 3D वस्तुओं को ट्रैक कर सकता है --- परिवेश का पता लगाने के लिए केवल एक कैमरा
• Kinect V2: इसमें 3 इन्फ्रारेड कैमरे हैं और उच्च परिशुद्धता 3D ऑब्जेक्ट डिटेक्शन के लिए एक लाल, हरा, नीला, गहराई (RGB-D) कैमरा है --- गर्म हो सकता है और शीतलन प्रशंसक की आवश्यकता हो सकती है, और अन्य सेंसर से बड़ा है
• लिडार: बीम जो 40 मीटर दूर तक के स्थानों को ट्रैक कर सकता है --- वस्तु की ओर स्थित होने की आवश्यकता है और केवल उस दिशा में देख सकता है
• सोनार: बीम जो 5 मीटर दूर लेकिन दूर तक ट्रैक कर सकती है --- पंख जैसी छोटी वस्तुएं सेंसर को ट्रिगर कर सकती हैं
• अल्ट्रासोनिक: इसकी सीमा 3 मीटर तक है और यह बहुत सस्ती है --- दूरियां कभी-कभी गलत हो सकती हैं
• फ्रीडम सेंसर की 9 डिग्री: सेंसिंग ओरिएंटेशन और यूजर की गति के लिए अच्छा --- अगर कुछ भी सेंसर के साथ हस्तक्षेप करता है, तो दूरी की गणना गलत तरीके से की जा सकती है

चरण 8: उपकरण चयन: सॉफ्टवेयर

Kinect V1 सेंसर के साथ निर्मित पहले कुछ प्रोटोटाइप के लिए चयनित सॉफ़्टवेयर फ़्रीनेक्ट था लेकिन यह बहुत सटीक नहीं था। Kinect V2 और Freenect2 पर स्विच करते समय, बेहतर ट्रैकिंग के कारण ट्रैकिंग परिणामों में काफी सुधार हुआ क्योंकि V2 में एक HD कैमरा और 3 इन्फ्रारेड कैमरे हैं, जबकि Kinect V1 पर एक कैमरा नहीं है। जब मैं Kinect V1 के साथ OpenNi2 का उपयोग कर रहा था, तो कार्य सीमित थे और मैं डिवाइस के कुछ कार्यों को नियंत्रित नहीं कर सकता था।

सॉफ्टवेयर: पेशेवरों --- विपक्ष:

• फ़्रीनेक्ट: सब कुछ नियंत्रित करने के लिए निम्न स्तर का नियंत्रण है --- केवल किनेक्ट V1. का समर्थन करता है
• OpenNi2: Kinect से सूचना स्ट्रीम से आसानी से पॉइंट क्लाउड डेटा बना सकता है --- केवल Kinect V1 का समर्थन करता है और निम्न स्तर के नियंत्रण के लिए समर्थन नहीं करता है
• Freenect2: सेंसर बार के लिए निम्न स्तर का नियंत्रण है --- केवल Kinect V2. के लिए काम करता है
• आरओएस: ऑपरेटिंग सिस्टम प्रोग्रामिंग कैमरा फ़ंक्शंस के लिए आदर्श --- एक तेज़ एसडी कार्ड पर स्थापित करने की आवश्यकता है ताकि सॉफ्टवेयर काम करे

चरण 9: उपकरण चयन: अन्य भाग

लिथियम आयन बैटरी को हल्का होने, उच्च शक्ति क्षमता होने और रिचार्जेबल होने के कारण चुना गया था। लिथियम आयन बैटरी के 18650 संस्करण में एक बेलनाकार आकार होता है और यह बेंत के प्रोटोटाइप में पूरी तरह से फिट बैठता है। पहला प्रोटोटाइप गन्ना पीवीसी पाइप से बना है क्योंकि यह खोखला है और बेंत के वजन को कम करता है।

चरण 10: सिस्टम विकास: हार्डवेयर भाग 1 बनाना

सबसे पहले हमें Kinect को हल्का करने के लिए अलग करना होगा ताकि वह बेंत के अंदर फिट हो जाए। मैंने किनेक्ट से बाहरी आवरण को हटाकर शुरू किया क्योंकि इस्तेमाल किए गए प्लास्टिक का वजन बहुत अधिक होता है। फिर मुझे केबल काटनी पड़ी ताकि आधार को हटाया जा सके। मैंने चित्र में दिखाए गए कनेक्टर से तारों को लिया और उन्हें सिग्नल तारों के साथ एक यूएसबी केबल में मिला दिया और अन्य दो कनेक्शन 12 वी इनपुट पावर के लिए थे। चूंकि मैं चाहता था कि बेंत के अंदर का पंखा अन्य सभी घटकों को ठंडा करने के लिए पूरी शक्ति से चल रहा हो, इसलिए मैंने किनेक्ट से पंखे से कनेक्टर को काट दिया और रास्पबेरी पाई से 5V तार कर दिया। मैंने LiDAR तार के लिए एक छोटा एडेप्टर भी बनाया ताकि वह बीच में किसी अन्य सिस्टम के बिना सीधे रास्पबेरी पाई से जुड़ सके।

मैंने गलती से सफेद तार को काले रंग में मिला दिया, इसलिए वायरिंग आरेखों के लिए छवियों को न देखें।

चरण 11: सिस्टम विकास: हार्डवेयर भाग 2 बनाना

मैंने उन सभी उपकरणों को शक्ति प्रदान करने के लिए एक नियामक टुकड़ा बनाया, जिन्हें रास्पबेरी पाई की तरह 5V की आवश्यकता होती है। मैंने आउटपुट पर मीटर लगाकर और रेसिस्टर को एडजस्ट करके रेगुलेटर को ट्यून किया ताकि रेगुलेटर 5.05V प्रदान करे। मैंने इसे 5V से थोड़ा अधिक रखा क्योंकि समय के साथ, बैटरी वोल्टेज कम हो जाता है और आउटपुट वोल्टेज को थोड़ा प्रभावित करता है। मैंने एक एडॉप्टर भी बनाया है जो मुझे 5 डिवाइस तक पावर देने की अनुमति देता है जिन्हें बैटरी से 12V की आवश्यकता होती है।

चरण 12: सिस्टम डेवलपमेंट: सिस्टम पार्ट 1 प्रोग्रामिंग करना

इस प्रणाली के सबसे चुनौतीपूर्ण भागों में से एक प्रोग्रामिंग है। जब मैंने पहली बार इसके साथ खेलने के लिए किनेक्ट प्राप्त किया था, तो मैंने आरटीएबी मैप नामक एक प्रोग्राम स्थापित किया जो किनेक्ट से डेटा स्ट्रीम लेता है और इसे एक बिंदु क्लाउड में परिवर्तित करता है। बिंदु बादल के साथ, इसने एक 3D छवि बनाई जिसे घुमाया जा सकता है ताकि सभी ऑब्जेक्ट कहां हैं इसकी गहराई देखें। थोड़ी देर के लिए इसके साथ खेलने और सभी सेटिंग्स को समायोजित करने के बाद, मैंने रास्पबेरी पाई पर कुछ सॉफ्टवेयर स्थापित करने का फैसला किया ताकि मुझे किनेक्ट से डेटा स्ट्रीम देखने की अनुमति मिल सके। ऊपर दी गई अंतिम दो छवियां दिखाती हैं कि रास्पबेरी पाई लगभग 15-20 फ्रेम प्रति सेकंड की दर से क्या उत्पादन कर सकती है।