जेस्चर टू स्पीच/टेक्स्ट कन्वर्टिंग ग्लव्स: 5 स्टेप्स

2024 लेखक: John Day | [email protected]. अंतिम बार संशोधित: 2024-01-30 09:19

इस परियोजना को लागू करने के पीछे विचार / धक्का उन लोगों की मदद करना था, जिन्हें भाषण का उपयोग करने में कठिनाई होती है और हाथ के इशारों का उपयोग करके संवाद करने में कठिनाई होती है या अधिक लोकप्रिय अमेरिकी हस्ताक्षरित भाषा (एएसएल) के रूप में जाना जाता है। यह परियोजना इन लोगों को अन्य लोगों के साथ काम करने का अवसर प्रदान करने की दिशा में एक कदम हो सकता है, जो सांकेतिक भाषा को नहीं समझ सकते हैं, एक सहयोगी वातावरण में। साथ ही, यह परियोजना उन्हें वास्तविक मानव अनुवादक के उपयोग के बिना सार्वजनिक भाषण देने में सक्षम बनाएगी। शुरुआत के रूप में, मैं केवल कुछ आसान इशारों जैसे अक्षर ए, बी, आई, आदि का पता लगाने की कोशिश कर रहा था और कुछ इशारों को सामान्य शब्दों/अभिवादन जैसे 'हैलो', 'गुड मॉर्निंग', आदि के लिए भी सौंपा है।

चरण 1: सर्किट असेंबली

चरण 2: परियोजना विवरण

इस परियोजना में पहनने योग्य दस्ताना शामिल है जिसमें 4 फ्लेक्स सेंसर शामिल हैं जो दस्ताने में फंस गए/एम्बेडेड हैं - प्रत्येक छोटी, मध्यम, तर्जनी और अंगूठे के लिए एक। Arduino Uno R3 पर एनालॉग इनपुट पिन की उपलब्धता की सीमाओं के कारण और सामान्य रूप से संकेत भाषाओं में उंगली द्वारा प्रदर्शित स्वतंत्र आंदोलन की कमी के कारण फ्लेक्स सेंसर का उपयोग रिंग फिंगर के लिए नहीं किया गया था। एक MMA8452Q एक्सेलेरोमीटर का भी उपयोग किया जाता है जो हाथ के उन्मुखीकरण को मापने के लिए हथेली के पीछे की तरफ चिपका होता है। इन सेंसर से इनपुट का विश्लेषण किया जाता है और हावभाव को समझने के लिए उपयोग किया जाता है। एक बार इशारा महसूस हो जाने पर, संबंधित वर्ण/संदेश एक चर में सहेजा जाता है। ये वर्ण और संदेश तब तक मिलते रहते हैं जब तक कि एक निश्चित पूर्व-निर्धारित इशारा नहीं किया जाता है जो वाक्य के पूरा होने का संकेत देता है। एक बार उस विशेष इशारे का पता चलने के बाद, सहेजे गए वाक्य स्ट्रिंग को Arduino द्वारा USB केबल के माध्यम से रास्पबेरी पाई को भेज दिया जाता है। रास्पबेरी पाई तब प्राप्त स्ट्रिंग को पॉली नाम की अमेज़ॅन क्लाउड सेवा को पाठ प्रारूप में प्राप्त वाक्य को भाषण प्रारूप में परिवर्तित करने के लिए भेजता है और फिर प्राप्त भाषण को रास्पबेरी पाई से जुड़े स्पीकर पर ऑक्स केबल के माध्यम से स्ट्रीम करता है।

यह परियोजना केवल अवधारणा का प्रमाण थी और उपकरणों और योजना के बेहतर टुकड़ों के साथ और कई अन्य इशारों और हाथ की गतिविधियों का पता लगाने के लिए बेहतर कैलिब्रेटेड थी। वर्तमान में, इस परियोजना में केवल सीमित कार्यक्षमता को प्रोग्राम किया गया है जैसे कि मूल हावभाव का पता लगाने और पाठ से वाक् आउटपुट के लिए।

चरण 3: कोड

चरण 4: चरण

1. प्रदान किए गए सर्किट आरेख के अनुसार फ्लेक्स सेंसर और एक्सेलेरोमीटर MMA8452Q को Arduino से कनेक्ट करें।

2. Arduino पर प्रोग्राम Final_Project.ino (Arduino_code.zip फ़ाइल में पाया गया) को डंप करें।

3. Arduino को USB केबल की तुलना में Raspberry Pi से कनेक्ट करें। (केबल प्रकार ए / बी)।

4. रास्पबेरी पाई को पावर दें, रास्पबेरी पाई में रास्पबेरी_पीआई_कोड.ज़िप फ़ाइल की प्रतिलिपि बनाएँ, और इसे निकालें। स्पीकर को रास्पबेरी पाई से कनेक्ट करें।

5. अपने एडब्ल्यूएस अकाउंट क्रेडेंशियल्स यानी aws_access_key_id, aws_secret_access_key और aws_session_token को ~/.aws/credentials फ़ाइल में कॉपी करें। AWS क्लाउड के साथ संचार करने और AWS सेवाओं का उपयोग करने के लिए इस चरण की आवश्यकता है।

6. चरण 4 में निकाले गए फ़ोल्डर के अंदर पाया गया seria_test.py प्रोग्राम चलाएँ।

7. अब एक वाक्य बनाने के लिए इशारों को बनाएं और फिर विशेष इशारा करें (अपनी उंगलियों और हथेली को सीधा रखें और हथेली को आप से दूर रखते हुए एक पंक्ति में रखें, और फिर कलाई को नीचे की ओर मोड़ते हुए घुमाएं जैसे कि अब आपकी हथेली आपका सामना कर रहा है और आपकी उंगलियों की नोक आपके पैरों की ओर नीचे की ओर इशारा कर रही है।) वाक्य पूरा होने का संकेत देने के लिए।

8. उपयोगी जानकारी के लिए टर्मिनल को चेक करते रहें।

9. और स्पीकर पर स्ट्रीम किए जा रहे परिवर्तित भाषण को सुनें।

चरण 5: संदर्भ

1.

2.

3.

4.