सिनेस्थेसिया प्लेयर पियानो: 4 कदम

2024 लेखक: John Day | [email protected]. अंतिम बार संशोधित: 2024-01-30 09:19

यह खिलाड़ी पियानो एक रंग के पहिये और एक कैमरे का उपयोग करके संगीत बजाता है! छवियों को कैमरे द्वारा कैप्चर किया जाता है, संसाधित किया जाता है, और संगीत नोट्स के रूप में व्याख्या की जाती है। अभी इसे नर्सरी राइम चलाने के लिए प्रोग्राम किया गया है जिसे एक नया आर्डिनो स्केच अपलोड करके बदला जा सकता है जो निर्दिष्ट करता है कि कौन से नोट्स बजाए जाने चाहिए (कैमरे को कौन से रंग दिखाए जाने चाहिए)।

ऑनबोर्ड लिनक्स पीसी बूटअप पर एक सेवा शुरू करता है जो कैमरे के साथ एक तस्वीर लेता है, छवि में आरजीबी मूल्यों के एक फ़ंक्शन की गणना करता है, और फ़ंक्शन के रिटर्न वैल्यू के आधार पर ध्वनि आउटपुट करता है। ध्वनि बजाने से पहले यह एक अरुडिनो को एक सर्वो को घुमाने के लिए एक संकेत भेजता है, जो अगले नोट के अनुरूप रंग प्रस्तुत करता है। फिर लूप फिर से शुरू होता है, एक तस्वीर ली जाती है, रंग का पहिया घुमाया जाता है, और एक ध्वनि को एड इनफिनिटम बजाया जाता है।

यह प्रोजेक्ट संगीत, आधुनिक लिनक्स सिस्टम प्रोग्रामिंग, माइक्रो-कंट्रोलर प्रोग्रामिंग, इंकस्केप डूडलिंग, लेजर कटिंग और कुछ जंक कार्डबोर्ड बॉक्स को फिर से तैयार करने का एक मजेदार तरीका है।

सभी कोड और इंकस्केप एसवीजी जीथब पर यहां उपलब्ध हैं:

github.com/melvyniandrag/pyMusic

उपयोग किया गया सामन:

1. खाली सफेद लेबल
2. गत्ते के डिब्बे का बक्सा
3. वेबकैम
4. क्रेयॉन
5. अरुडिनो
6. बीगलबोर्ड-एक्सएम
7. तारों
8. सीरियल केबल
9. इमेज प्रोसेसिंग और संगीत का बुनियादी ज्ञान

चरण 1: कंप्यूटर सामग्री

ऑन-बोर्ड आपको रास्पबेरी पाई जैसे छोटे लिनक्स-सक्षम कंप्यूटर की आवश्यकता होगी। मैंने पुराने बीगलबोर्ड-एक्सएम का इस्तेमाल किया क्योंकि मेरे पास यह चारों ओर बिछा हुआ था और मेरे पास पहले से ही एसडी कार्ड पर एक ऑपरेटिंग सिस्टम था। आप किसी भी चीज़ का उपयोग कर सकते हैं, जब तक कि यह एक वेबकैम को संभाल सकता है, OpenCV चला सकता है (कलर व्हील की छवियों को लेने और संसाधित करने के लिए उपयोग किया जाने वाला कंप्यूटर विज़न लाइब्रेरी), और एक ऑडियो आउट जैक है।

मैंने अजगर कोड को चलाने के लिए ऑपरेटिंग सिस्टम की स्थापना की जो एक सिस्टमड ट्यूटोरियल के बाद बूटअप पर छवियों को कैप्चर करता है। स्क्रिप्ट चलाने के लिए आपको संकेतित पुस्तकालयों को प्राप्त करने के लिए sudo apt-get install python-pyaudio python-opencv की आवश्यकता होगी। आपको उन पुस्तकालयों को प्राप्त करने के लिए पाइप इंस्टाल numpy pyserial भी करना होगा। pyaudio का उपयोग ध्वनियों को चलाने के लिए किया जाता है, opencv का उपयोग छवि लेने और प्रसंस्करण के लिए किया जाता है, numpy का उपयोग छवि प्रसंस्करण के लिए भी किया जाता है, और Arduino के साथ संचार करने के लिए pyserial की आवश्यकता होती है।

Arduino का उपयोग सर्वो मोटर को घुमाने के लिए किया जाता है जिस पर रंग का पहिया लगा होता है। यदि आपके पास रास्पबेरी पाई थी, तो आप वहां पर GPIO पिन का उपयोग कर सकते हैं और Arduino को छोड़ सकते हैं, लेकिन आपको पायथन कोड को संशोधित करने की आवश्यकता होगी।

छवियों में आप ऑपरेशन की तकनीकी हिम्मत और कुछ कोड स्निपेट देख सकते हैं।

चरण 2: पियानो

मैंने अपने पास मौजूद कुछ पुराने बक्सों से पियानो को कार्डबोर्ड से बनाया। मेरे पास एक लेज़र कटर वाले मेकर्सस्पेस के पास रहने का सौभाग्य है। एक पूरे साल के लिए मैं सोच रहा था कि बिल्ली को लेजर कटर क्या चाहिए, और यह पता चला कि मुझे आखिरकार इसके लिए एक उपयोग मिल गया।

मैंने कंप्यूटर, आर्डिनो और सर्वो को मापा, इसलिए मुझे पता था कि मुझे कितनी जगह चाहिए, पियानो के हिस्सों को इंकस्केप में खींचा, और उन्हें लेजर कटर पर काट दिया। (संपादित करें: मैं कंप्यूटर और आर्डिनो को बाड़े को पकड़ने के लिए कार्डबोर्ड से बाहर भाग गया और इसलिए मैंने उन्हें अंदर नहीं डाला। वे मामले के बाहर हैं। कोई बात नहीं, कहीं से एक और बॉक्स मिल सकता था, लेकिन ऐसा नहीं हुआ अंत में कोई फर्क नहीं पड़ता।)

टुकड़ों को एपॉक्सी के साथ एक साथ रखा गया था।

चरण 3: विधानसभा

यहाँ पियानो के असेंबल और रंगीन होने की कुछ तस्वीरें दी गई हैं। प्रिंटर स्याही से बाहर था इसलिए मैं सफेद लेबल पर रंगों को प्रिंट नहीं कर सका जैसा मैंने योजना बनाई थी। इसलिए मैंने अपनी बेटी के क्रेयॉन का इस्तेमाल किया। और मुझे कार्डबोर्ड के आकार में लेबल काटने के लिए एक xacto चाकू नहीं मिला, इसलिए मैंने सिर्फ एक स्टेक चाकू का इस्तेमाल किया और रसोई काउंटर पर कुछ सुरक्षात्मक डाल दिया। आपको जो मिला है उसका उपयोग करें!

चरण 4: तकनीकी चुनौतियां और भविष्य के विचार

इस परियोजना का एक चुनौतीपूर्ण हिस्सा कैमरे द्वारा पढ़ने के लिए उचित RGB मान प्राप्त करना था। मेरे पास जो वेबकैम है उस पर कुछ अविश्वसनीय रूप से उज्ज्वल एल ई डी हैं जो मुझे नहीं पता कि लिनक्स में कैसे बंद करना है। मुझे लगता है कि एक विंडोज़ ड्राइवर है जो आपको उन्हें चालू और बंद करने की अनुमति देता है। मैंने एलईडी को बिजली के टेप से टेप करने और उन्हें छोड़ने का प्रयोग किया। मैंने न केवल रंगीन कागज दिखाकर, बल्कि रंग दिखाने वाली एक छोटी सी वेबसाइट भी लिखकर मजबूती के लिए सॉफ्टवेयर का परीक्षण किया।

कंप्यूटर द्वारा उत्पन्न ध्वनि में कभी-कभी पॉप और क्रैकिंग होता है, और यह इस तथ्य से आता है कि मुझे लिनक्स ऑडियो प्रोग्रामिंग में बहुत कम अनुभव है। pyaudio लाइब्रेरी पीसी पर जैक के इंस्टॉल नहीं होने के बारे में शिकायतों का एक पूरा समूह थूकती है, लेकिन डिफ़ॉल्ट रूप से जैक हेडलेस (गुई डेस्कटॉप और मॉनिटर के बिना) नहीं चलाना चाहता है। यह एक प्रोग्रामिंग कार्य है जिसे मैंने सोचा था कि एक परिशोधन था, लेकिन मेरे मन में प्लेयर पियानो के सार को व्यक्त करने के लिए आवश्यक नहीं था।

मैंने रंग बदलने के लिए हैंड क्रैंक का उपयोग करने पर विचार किया था, और शायद उन्हें रोलिंग पिन की तरह की चीज़ पर रखने के लिए, लेकिन यह अपनी जटिलताओं का परिचय देता है। सर्वो थोड़ा शोर है, लेकिन अभी के लिए ठीक काम करता है।

प्लेयर पियानो को वर्तमान में केवल 4 नोट्स चलाने के लिए प्रोग्राम किया गया है। ऐसा इसलिए है क्योंकि सर्वो केवल 180 डिग्री चलता है, अधिकांश नर्सरी गाया जाता है केवल 3-4 नोट्स के साथ खेला जा सकता है, और मैं नहीं चाहता था कि रंगीन पहिया रंगीन क्षेत्रों से घिरा हो, संभवतः कैमरे को भ्रमित कर रहा हो। तो संगीत भाग्य और तकनीकी बाधाओं के संयोजन के माध्यम से, 4 नोट ठीक हैं।