बायोफीडबैक सिनेमा: 7 कदम

2024 लेखक: John Day | [email protected]. अंतिम बार संशोधित: 2024-01-30 09:22

परियोजना लेखक

जेसिका ऐन

सहयोगियों

• ग्रेगरी हफ़
• सलाद लोपेज
• पेड्रो पीरा

के बारे में

एक प्रयोगात्मक वीडियो कैप्चर सिस्टम जो एक न्यूरोस्की माइंडवेव ईईजी रीडर हेडसेट के माध्यम से एक प्रतिभागी के मस्तिष्क को कैमरे के कार्यों से जोड़ता है। बायोफीडबैक सिनेमा सिस्टम पारंपरिक सिनेमैटोग्राफर के स्थान पर काम करता है, बजाय इसके कि कंपोजिशन की एजेंसी खुद प्रतिभागी को कस्टम ब्रेन टू कैमरा इंटरफेस के माध्यम से दी जाती है। इस परियोजना को कार्यशाला में भाग लेने वाले ग्रेगरी होफ, सालुद लोपेज और पेड्रो पीरा के सहयोग से विकसित किया गया था। आप कार्यशाला के परिणामों के बारे में यहां पढ़ सकते हैं:

प्रोटोटाइप विन्यास

बायोफीडबैक सिनेमा प्रणाली कई संभावित अनुप्रयोगों के लिए खुद को उधार देती है। इस निर्देश के लिए हमने सिस्टम का एक डेमो तैयार किया है जो प्रतिभागी के फोकस / ध्यान के स्तर (एक पूर्णांक) को देखता है और कैमरे की स्थिति (पैन और झुकाव के माध्यम से) और कैमरा फोकस (आंतरिक रूप से ओपनसीवी के माध्यम से) में अनुवाद करता है। यह सब एक न्यूरोस्की ईईजी रीडर हेडसेट और रास्पबेरी पाई के बीच ब्लूटूथ कनेक्शन द्वारा संभव बनाया गया है।

रास्पबेरी पाई एक छोटा कंप्यूटर है जो एक वेब कैमरा और स्क्रिप्ट (नीचे उपलब्ध) के साथ तैयार किया गया है जो प्रतिभागी की मस्तिष्क गतिविधि को कैमरा सेटिंग्स और कैमरे की स्थिति से जोड़ता है। रास्पबेरी पाई से सिग्नल प्राप्त करने वाले एक Arduino माइक्रोकंट्रोलर के माध्यम से गतिशील कैमरा स्थिति को संभव बनाया गया है। हम आगे के विकास के लिए तत्पर हैं क्योंकि हमारा लक्ष्य अतिरिक्त ब्रेनवेव पैरामीटर (आंखों की झपकी से जुड़ी आवृत्तियां, आदि) और कैमरा फ़ंक्शन (यानी रंग, संतृप्ति, चमक, आदि) शामिल करना है।

अपना खुद का बायोफीडबैक सिनेमा सिस्टम बनाने के निर्देश नीचे दिए गए हैं।

खुश प्रयोग

चरण 1: आपूर्ति

अपना खुद का बायोफीडबैक सिनेमा प्रोटोटाइप बनाने के लिए आपको जो कुछ भी चाहिए वह नीचे सूचीबद्ध है।

1. न्यूरोस्की माइंडवेव मोबाइल ईईजी हेडसेट

2. रास्पबेरी पाई बी + (बी + बेहतर है, अधिक यूएसबी पोर्ट, लेकिन एक बी मॉडल भी ठीक है अगर आपके पास यूएसबी हब है)।

   1. रास्पबेरी पाई पावर एडाप्टर या बैटरी पैक
   2. वाईफ़ाई डोंगल -या- ईथरनेट कनेक्शन (केवल सेटअप के दौरान आवश्यक)
   3. ब्लूटूथ डोंगल संगत डोंगल के लिए विकी देखें
   4. एनओओबीएस के साथ एसडी कार्ड (कम से कम 8 जीबी)।

3. Arduino इस निर्देश में Uno का उपयोग करते हुए कोई भी बोर्ड ठीक है। यह भी ध्यान दें, आप केवल पीआई पर I/O का उपयोग कर सकते हैं।

   1. Arduino पावर एडॉप्टर या बैटरी पैक
   2. एबी यूएसबी केबल
4. यूएसबी वेब कैमरा
5. मिनी पैन-टिल्ट किट

6. अपने कंप्यूटर से अपने पीआई को रिमोट कंट्रोल करने के लिए डब्ल्यू/एचडीएमआई इनपुट की निगरानी करें या वीएनसी का उपयोग करें [यहां ट्यूटोरियल]

   एच डी ऍम आई केबल

7. यूएसबी कीबोर्ड और माउस इस्तेमाल किए गए यूएसबी पोर्ट को कम करने के लिए ब्लूटूथ कीबोर्ड और माउस की सलाह देते हैं।

चरण 2: रास्पबेरी पाई सेटअप करें

1. सेटअप हार्डवेयर

कीबोर्ड, माउस, ब्लूटूथ डोंगल, वाईफाई डोंगल (या ईथरनेट), वेबकैम, एचडीएमआई केबल के माध्यम से मॉनिटर और अपने रास्पबेरी पाई को पावर कनेक्ट करें।

2. सेटअप ऑपरेटिंग सिस्टम

• पावर को चालू करें और आपका पाई शुरू होना चाहिए। रासबियन ओएस स्थापित करें, यहां निर्देश:
• यदि बूट किया गया है और रास्पियन ठीक से स्थापित है तो आपको होम डेस्कटॉप [उपरोक्त छवि] देखना चाहिए।

संकेत:

• यदि डेस्कटॉप पहलू अनुपात बंद है, तो अपने रास्पबेरी पाई को रिबूट करने का प्रयास करें। यदि यह अभी भी बंद है, तो पहलू अनुपात को मैन्युअल रूप से अपडेट करने के लिए यहां देखें।
• यदि आप एक टेक्स्ट एडिटर खोलते हैं और आपके कीबोर्ड विशेष वर्ण गलत हैं, तो अपने कीबोर्ड कॉन्फ़िगरेशन को अपडेट करने के लिए यहां देखें।
• अपने इंटरनेट कनेक्शन का परीक्षण करें (सेटअप के दौरान पुस्तकालयों को स्थापित करने के लिए आपको इसकी आवश्यकता होगी)। वाईफाई सेटअप प्राप्त करने में सहायता के लिए यहां देखें।

चरण 3: न्यूरोस्की हेडसेट कनेक्ट करें

1. ब्लूटूथ कॉन्फ़िगरेशन

इससे पहले कि Pi Neurosky से जुड़ सके हमें ब्लूटूथ सेटअप करने की आवश्यकता है:

डेस्कटॉप पर "LXTerminal" खोलें (इसे यहां से टर्मिनल कहा जाता है)। कमियों को हल करने और अद्यतन करने के लिए यह आदेश चलाएँ:

$ sudo apt-get update

इस आदेश के साथ ब्लूटूथ स्थापित करें:

$ sudo apt-get ब्लूटूथ स्थापित करें

आसान डेस्कटॉप-टूलबार ब्लूटूथ उपयोगिता स्थापित करें:

$ sudo apt-get install -y ब्लूटूथ ब्लूज़-बर्तन ब्लूमैन

टर्मिनल से रिबूट पाई:

$ सूडो रिबूट

2. ब्लूटूथ कनेक्शन का परीक्षण करें

• न्यूरोस्की हेडसेट चालू करें
• उपकरणों के लिए टर्मिनल स्कैन से:

एचसीटूल स्कैन

माइंडवेव हेडसेट को सूचीबद्ध किया जाना चाहिए, हेडसेट के मैक पते पर ध्यान दें [उपरोक्त छवि]।

3. न्यूरोस्की पुस्तकालय स्थापित करें

अब हम न्यूरोस्की पायथन पुस्तकालयों को स्थापित करने के लिए तैयार हैं और पुस्तकालय परीक्षण स्क्रिप्ट के साथ इसके डेटा स्ट्रीम को चुनना शुरू करते हैं:

टर्मिनल से जीथब उपयोगिता स्थापित करें:

sudo apt-git-core स्थापित करें

न्यूरोस्की पायथन पुस्तकालय के साथ क्लोन जीथब भंडार:

सुडो गिट क्लोन

हमें आपके हेडसेट के मैक पते के साथ MindwaveMobileRawReader.py फ़ाइल को अपडेट करने की आवश्यकता है। FYI करें: फ़ाइल नाम केस संवेदी होते हैं।

sudo nano /home/pi/python-mindwave-mobile/MindwaveMobileRawReader.py

• फ़ाइल में सूचीबद्ध मैक पते को अपडेट करें। समाप्त करने के लिए Ctrl-X, सहेजने के लिए Y, बाहर निकलने के लिए दर्ज करें।
• न्यूरोस्की और पाई को पेयर करें और ऑटो कनेक्ट सुविधा की अनुमति दें, यदि पिन के लिए "0000" का उपयोग करने के लिए कहा जाए:

$ sudo bluez-simple-agent hci0 XX:XX:XX:XX:XX:XX

$ सुडो ब्लूज़-टेस्ट-डिवाइस विश्वसनीय XX:XX:XX:XX:XX:XX हाँ

पायथन ब्लूटूथ लाइब्रेरी स्थापित करें:

sudo apt-पायथन-ब्लूज़ स्थापित करें

यह सुनिश्चित करने के लिए पुस्तकालय परीक्षण स्क्रिप्ट चलाएँ कि पाई डेटास्ट्रीम का पूर्वावलोकन करने में सक्षम है। आपको डेटा स्ट्रीमिंग [उपरोक्त छवि] देखनी चाहिए:

$ sudo python /home/pi/python-mindwave-mobile/read_mindwave_mobile.py

चरण 4: USB वेब कैमरा W/ओपन CV कनेक्ट करें

1. ओपनसीवी स्थापित करें

टर्मिनल से:

$ sudo apt-libopencv-dev स्थापित करें पायथन-ओपनसीवी

समाप्त होने पर, जारी रखें:

$ sudo apt-get -f install

अच्छे उपाय के लिए:

$ sudo apt-libopencv-dev स्थापित करें पायथन-ओपनसीवी

पुस्तकालय को आयात करने का प्रयास करके स्थापना का परीक्षण करें:

$ अजगर

> आयात cv2

2. यूएसबी वेबकैम के साथ पायथन में ओपनसीवी का परीक्षण करें

• डेस्कटॉप पर "IDLE" खोलें (IDLE3 न खोलें!)
• फ़ाइल मेनू से नई विंडो चुनें। हमारी सीवी-ब्लर-टेस्ट स्क्रिप्ट को नई विंडो में कॉपी करें और सेव करें। स्क्रिप्ट यहां उपलब्ध है:
• रन मेनू से रन मॉड्यूल चुनें (या F5 दबाएं)। जाने में कुछ सेकंड लग सकते हैं, लेकिन आपको अपने लाइव वेबकैम फ़ीड के साथ एक छोटा फ्रेम दिखाई देना चाहिए, और वीडियो धुंधला होना चाहिए। बधाई हो, OpenCV स्थापित हो गया था और आपके वेबकैम [उपरोक्त छवि] के साथ सफलतापूर्वक काम कर रहा है।

चरण 5: Arduino कनेक्ट करें

1. Arduino IDE डाउनलोड करें

टर्मिनल से:

sudo apt-arduino स्थापित करें

2. Arduino और लोड स्केच कनेक्ट करें

• ए-बी यूएसबी केबल के साथ आर्डिनो को पाई में प्लग करें।
• डेस्कटॉप स्टार्ट मेन्यू से इलेक्ट्रॉनिक्स में जाएं और Arduino IDE खोलें। हमारे arduino-serial-pi स्केच को IDE [नीचे लिंक] में कॉपी करें। यह एक बहुत ही बुनियादी स्केच है जो सीरियल पर आने वाले इनपुट के आधार पर सर्वो मोटर्स को स्थानांतरित करेगा। जब हम सब कुछ एक साथ रखते हैं तो हम अंतिम चरण में पायथन स्केच का उपयोग करके ब्रेनवेव आउटपुट के आधार पर सीरियल पर डेटा भेजेंगे।

Arduino-serial-pi स्केच ऑनलाइन यहाँ:

Arduino IDE में, टूल्स मेनू पर जाएं, सीरियल पोर्ट का चयन करें और सूचीबद्ध Arduino पोर्ट का चयन करें, शायद कुछ ऐसा /dev/ttyACM0। पोर्ट को नोट कर लें।

3. सीरियल कंसोल अक्षम करें

सीरियल कंसोल को अक्षम करने के लिए एक स्क्रिप्ट डाउनलोड करें और चलाएं ताकि यूएसबी सीरियल कनेक्शन सुचारू रूप से चल सके:

$ wget

/alamode-setup.tar.gz?raw=true -O alamode-setup.tar.gz

$ टार -xvzf alamode-setup.tar.gz

$ सीडी अलामोड-सेटअप

$ सुडो./सेटअप

$ सूडो रिबूट

एफवाईआई:

यदि आप B+ का उपयोग कर रहे हैं तो सर्वो का समर्थन करने के लिए पर्याप्त I/O हो सकता है, (सेटअप और GPIO का उपयोग करने के लिए यहां देखें)। हालांकि, मैं भविष्य के मस्तिष्क-से-इलेक्ट्रॉनिक्स प्रयोग के लिए अतिरिक्त घटकों को जोड़ने में दिलचस्पी रखता हूं। इसलिए, एक arduino के साथ प्रारंभिक प्रोटोटाइप स्थापित करना बहुत सारी इलेक्ट्रॉनिक संभावनाओं को सुनिश्चित करता है।

चरण 6: यह सब एक साथ रखना

1. अंतिम पायथन लिपि

इससे पहले कि हम "पायथन-माइंडवेव-मोबाइल" फ़ोल्डर में अंतिम पायथन स्क्रिप्ट जोड़ सकें, हमें फ़ोल्डर अनुमतियों को बदलने की जरूरत है। टर्मिनल से:

$ chmod a=rwx /home/pi/python-mindwave-mobile

• आईडीएलई खोलें और हमारी अंतिम पायथन स्क्रिप्ट चलाएं, जो यहां ऑनलाइन उपलब्ध है: https://github.com/PrivateHQ/biofeedback-cinema/ सुनिश्चित करें कि यह पायथन-माइंडवेव-मोबाइल फ़ोल्डर में स्थित है। FYI करें: आपको अपने वास्तविक Arduino पोर्ट पते के साथ हमारी Python स्क्रिप्ट को अपडेट करना होगा।
• जब आप इस स्क्रिप्ट को चलाते हैं तो आपको तीन चीजें होनी चाहिए: १) आपका ध्यान स्तर पायथन शेल में सूचीबद्ध होगा, २) एक छोटा फ्रेम वेब कैमरा लाइव फीड दिखाता है जिसमें ध्यान स्तर के आधार पर धुंधला परिवर्तन होता है, ३) मोटर(s) आगे बढ़ें क्योंकि धारावाहिक [ऊपर वीडियो] के माध्यम से arduino पर ध्यान स्तर पारित किया जा रहा है।

चरण 7: सुधार और विकास

रास्पबेरी पाई में सीमित प्रसंस्करण शक्ति है, और ओपनसीवी कार्यों को सुचारू रूप से चलाने के लिए संघर्ष करता है। यह कुछ ऐसा है जिसे मैं विकसित करना और सुधारना जारी रखूंगा। इसके अतिरिक्त, मैं भविष्य के पुनरावृत्तियों में अतिरिक्त ब्रेनवेव पैरामीटर (आंखों की झपकी से जुड़ी आवृत्तियां, आदि) और कैमरा फ़ंक्शन (यानी रंग, संतृप्ति, चमक, आदि) शामिल करने की योजना बना रहा हूं।