भाग 2. Google AutoML के साथ ThinkBioT मॉडल: 8 चरण

2024 लेखक: John Day | [email protected]. अंतिम बार संशोधित: 2024-01-30 09:20

थिंकबीओटी को एज टीपीयू संगत टेंसरफ्लो लाइट मॉडल के साथ "प्लग एंड प्ले" के रूप में डिजाइन किया गया है।

इस दस्तावेज़ में हम स्पेक्ट्रोग्राम बनाना, आपके डेटा को फ़ॉर्मेट करना और Google AutoML का उपयोग करना शामिल करेंगे।

इस ट्यूटोरियल में कोड बैश में लिखा जाएगा, इसलिए यह मल्टी-प्लेटफॉर्म संगत होगा।

निर्भरता

• हालाँकि शुरू करने से पहले आपको विंडोज, मैक और लिनक्स उपकरणों के साथ संगत एक कमांड लाइन ऑडियो प्रोग्राम Sox को स्थापित करने की आवश्यकता होगी।
• यदि आप विंडोज़ डिवाइस पर हैं तो बैश स्क्रिप्ट चलाने का सबसे आसान तरीका गिट के माध्यम से है, इसलिए मैं इसे कई तरीकों से उपयोगी के रूप में अनुशंसा और डाउनलोड और इंस्टॉल करने की अनुशंसा करता हूं,
• कोड संपादित करने के लिए या तो अपने पसंदीदा संपादक का उपयोग करें या विंडोज़ के लिए नोटपैड ++ या अन्य ऑपरेटिंग सिस्टम के लिए एटम स्थापित करें।

**यदि आपके पास एक मौजूदा TensorFlow मॉडल है या किसी मौजूदा मॉडल के साथ स्थानांतरण सीखने का प्रयास करना चाहते हैं, तो कृपया Google कोरल दस्तावेज़ीकरण देखें।

चरण 1: Google क्लाउड स्टोरेज बकेट सेट करें

1. अपने जीमेल खाते में लॉगिन करें (या यदि आपके पास Google खाता नहीं है तो एक बनाएं)

2. प्रोजेक्ट चयनकर्ता पृष्ठ पर जाएं और मॉडल और स्पेक्ट्रोग्राम फाइलों के लिए एक नया प्रोजेक्ट बनाएं। आगे बढ़ने के लिए आपको बिलिंग सक्षम करनी होगी.

3. https://cloud.google.com/storage/ पर जाएं और पेज के शीर्ष पर बकेट बनाएं बटन दबाएं।

4. अपना वांछित बकेट नाम दर्ज करें और डिफ़ॉल्ट सेटिंग्स को स्वीकार करते हुए बकेट बनाएं।

चरण 2: अपना डेटा प्रारूपित करें और डेटासेट सीएसवी बनाएं

मैंने आपका मॉडल बनाने के लिए आवश्यक आपकी डेटासेट.सीएसवी फ़ाइल बनाने के लिए एक सहायक स्क्रिप्ट तैयार की है। डेटासेट फ़ाइल आपकी बकेट में छवियों को डेटासेट में उनके लेबल से लिंक करती है..

1. GitHub से ThinkBioT रिपॉजिटरी डाउनलोड करें और

2. टूल निर्देशिका से tbt_spect_example.sh फ़ाइल को अपने डेस्कटॉप पर एक नए फ़ोल्डर में कॉपी करें।

3. उन ऑडियो फाइलों को जोड़ें जिन्हें आप अपने मॉडल में उपयोग करना चाहते हैं, उन्हें उन फ़ोल्डरों में डाल दें जिनमें उनका लेबल है (यानी आप उन्हें किस प्रकार क्रमबद्ध करना चाहते हैं। उदाहरण के लिए, यदि आप कुत्तों या बिल्लियों की पहचान करना चाहते हैं, तो आपके पास एक फ़ोल्डर हो सकता है कुत्ता, छाल की आवाज़ के साथ या बिल्ली नाम का फ़ोल्डर बिल्ली की आवाज़ आदि के साथ।

4. tbt_spect_example.sh को Notepad++ से खोलें और "yourbucknamename" को लाइन 54 में अपने Google स्टोरेज बकेट के नाम से बदलें। उदाहरण के लिए, यदि आपकी बकेट को myModelBucket कहा जाता है, तो लाइन को बदल दिया जाएगा

बाल्टी = "जीएस://myModelBucket/spectro-data/"

5. अपने बैश टर्मिनल में निम्नलिखित टाइप करके कोड चलाएँ, कोड चलेगा और परिणामी स्पेक्ट्रोग्राम के साथ आपके डेस्क टॉप पर आपके लेबल सीएसवी फ़ाइल और स्पेक्ट्रो-डेटा नामक एक निर्देशिका बनाएगा।

श tbt_spect_example.sh

चरण 3: अपने स्पेक्ट्रोग्राम को अपनी बाल्टी में अपलोड करें

Google संग्रहण पर अपलोड करने के कुछ तरीके हैं, सबसे आसान है डायरेक्ट फोल्डर अप लोड करना;

1. अपने Google संग्रहण पृष्ठ में अपने बकेट नाम पर क्लिक करें।

2. "अपलोड फ़ोल्डर" बटन का चयन करें और अंतिम चरण में बनाई गई अपनी "स्पेक्ट्रो-डेटा /" निर्देशिका चुनें।

या

2. यदि आपके पास बड़ी मात्रा में फ़ाइलें हैं, तो आप "फ़ोल्डर बनाएं" का चयन करके मैन्युअल रूप से "स्पेक्ट्रो-डेटा/" निर्देशिका बना सकते हैं, फिर फ़ोल्डर में नेविगेट करें और "फ़ाइलें अपलोड करें" चुनें। यह बड़े डेटा सेट के लिए एक बढ़िया विकल्प हो सकता है क्योंकि आप स्पेक्ट्रोग्राम को अनुभागों में अपलोड कर सकते हैं, यहां तक कि अपलोड गति बढ़ाने के लिए कई कंप्यूटरों का उपयोग कर सकते हैं।

या

2. यदि आप एक उन्नत उपयोगकर्ता हैं तो आप Google क्लाउड शेल के माध्यम से भी अपलोड कर सकते हैं;

gsutil cp स्पेक्ट्रो-डेटा/* gs://your-bucket-name/spectro-data/

अब आपके पास बहुत सुंदर स्पेक्ट्रोग्राम से भरी बाल्टी होनी चाहिए!

चरण 4: अपना डेटासेट Csv. अपलोड करें

अब हमें मॉडल-लेबल्स.सीएसवी फ़ाइल को Google संग्रहण में आपकी "स्पेक्ट्रो-डेटा/" निर्देशिका में अपलोड करने की आवश्यकता है, यह अनिवार्य रूप से अंतिम चरण के समान है, आप कई के बजाय केवल एक फ़ाइल अपलोड कर रहे हैं।

1. अपने Google संग्रहण पृष्ठ में अपने बकेट नाम पर क्लिक करें।

2. अपलोड फ़ाइल बटन का चयन करें और अपनी मॉडल-लेबल.सीएसवी फ़ाइल चुनें जिसे आपने पहले बनाया था।

चरण 5: डेटासेट बनाएं

1. सबसे पहले आपको AutoML VIsion API ढूंढना होगा, यह थोड़ा मुश्किल हो सकता है! सबसे आसान तरीका है कि आप अपने Google क्लाउड स्टोरेज (चित्रित) के सर्च बार में "ऑटोएमएल विज़न" खोजें।

2. एक बार जब आप एपीआई लिंक पर क्लिक करते हैं तो आपको एपीआई को सक्षम करने की आवश्यकता होगी।

3. अब आप ऑटोएमएल विज़न डैशबोर्ड में होंगे (चित्रित) ओ न्यू डेटासेट बटन पर क्लिक करें और सिंगल लेबल और 'सेलेक्ट ए सीएसवी फाइल' विकल्प चुनें। फिर आप अपनी स्टोरेज बकेट में अपनी model-labels.csv फाइल का लिंक शामिल करेंगे। यदि आपने इस ट्यूटोरियल का अनुसरण किया है तो यह नीचे के अनुसार होगा

gs://yourBucketName/spectro-data/model-labelsBal.csv

4. फिर अपना डेटासेट बनाने के लिए जारी रखें दबाएं। इसे बनाने में कुछ समय लग सकता है।

चरण 6: अपना ऑटोएमएल मॉडल बनाएं

एक बार जब आप अपना ईमेल प्राप्त कर लेते हैं जिससे आपको पता चलता है कि आपका डेटासेट बन गया है तो आप अपना नया मॉडल बनाने के लिए तैयार हैं।

1. ट्रेन का बटन दबाएं
2. मॉडल प्रकार का चयन करें: एज और मॉडल लेटेंसी अनुमान: एज टीपीयू और अन्य विकल्पों को शुरू में डिफ़ॉल्ट के रूप में छोड़ दें, कठिन आप बाद में प्रयोग करना पसंद कर सकते हैं।
3. अब आपका मॉडल प्रशिक्षित होगा, इसमें कुछ समय लगेगा और जब यह डाउनलोड करने के लिए तैयार होगा तो आपको एक ईमेल प्राप्त होगा।

नोट: यदि आप ट्रेन बटन उपलब्ध नहीं है तो आपको अपने डेटासेट में समस्या हो सकती है। यदि आपके पास प्रत्येक वर्ग (लेबल) के 10 से कम हैं, तो सिस्टम आपको एक मॉडल को प्रशिक्षित करने की अनुमति नहीं देगा, इसलिए आपको अतिरिक्त छवियां जोड़नी पड़ सकती हैं। यदि आपको स्पष्टीकरण की आवश्यकता है तो Google AutoML वीडियो पर एक नज़र डालने लायक है।

चरण 7: अपने मॉडल का परीक्षण करें

एक बार जब आप अपना मॉडल पूर्णता ईमेल प्राप्त कर लेते हैं तो AutoML Vision API पर लौटने के लिए लिंक पर क्लिक करें।

1. अब आप अपने मॉडल के लिए अपने परिणाम और भ्रम मैट्रिक्स देख पाएंगे।

2. अगला कदम अपने मॉडल का परीक्षण करना है, 'टेस्ट एंड यूज' या 'प्रेडिक्ट' पर जाएं, अजीब तरह से 2 उपयोगकर्ता जीयूआई हैं, जिनमें से दोनों को मैंने चित्रित किया है, लेकिन दोनों विकल्पों में समान कार्यक्षमता है।

3. अब आप एक परीक्षण स्पेक्ट्रोग्राम अपलोड कर सकते हैं। एकल स्पेक्ट्रोग्राम बनाने के लिए आप ThinkBioT Github से tbt_make_one_spect.sh प्रोग्राम का उपयोग कर सकते हैं। बस इसे wav वाले फ़ोल्डर में छोड़ दें जिसे आप स्पेक्ट्रोग्राम में बदलना चाहते हैं, एक Git Bash विंडो (या टर्मिनल) खोलें और अपने फ़ाइल नाम को प्रतिस्थापित करते हुए नीचे दिए गए कोड का उपयोग करें।

श tbt_make_one_spect.sh yourWavName.wav

4. अब बस स्पेक्ट्रोग्राम अपलोड करें और अपना रिजल्ट चेक करें!

चरण 8: अपने मॉडल को ThinkBioT में स्थापित करें

अपने नए चमकदार मॉडल का उपयोग करने के लिए बस मॉडल और txt फ़ाइल को CModel फ़ोल्डर में छोड़ दें;

pi > ThinkBioT > ClassProcess > CModel

अब आप ThinkBioT का उपयोग करने के लिए तैयार हैं:)

**NB** यदि आप ThinkBioT ढांचे के बाहर अपने मॉडल का उपयोग कर रहे हैं, तो आपको अपने लेबल दस्तावेज़ को संपादित करने की आवश्यकता होगी क्योंकि प्रत्येक पंक्ति की शुरुआत में umbers जोड़ें क्योंकि नवीनतम tflite दुभाषियों में अंतर्निहित "readlabels" फ़ंक्शन मानता है कि वे वहां हैं। मैंने थिंकबायोटी फ्रेमवर्क में एक कस्टम फंक्शन लिखा है classify_spect.py एक काम के रूप में जिसके आसपास आप अपने कोड में उपयोग करने के लिए स्वागत करते हैं:)

डीईएफ़ रीडलेबलफाइल (file_path):

काउंटर = 0 ओपन (file_path, 'r', एन्कोडिंग = 'utf-8') के साथ f: लाइन्स = f.readlines() ret = {} लाइन इन लाइन के लिए: ret [int (काउंटर)] = लाइन। स्ट्रिप () काउंटर = काउंटर + 1 रिटर्न रेट