काफ्का की स्थापना: 4 कदम

2024 लेखक: John Day | [email protected]. अंतिम बार संशोधित: 2024-01-30 09:21

परिचय:

अपाचे काफ्का एक ओपन-सोर्स स्केलेबल और हाई-थ्रूपुट मैसेजिंग सिस्टम है जिसे स्कैला में लिखे गए अपाचे सॉफ्टवेयर फाउंडेशन द्वारा विकसित किया गया है। Apache Kafka को विशेष रूप से एकल क्लस्टर को बड़े वातावरण के लिए केंद्रीय डेटा बैकबोन के रूप में काम करने की अनुमति देने के लिए डिज़ाइन किया गया है। ActiveMQ और RabbitMQ जैसे अन्य संदेश ब्रोकर सिस्टम की तुलना में इसका बहुत अधिक थ्रूपुट है। यह बड़ी मात्रा में रीयल-टाइम डेटा को कुशलतापूर्वक संभालने में सक्षम है। आप काफ्का को एकल अपाचे सर्वर पर या वितरित क्लस्टर वातावरण में तैनात कर सकते हैं।

विशेषताएं:

काफ्का की सामान्य विशेषताएं इस प्रकार हैं:

डिस्क पर संदेश जारी रखें जो निरंतर समय प्रदर्शन प्रदान करता है।

डिस्क संरचनाओं के साथ उच्च थ्रूपुट जो प्रति सेकंड सैकड़ों हजारों संदेशों का समर्थन करता है।

डिस्ट्रीब्यूटेड सिस्टम बिना डाउनटाइम के आसानी से स्केल करता है।

बहु-ग्राहकों का समर्थन करता है और विफलता के दौरान उपभोक्ताओं को स्वचालित रूप से संतुलित करता है।

यह ट्यूटोरियल दिखाता है कि उबंटू 16.04 सर्वर पर अपाचे काफ्का को कैसे स्थापित और कॉन्फ़िगर किया जाए।

आवश्यकताएं

एक उबंटू 16.04 सर्वर।

आपके सर्वर पर स्थापित सुपर उपयोगकर्ता विशेषाधिकार के साथ गैर-रूट उपयोगकर्ता खाता।

चरण 1: जावा शुरू करना और स्थापित करना

1) आइए सुनिश्चित करें कि आपका Ubuntu 16.04 सर्वर पूरी तरह से अप टू डेट है।

आप निम्न कमांड चलाकर अपने सर्वर को अपडेट कर सकते हैं:-

सुडो उपयुक्त-अपडेट प्राप्त करें -y

sudo apt-get अपग्रेड -y

2) जावा स्थापित करना

जांचें कि क्या आपकी मशीन में जावा है जो पहले से स्थापित है या निम्न कमांड द्वारा जावा डिफ़ॉल्ट संस्करण है: -

जावा-संस्करण

भले ही आपके पास जावा है लेकिन एक निचला संस्करण है, आपको इसे अपग्रेड करना होगा।

आप जावा को इसके द्वारा स्थापित कर सकते हैं: -

sudo apt-get install default-jdk

या

आप Webupd8 टीम PPA रिपॉजिटरी का उपयोग करके Oracle JDK 8 स्थापित कर सकते हैं।

रिपॉजिटरी जोड़ने के लिए, निम्न कमांड चलाएँ: -

sudo add-apt-repository -y ppa:webupd8team/java

sudo apt-oracle-java8-installer -y. स्थापित करें

चरण 2: ज़ुकीपर स्थापित करें

ज़ूकीपर क्या है?

ज़ूकीपर कॉन्फ़िगरेशन जानकारी बनाए रखने, नामकरण, वितरित सिंक्रनाइज़ेशन प्रदान करने और समूह सेवाएं प्रदान करने के लिए एक केंद्रीकृत सेवा है। इन सभी प्रकार की सेवाओं का उपयोग किसी न किसी रूप में वितरित अनुप्रयोगों द्वारा किया जाता है। हर बार जब उन्हें लागू किया जाता है तो बहुत सारे काम होते हैं जो उन बगों और दौड़ की स्थितियों को ठीक करने में जाते हैं जो अपरिहार्य हैं। इस प्रकार की सेवाओं को लागू करने में कठिनाई के कारण, एप्लिकेशन शुरू में आमतौर पर उन पर कंजूसी करते हैं, जो परिवर्तन की उपस्थिति में उन्हें भंगुर बना देते हैं और प्रबंधन करना मुश्किल हो जाता है। सही ढंग से किए जाने पर भी, इन सेवाओं के विभिन्न कार्यान्वयन अनुप्रयोगों को तैनात करते समय प्रबंधन जटिलता की ओर ले जाते हैं।

अपाचे काफ्का को स्थापित करने से पहले, आपको ज़ूकीपर उपलब्ध और चलाना होगा। ज़ूकीपर कॉन्फ़िगरेशन जानकारी बनाए रखने, वितरित सिंक्रनाइज़ेशन प्रदान करने, नामकरण और समूह सेवाएं प्रदान करने के लिए एक ओपन सोर्स सेवा है।

1) डिफ़ॉल्ट रूप से ज़ूकीपर पैकेज उबंटू के डिफ़ॉल्ट रिपॉजिटरी में उपलब्ध है

आप निम्न आदेश चलाकर इसे स्थापित कर सकते हैं: -

सुडो एपीटी-ज़ूकीपर स्थापित करें

एक बार स्थापना समाप्त हो जाने के बाद, यह स्वचालित रूप से एक डेमॉन के रूप में शुरू हो जाएगा। डिफ़ॉल्ट रूप से ज़ूकीपर पोर्ट 2181 पर चलेगा।

आप निम्न आदेश चलाकर इसका परीक्षण कर सकते हैं:

नेटस्टैट -चींटी | ग्रेप:2181

आउट पुट आपको दिखाएगा कि पोर्ट 2181 को सुना जा रहा है।

चरण 3: काफ्का सर्वर स्थापित करें और प्रारंभ करें

अब जब जावा और ज़ूकीपर स्थापित हो गए हैं, तो अपाचे वेबसाइट से काफ्का को डाउनलोड करने और निकालने का समय आ गया है।

1) आप काफ्का डाउनलोड करने के लिए कर्ल या wget का उपयोग कर सकते हैं: (काफ्का संस्करण 0.10.1.1)

काफ्का सेटअप डाउनलोड करने के लिए निम्न कमांड चलाएँ: -

कर्ल-ओ

या

wget

2) काफ्का के लिए एक निर्देशिका बनाएँ

अगला, काफ्का स्थापना के लिए एक निर्देशिका बनाएँ:

sudo mkdir /opt/kafka

सीडी/ऑप्ट/काफ्का

3) डाउनलोड किए गए फ़ोल्डर को अनज़िप करें

sudo tar -zxvf /home/user_name/Downloads/kafka_2.11-0.10.1.1.tgz -C /opt/kafka/

*उपयोगकर्ता नाम को अपने उपयोगकर्ता नाम के अनुसार बदलें

4) काफ्का सर्वर शुरू करें

अगला कदम काफ्का सर्वर को शुरू करना है, आप इसे /opt/kafka/kafka_2.11-0.10.1.1/bin/ निर्देशिका में स्थित kafka-server-start.sh स्क्रिप्ट को चलाकर शुरू कर सकते हैं: -

sudo /opt/kafka/kafka_2.11-0.10.1.1/bin/kafka-server-start.sh /opt/kafka/kafka_2.11-0.10.1.1/config/server.properties

5) जांचें कि क्या काफ्का सर्वर ठीक से काम कर रहा है

अब आपके पास पोर्ट 9092 पर एक काफ्का सर्वर चल रहा है और सुन रहा है।

अब, हम श्रवण बंदरगाहों की जाँच कर सकते हैं:

- ज़ूकीपर: 2181

- काफ्का: 9092

नेटस्टैट -चींटी | ग्रेप-ई ':2181|:9092'

चरण 4: अपने काफ्का सर्वर का परीक्षण करें

अब, यह सत्यापित करने का समय आ गया है कि काफ्का सर्वर सही ढंग से काम कर रहा है।

१) एक नया विषय बनाएं

काफ्का का परीक्षण करने के लिए, निम्न आदेश का उपयोग करके अपाचे काफ्का में "परीक्षण" नाम के साथ एक नमूना विषय बनाएं:

/opt/kafka/kafka_2.11-0.10.1.1/bin/kafka-topics.sh --create --topic test --zookeeper localhost:2181 --partitions 1 --replication-factor 1

2) जांचें कि क्या आपका विषय सफलतापूर्वक बनाया गया था

अब, ज़ूकीपर को निम्न आदेश चलाकर अपाचे काफ्का पर उपलब्ध विषयों को सूचीबद्ध करने के लिए कहें:

/opt/kafka/kafka_2.11-0.10.1.1/bin/kafka-topics.sh --list --zookeeper लोकलहोस्ट:2181

3) आपके द्वारा बनाए गए विषय का उपयोग करके एक संदेश प्रकाशित करें

इको "हैलो वर्ल्ड" | /opt/kafka/kafka_2.11-0.10.1.1/bin/kafka-console-producer.sh --broker-list localhost:9092 --topic परीक्षण

4) बनाए गए विषय पर संदेश प्राप्त करें

/opt/kafka/kafka_2.11-0.10.1.1/bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic परीक्षण -से-शुरुआत

5) किसी विषय पर काफ्का का उपयोग करके फाइल भेजने के लिए

kafka-console-producer.sh --broker-list localhost:9092-विषय परीक्षण