ایچ ڈی ایف ایس اعلی دستیابی کے ساتھ ہڈوپ کلسٹر کیسے مرتب کریں

ایچ ڈی ایف ایس 2.x اعلی دستیابی کلسٹر فن تعمیر

اس بلاگ میں ، میں ایچ ڈی ایف ایس 2.x اعلی دستیابی کلسٹر آرکیٹیکچر اور ایچ ڈی ایف ایس اعلی دستیابی کلسٹر قائم کرنے کے طریقہ کار کے بارے میں بات کرنے جارہا ہوں۔یہ خدا کا ایک اہم حصہ ہے . اس بلاگ میں جس ترتیب سے عنوانات شامل کیے گئے ہیں وہ مندرجہ ذیل ہیں:

• ایچ ڈی ایف ایس ایچ اے فن تعمیر
  • تعارف
  • نام کی دستیابی
  • HA کے فن تعمیر
  • HA کا نفاذ (جرنل نوڈ اور مشترکہ اسٹوریج)
• ہڈوپ کلسٹر میں HA (کورم جرنل نوڈس) کیسے ترتیب دیں؟

تعارف:

ہڈوپ 2 میں اعلی دستیابی کلسٹر کا تصور پیش کیا گیا تھا.ہڈوپ 1.x میں ناکامی کے مسئلے کے ایک نقطہ کو حل کرنے کے لئے x۔ جیسا کہ آپ میرے پچھلے بلاگ سے جانتے ہو کہ ماسٹر / غلام ٹوپولاجی کی پیروی کرتا ہے جہاں نیومنوڈ ماسٹر ڈیمون کے طور پر کام کرتا ہے اور ڈیٹا نوڈس نامی دوسرے غلام نوڈس کے انتظام کے لئے ذمہ دار ہے۔ یہ واحد ماسٹر ڈیمون یا نیومنڈ ایک رکاوٹ بن جاتا ہے۔ اگرچہ ، سیکنڈری نیومنود کے تعارف نے ہمیں ڈیٹا کو ختم کرنے اور نیومنود کے کچھ بوجھ کو روکنے سے بچایا لیکن ، اس نے نیومنوڈ کی دستیابی کے مسئلے کو حل نہیں کیا۔

نام کی دستیابی:

اگر آپ ایچ ڈی ایف ایس کلسٹر کی معیاری ترتیب پر غور کرتے ہیں تو ، نام نام ایک بن جاتا ہے ناکامی کا ایک نقطہ . ایسا ہوتا ہے کیونکہ جب سے نام نمود دستیاب نہیں ہوجاتا ہے ، تب تک پورا کلسٹر دستیاب نہیں ہوجاتا ہے جب تک کہ کوئی نام نام کو دوبارہ شروع نہ کرے یا کوئی نیا لے کر آئے۔

نام نمبر کی عدم دستیابی کی وجوہات یہ ہوسکتی ہیں۔

• بحالی کے کام جیسے منصوبہ بند پروگرام میں سوفٹ ویئر یا ہارڈ ویئر کی اپ گریڈیشن ہوتی ہے۔
• یہ غیر منصوبہ بند واقعہ کی وجہ سے بھی ہوسکتا ہے جہاں کچھ وجوہات کی وجہ سے نیومنڈ کریش ہوتا ہے۔

مذکورہ بالا دونوں صورتوں میں ، ہمارے پاس ٹائم ٹائم ہوتا ہے جہاں ہم ایچ ڈی ایف ایس کلسٹر کو استعمال نہیں کرسکتے ہیں جو ایک چیلنج بن جاتا ہے۔

ایچ ڈی ایف ایس ایچ اے فن تعمیر:

آئیے ہم یہ سمجھیں کہ ایچ ڈی ایف ایس ایچ اے آرکیٹیکچر نے نام نوڈ کی دستیابی کے اس اہم مسئلے کو کیسے حل کیا:

جاوا میں حوالہ سے گزریں

HA فن تعمیر نے ہمیں نام / نوڈ کی دستیابی کے اس مسئلے کو حل کرکے ایک فعال / غیر فعال ترتیب میں دو نیومنڈس رکھنے کی اجازت دی ہے۔ لہذا ، ہمارے پاس اعلی دستیابی والے کلسٹر میں ایک ہی وقت میں دو چلنے والے نام نوڈس ہیں:

• فعال نام نام
• یوز / غیر فعال نام نمبر

اگر ایک نیم نام نیچے جاتا ہے تو ، دوسرا نیومنڈ ذمہ داری سنبھال سکتا ہے اور اسی وجہ سے ، کلسٹر کو نیچے کا وقت کم کردے گا۔ اسٹینڈ بائی نیومنوڈ بیک اپ نیومنڈ (سیکنڈری نیومنڈ کے برعکس) کا مقصد فراہم کرتا ہے جو ہڈوپ کلسٹر میں فیل اوور صلاحیتوں کو شامل کرتا ہے۔ لہذا ، اسٹینڈ بائی نوڈ کے ساتھ ، ہم جب بھی نیامنوڈ کریش ہو جاتے ہیں (غیر منصوبہ بند واقعہ) خود کار طریقے سے فیل اوور حاصل کرسکتے ہیں یا بحالی کی مدت میں ہمارے پاس مکرم (دستی طور پر) ناکام ہوسکتا ہے۔

ایچ ڈی ایف ایس اعلی دستیابی کلسٹر میں مستقل مزاجی برقرار رکھنے میں دو امور ہیں۔

• ایکٹو اور اسٹینڈ بائی نیومنڈ ہمیشہ ایک دوسرے کے ساتھ ہم آہنگ رہنا چاہئے ، یعنی ان کا ایک جیسا میٹا ڈیٹا ہونا چاہئے۔ اس سے ہمیں ہڈوپ کلسٹر کو اسی نام کی جگہ میں بحال کرنے کی سہولت ملے گی جہاں یہ کریش ہوا اور اسی وجہ سے ، ہمیں تیزی سے ناکامی کا موقع فراہم کرے گا۔
• ایک وقت میں صرف ایک ہی فعال نام نوڈ ہونا چاہئے کیونکہ دو فعال نام نوڈ ڈیٹا کی بدعنوانی کا باعث بنیں گے۔ اس طرح کے منظر نامے کو بطور سپلٹ دماغی منظرنامہ کہا جاتا ہے جہاں کلسٹر چھوٹے چھوٹے جھرمٹ میں تقسیم ہوجاتا ہے ، ہر ایک یہ سمجھتا ہے کہ یہ واحد فعال کلسٹر ہے۔ اس طرح کے منظرناموں سے بچنے کے لئے باڑ لگائی گئی ہے۔ باڑ لگانا اس بات کا یقین کرنے کا عمل ہے کہ کسی خاص وقت میں صرف ایک نام نام فعال رہتا ہے۔

HA فن تعمیر کا نفاذ:

اب ، آپ جانتے ہو گے کہ ایچ ڈی ایف ایس ایچ اے آرکیٹیکچر میں ، ہمارے پاس بیک وقت دو نام نامس چل رہے ہیں۔ لہذا ، ہم مندرجہ ذیل دو طریقوں سے ایکٹو اور اسٹینڈ بائی نیومن تشکیل کو نافذ کرسکتے ہیں۔

1. کورم جرنل نوڈس کا استعمال
2. NFS کا استعمال کرتے ہوئے مشترکہ اسٹوریج

آئیے ایک وقت میں ایک پر عمل درآمد کے ان دو طریقوں کو سمجھیں:

1. کورم جرنل نوڈس کا استعمال:

• اسٹینڈ بائی نیومنڈ اور فعال نیومنوڈ نوڈس یا ڈیمنز کے الگ گروپ کے ذریعہ ایک دوسرے کے ساتھ ہم آہنگ رہتے ہیں۔ جرنل نوڈس .جرنل نوڈس رنگ ٹاپولوجی کی پیروی کرتا ہے جہاں رنگ بنانے کے لئے نوڈس ایک دوسرے سے جڑے ہوتے ہیں۔جرنل نوڈ اس کے پاس آنے والی درخواست کو پورا کرتا ہے اور اس معلومات کو رنگ کے دوسرے نوڈس میں کاپی کرتا ہے.یہ جرنل نوڈ کی ناکامی کی صورت میں غلطی رواداری فراہم کرتا ہے۔
• جرنل نوڈس میں موجود ایڈیٹ لاگز (میٹا ڈیٹا کی معلومات) کو اپ ڈیٹ کرنے کے لئے فعال نیومنڈ ذمہ دار ہے۔
• اسٹینڈ بائی نوڈ جرنل نوڈ میں ایڈیٹلاگس میں کی جانے والی تبدیلیوں کو پڑھتا ہے اور مستقل طور پر اسے اپنے نام کی جگہ پر لاگو کرتا ہے۔
• فیل اوور کے دوران ، اسٹینڈ بائی نوڈ اس بات کو یقینی بناتا ہے کہ اس نے نیا ایکٹیو نیوم نام بننے سے پہلے جرنل نوڈس سے اپنی میٹا ڈیٹا کی معلومات کو اپ ڈیٹ کردیا ہے۔ یہ موجودہ نام کی جگہ کو ناکام ہونے سے پہلے ریاست کے ساتھ ہم آہنگی بناتا ہے۔
• دونوں ہی نیومنڈس کے آئی پی ایڈریسز تمام ڈیٹا نوڈس کے لئے دستیاب ہیں اور وہ اپنے دل کی دھڑکنیں اور بلاک کرنے کی جگہ کی معلومات دونوں ہی نیومنڈ کو بھیجتے ہیں۔ یہ تیز رفتار ناکامی (کم وقت) فراہم کرتا ہے کیونکہ اسٹینڈ بائی نوڈ میں کلسٹر میں بلاک کے مقام کے بارے میں تازہ ترین معلومات موجود ہیں۔

نام نوڈ پر باڑ لگانا:

اب ، جیسا کہ پہلے زیر بحث آیا ، اس بات کو یقینی بنانا بہت ضروری ہے کہ ایک وقت میں صرف ایکٹو متحرک نام نوڈ موجود ہو۔ لہذا ، باڑ لگانا ایک عمل ہے جس میں یہ ایک بہت ہی پراپرٹی کو کلسٹر میں یقینی بناتی ہے۔

• جرنل نوڈس ایک وقت میں صرف ایک نام نام کو مصنف بننے کی اجازت دے کر یہ باڑ لگاتی ہے۔
• اسٹینڈ بائی نیومنڈ جرنل نوڈس کو لکھنے کی ذمہ داری سنبھال لیتا ہے اور کسی اور نیومنوڈ کو متحرک رہنے سے منع کرتا ہے۔
• آخر میں ، نیا متحرک نام نوڈ اپنی سرگرمیاں محفوظ طریقے سے انجام دے سکتا ہے۔

2. مشترکہ اسٹوریج کا استعمال:

• اسٹینڈ بائی نوڈ اور متحرک نیوم نڈ ایک کا استعمال کرکے ایک دوسرے کے ساتھ ہم آہنگ رہتے ہیں مشترکہ اسٹوریج ڈیوائس .متحرک نام نوڈ اس مشترکہ اسٹوریج میں موجود ایک ترمیم لاگ میں اس کے نام کی جگہ میں کی جانے والی کسی بھی طرح کی ترمیم کا ریکارڈ لاگ ان کرتا ہے۔اسٹینڈ بائی نوڈ اس مشترکہ اسٹوریج میں ایڈیٹلاگس میں کی گئی تبدیلیاں پڑھتا ہے اور اسے اپنے نام کی جگہ پر لاگو کرتا ہے۔
• اب ، فیل اوور کی صورت میں ، اسٹینڈ بائی نوڈ نے مشترکہ اسٹوریج میں ایڈٹلاگس کا استعمال کرتے ہوئے پہلے اپنے میٹا ڈیٹا کی معلومات کو اپ ڈیٹ کیا۔ اس کے بعد ، یہ ایکٹیو نیومنڈ کی ذمہ داری لیتی ہے۔ یہ موجودہ نام کی جگہ کو ناکام ہونے سے پہلے ریاست کے ساتھ ہم آہنگی بناتا ہے۔
• منتظم کو لازمی طور پر کم سے کم ایک باڑ لگانے کا طریقہ ترتیب دینا پڑے گا تاکہ اسلیٹ دماغ سے متعلق منظر سے بچ سکے۔
• یہ نظام باڑ لگانے کے بہت سارے میکانزم کو استعمال کرسکتا ہے۔ اس میں نام نام کے عمل کو ختم کرنا اور مشترکہ اسٹوریج ڈائریکٹری تک اس کی رسائی منسوخ کرنا شامل ہوسکتی ہے۔
• آخری ریزورٹ کے طور پر ، ہم اسٹونتھ کے نام سے جانے والی تکنیک کے ساتھ پہلے سے چلنے والے نیم نام کو باڑ دے سکتے ہیں ، یا 'دوسرے نوڈ کو سر میں گولی مار سکتے ہیں'۔ اسٹیمنتھ نےمنوڈ مشین کو زبردستی طاقت کے ل power بجلی کی تقسیم کے ایک خصوصی یونٹ کا استعمال کیا ہے۔

خودکار فیل اوور:

فیل اوور ایک ایسا طریقہ کار ہے جس کے ذریعے جب کوئی غلطی یا ناکامی کا پتہ لگاتا ہے تو نظام خود بخود کنٹرول کو ثانوی نظام میں منتقل کرتا ہے۔ فیل اوور کی دو قسمیں ہیں:

مکرم فیل اوور: اس معاملے میں ، ہم معمول کی دیکھ بھال کے لئے ناکامی کو دستی طور پر شروع کرتے ہیں۔

خودکار فیل اوور: اس صورت میں ، نام نامی ناکامی (غیر منصوبہ بند واقعہ) کی صورت میں فیل اوور خود بخود شروع ہوجاتا ہے۔

اپاچی زوکیپر ایک ایسی خدمت ہے جو ایچ ڈی ایف ایس ہائی اویئیلیبلٹی کلسٹر میں خود کار طریقے سے فیل اوور صلاحیت مہیا کرتی ہے۔ یہ کوآرڈینیشن ڈیٹا کی تھوڑی مقدار برقرار رکھتا ہے ، اس اعداد و شمار میں تبدیلی کے مؤکلوں کو آگاہ کرتا ہے ، اور مؤکلوں کو ناکامیوں پر نگرانی کرتا ہے۔ زوکیپر نے نمونس کے ساتھ ایک سیشن برقرار رکھا۔ ناکامی کی صورت میں ، سیشن کی میعاد ختم ہوجائے گی اور زوکیپر دیگر نامناموں کو فیل اوور عمل شروع کرنے کے بارے میں بتائے گا۔ نیومنود کی ناکامی کی صورت میں ، دوسرے غیر فعال नेमنوڈ زوکیپر میں یہ کہہ کر تالا لگا سکتے ہیں کہ یہ اگلا فعال نام نام بننا چاہتا ہے۔

ZookeerFailoverController (زیڈ کے ایف سی) ایک زوکیپر کلائنٹ ہے جو نیومنڈ کی حیثیت کی بھی نگرانی کرتا ہے اور اس کا انتظام بھی کرتا ہے۔ ہر ایک نام نڈ ایک زیڈ ایف ایف سی بھی چلاتا ہے۔ زیڈ کے ایف سی وقتا فوقتا ناموں کی صحت کی نگرانی کا ذمہ دار ہے۔

اب جب آپ یہ سمجھ چکے ہیں کہ ایک ہڈوپ کلسٹر میں اعلی دستیابی کیا ہے ، اب وقت آگیا ہے کہ اسے مرتب کریں۔ ہڈوپ کلسٹر میں اعلی دستیابی قائم کرنے کے ل you آپ کو تمام نوڈس میں زوکیپر کا استعمال کرنا ہوگا۔

فعال نام کے نوڈیم میں ڈیمان یہ ہیں:

• زو کیپر
• زوکیپر فیل اوور کنٹرولر
• جرنل نوڈ
• نام نام

اسٹینڈ بائی نیم نام میں ڈیمان ہیں:

• زو کیپر
• زوکیپر فیل اوور کنٹرولر
• جرنل نوڈ
• نام نام

ڈیٹا نوڈ میں ڈیمان یہ ہیں:

• زو کیپر
• جرنل نوڈ
• ڈیٹا نوڈ

اگر آپ ایچ ڈی ایف ایس اور ہڈوپ میں مہارت حاصل کرنا چاہتے ہیں تو ، ایڈوریکا کے ذریعہ خصوصی طور پر تیار کردہ بگ ڈیٹا اور ہڈوپ کورس چیک کریں۔ شروع کرنے کے لئے نیچے دیئے گئے بٹن پر کلک کریں۔

ہڈوپ میں اعلی دستیابی کلسٹر کی ترتیب اور تشکیل:

آپ کو پہلے ہر نوڈ کے جاوا اور میزبان ناموں کو ترتیب دینا ہوگا۔

ہڈوپ اور زوکیپر بائنری ٹار فائل ڈاؤن لوڈ کریں ، کنفگریشن فائلوں میں ترمیم کرنے کیلئے فائلیں نکالیں۔

کمانڈ : ویجٹ https://archive.apache.org/dist/zookeeper/zookeeper-3.4.6/zookeeper-3.4.6.tar.gz

چڑیاگھر کو پھیلائیں۔ 3.4.6.tar.gz

کمانڈ : tar –xvf zookeeper-3.4.6.tar.gz

اپاچی ہڈوپ سائٹ سے مستحکم ہڈوپ بائنری ٹار ڈاؤن لوڈ کریں۔

کمانڈ : ویجٹ https://archive.apache.org/dist/hadoop/core/hadoop-2.6.0/hadoop-2.6.0.tar.gz

ہڈوپ ٹار بال نکالیں۔

کمانڈ : tar –xvf hadoop-2.6.0.tar.gz

ہڈوپ بائنری پھیلائیں۔

ہڈوپ ، زوکیپر اور راستے .bashrc فائل میں شامل کریں۔

.bashrc فائل کو کھولیں۔

کمانڈ : sudo gedit ~ / .bashrc

ذیل کے راستے شامل کریں:

برآمد HADOOP_HOME = برآمد HADOOP_MAPRED_HOME = $ HADOOP_HOME برآمد HADOOP_COMMON_HOME = $ HADOOP_HOME برآمد HADOOP_HDFS_HOME = $ HADOOP_HOME برآمد YARN_HOME = $ HADOOP_HOME برآمد HADOOP_CONF_DIR = $ HADOOP_HOME / وغیرہ / حدووپ برآمد YARN_CONF_DIR = $ HADOOP_HOME / وغیرہ / حدووپ برآمد JAVA_HOME = برآمد ZOOKEEPER_HOME = برآمد PATH = AT پی اے ٹی ایچ: A جاوا_ہوم / بن: AD ہیڈوپہوم / بِن: AD ہیڈوپحوم / ایسبین: OO زوکیپ پی ہوم / بن

.bashrc فائل میں ترمیم کریں۔

تمام نوڈ میں ایس ایس ایچ کو فعال کریں۔

تمام نوڈس میں SSH کلید بنائیں۔

کمانڈ : ssh-keygen rst RSSa (تمام نوڈس میں یہ مرحلہ)

تمام نوڈس میں SSH کلید ترتیب دیں۔

کلید کو بچانے کے لئے انٹر فائل کو کوئی راستہ نہ دیں اور کوئی پاسفریز نہ دیں۔ انٹر بٹن دبائیں۔

سارے نوڈس میں ssh key عمل تیار کریں۔

ایک بار ssh کیجی تیار ہوجانے کے بعد ، آپ کو عوامی کلید اور نجی کلید مل جائے گی۔

.ssh کلیدی ڈائرکٹری میں اجازت 700 پر مشتمل ہونا چاہئے اور .ssh ڈائرکٹری کے اندر موجود تمام چابیاں 60 کی اجازت پر مشتمل ہونی چاہئیں۔

SSH ڈائرکٹری کی اجازت کو تبدیل کریں۔

ڈائرکٹری کو .ssh میں تبدیل کریں اور فائلوں کی اجازت کو 600 میں تبدیل کریں

عوامی اور نجی کلید اجازت تبدیل کریں۔

آپ کو تمام نوڈس میں نام نوڈس ssh عوامی کلید کاپی کرنا ہوگی۔

ایکٹو نامی میں ، کیٹ کمانڈ کا استعمال کرتے ہوئے id_rsa.pub کاپی کریں۔

کمانڈ : بلی ~ / .ssh / id_rsa.pub >> ~ / .ssh / مجاز_کیز

Namenode ssh key کو اس کی مجاز کلیدوں پر کاپی کریں۔

استعمال کرتے ہوئے تمام نوڈس پر نام نڈ کی عوامی کلید کاپی کریں ssh-copy-id کمانڈ.

کمانڈ : ssh-copy-id –i .ssh / id_rsa.pub edureka@nn2.cluster.com

مقصد کی کلید کو اسٹینڈ بائی نیومنڈ پر کاپی کریں۔

نیومنڈ عوامی کلید کو ڈیٹا نوڈ پر کاپی کریں۔

کمانڈ : ssh-copy-id –i .ssh / id_rsa.pub edureka@dn1.cluster.com

نام کی عوامی کلید کو ڈیٹا نوڈ پر کاپی کریں۔

تمام نوڈس میں sshd سروس دوبارہ شروع کریں۔

کمانڈ : sudo سروس sshd دوبارہ شروع کریں (تمام نوڈس میں کرو)

SSH سروس دوبارہ شروع کریں۔

اب آپ نومنود کے کسی بھی نوڈ میں بغیر کسی تصدیق کے لاگ ان کرسکتے ہیں۔

ایکٹیویٹ نیم نوڈ سے کور-سائٹ.xml فائل کھولیں اور نیچے کی خصوصیات کو شامل کریں۔

ایکٹو نام کے نوڈ سے کور-سائٹ.xml میں ترمیم کریں

ایکٹیو نیومنود میں hdfs-site.xML فائل کھولیں۔ ذیل میں پراپرٹیز شامل کریں۔

dfs.namenode.name.dir / home / edureka / HA / data / namenode dfs.replication 1 dfs.perifications جھوٹے dfs.nameservices ha-cluster dfs.ha.namenodes.ha-cluster nn1، nn2 dfs.namenode.rpc-पता .ha-cluster.nn1 nn1.cluster.com:9000 dfs.namenode.rpc-address.ha-cluster.nn2 nn2.cluster.com:9000 dfs.namenode.http-address.ha-cluster.nn1 nn1.cluster۔ com: 50070 dfs.namenode.http-address.ha-cluster.nn2 nn2.cluster.com:50070 dfs.namenode.shared.edits.dir qjorter: //nn1.cluster.com: 8485nn2.cluster.com: 8485dn1۔ cluster.com:8485/ha-cluster dfs.client.failover.proxy.provider.ha-cluster org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider dfs.ha.automatic-failover.enabled true.zooaker .کورم nn1.cluster.com حقوق181،nn2.cluster.com حقوق181،dn1.cluster.com خصوصیات181 dfs.ha.fencing.methods sshfence dfs.ha.fencing.ssh.private-key-فائلیں / گھر / ایڈیورکا /.ssh/id_rsa

ڈائریکٹری کو زوکیپر کی کنفریٹ ڈائریکٹری میں تبدیل کریں۔

کمانڈ : سی ڈی زوکیپر- 3.4.6 / کنف

چڑیاگھر کنفریج ڈائریکٹری

ایک کنفریٹری ڈائرکٹری میں آپ کے پاس zoo_sample.cfg فائل ہے ، zoo_sample.cfg فائل کا استعمال کرتے ہوئے zoo.cfg بنائیں۔

کمانڈ : cp zoo_sample.cfg zoo.cfg

zoo.cfg فائل بنائیں۔

کسی بھی مقام پر ڈائریکٹری بنائیں اور چڑیاگھر کے ڈیٹا کو اسٹور کرنے کے لئے اس ڈائریکٹری کا استعمال کریں۔

کمانڈ : mkdir

زوکیپر ڈیٹا کو ذخیرہ کرنے کے لئے ایک ڈائریکٹری بنائیں۔

zoo.cfg فائل کھولیں۔

کمانڈ : gedit zoo.cfg

ڈائریکٹری کا راستہ جو اوپر والے مرحلے میں ڈیٹا ڈیر پراپرٹی میں تخلیق کیا گیا ہے شامل کریں اور zoo.cfg فائل میں باقی نوڈ سے متعلق نیچے کی تفصیلات شامل کریں۔

سرور 1 = nn1.cluster.com: 2888: 3888

سرور.2 = nn2.cluster.com: 2888: 3888

سرور.3 = dn1.cluster.com: 2888: 3888

zoo.cfg فائل میں ترمیم کریں۔

اب جاوا اور ہڈوپ - 2.6.0 ، زوکیپر 3.4.6 ڈائریکٹریز ، اور .brcrc فائل کو تمام نوڈس (اسٹینڈ بائی نیڈ نوڈ ، ڈیٹا نوڈ) میں ایس پی پی کمانڈ کا استعمال کرتے ہوئے کاپی کریں۔

کمانڈ : scp edr edureka @:

ہڈوپ ، زوکیپر اور .bashrc فائل کو تمام نوڈس پر کاپی کریں۔

اسی طرح ، .bashrc فائل اور چڑیا گھر کی ڈائرکٹری کو تمام نوڈس میں کاپی کریں اور متعلقہ نوڈ کے مطابق ہر ایک میں ماحولیاتی متغیرات کو تبدیل کریں۔

ڈیٹا نوڈ میں ، ایسی کوئی ڈائرکٹری بنائیں جہاں آپ کو ایچ ڈی ایف بلاکس کو اسٹور کرنے کی ضرورت ہو۔

ڈیٹا نوڈ میں ، آپ کو dfs.datanode.data.dir خصوصیات شامل کرنا ہوں گی۔

میرے معاملے میں ، میں نے پیدا کیا ڈیٹنوڈ ڈائریکٹری بلاکس کو ذخیرہ کرنے کے لئے.

ڈیٹانوڈ ڈائرکٹری بنائیں۔

ڈیٹا نوڈ ڈائریکٹری میں اجازت تبدیل کریں۔

ڈیٹا نود ڈائرکٹری کی اجازت کو تبدیل کریں۔

ایچ ڈی ایف ایس - سائٹ. ایکس ایم ایل فائل کھولیں ، ڈیفنس.ڈیٹا نود ڈاٹ ڈیٹا پراپرٹی میں اس ڈیٹا نود ڈائرکٹری کا راستہ شامل کریں۔

نوٹ: وہ تمام پراپرٹیز جو ایکٹیو نیومنود سے کاپی کی گئیں ہیں ان کو ڈیفس ڈاٹ این ڈاٹ ڈیٹا ڈائر شامل کریں۔

dfs.datanode.data.dir / گھر / ایڈیورکا / HA / ڈیٹا / ڈیٹانوڈ

ایکٹیویٹ نیم نام میں ، اس ڈائرکٹری کو تبدیل کریں جہاں آپ زوکیپر کنفیگریشن فائل (ڈیٹا ڈیر پراپرٹی پاتھ) کو اسٹور کرنا چاہتے ہیں۔

ڈائریکٹری کے اندر myid فائل بنائیں اور عددی 1 کو فائل میں شامل کریں اور فائل کو محفوظ کریں۔

کمانڈ : vi مائیڈ

myid فائل بنائیں۔

اسٹینڈ بائی نام میں ڈائرکٹری تبدیل کریں جہاں آپ زوکیپر کنفیگریشن فائل (ڈیٹا ڈیر پراپرٹی پاتھ) کو اسٹور کرنا چاہتے ہیں۔

ڈائریکٹری کے اندر myid فائل بنائیں اور عددی 2 کو فائل میں شامل کریں اور فائل کو محفوظ کریں۔

ڈیٹا نوڈ میں ، ڈائریکٹری تبدیل کریں جہاں آپ زوکیپر کنفیگریشن فائل (ڈیٹا ڈیر پراپرٹی پاتھ) کو اسٹور کرنا چاہتے ہیں۔

ڈائریکٹری کے اندر myid فائل بنائیں اور فائل میں عددی 3 شامل کریں اور فائل کو محفوظ کریں۔

جرنل نوڈ کو تینوں نوڈس میں شروع کریں۔

کمانڈ : hadoop-daemon.sh جرنل نوڈ شروع کریں

جرنل نوڈ شروع کریں۔

جب آپ jps کمانڈ داخل کریں گے ، آپ کو تمام نوڈس میں جرنل نوڈ ڈیمون نظر آئے گا۔

فارمیٹ کریںفعال مقصد

کمانڈ : ایچ ڈی ایف ایس - کا مقصد

متحرک نام کی شکل۔

نامیڈیم ڈیمان اور ایکٹو نامی کوڈ شروع کریں۔

کمانڈ : hadoop-daemon.sh شروعاتی مقصد

نام نام شروع کریں۔

ایچ ڈی ایف ایس میٹا ڈیٹا کو فعال نام کے نوڈ سے یوز نام کے نام پر کاپی کریں۔

کمانڈ : ایچ ڈی ایف ایس کا مقصد بوٹسٹریپ اسٹینڈ بائی ہے

ایکٹیو نیوم نوڈ سے ایچ ڈی ایف ایس میٹا ڈیٹا کو اسٹینڈ بائی نیم نام پر کاپی کریں۔

ایک بار جب آپ اس کمانڈ کو چلاتے ہیں تو ، آپ کو معلومات ملے گی کہ میٹا ڈیٹا کس نوڈ اور مقام سے کاپی کررہا ہے اور آیا یہ کامیابی سے کاپی کر رہا ہے یا نہیں۔

فعال مقصد کی تفصیلات کی معلومات۔

ایک بار میٹا ڈیٹا کو ایکٹو نامی نوڈ سے اسٹینڈ بائی نیم نام میں کاپی کرنے کے بعد ، آپ کو اسکرین شاٹ میں نیچے دکھایا گیا میسج مل جائے گا۔

اسٹینڈ بائی نیم نام میں ایچ ڈی ایف ایس کے بارے میں معلومات۔

اسٹینڈ بائی نیم نام مشین میں نیم ڈیمون کا آغاز کریں۔

کمانڈ : hadoop-daemon.sh شروعاتی مقصد

اب تینوں نوڈس میں زوکیپر سروس شروع کریں۔

کمانڈ : zkServer.sh start (تمام نوڈس میں اس کمانڈ کو چلائیں)

فعال مقصد میں:

ایکٹو نیوم نڈ میں چڑیا گھر کی شروعات کریں۔

یوز نام کے میں:

اسٹینڈ بائی نیومنڈ میں چڑیاگھر شروع کریں۔

ڈیٹا نوڈ میں:

ڈیٹا نوڈ میں چڑیا گھر کی شروعات کریں۔

زوکیپر سرور چلانے کے بعد ، جے پی ایس کمانڈ درج کریں۔ تمام نوڈس میں آپ کو کورمپیئر مین سروس نظر آئے گی۔

ڈیٹا نوڈ مشین میں ڈیٹا نوڈ ڈیمان شروع کریں۔

کمانڈ : hadoop-daemon.sh ڈیٹا نود شروع کریں

متحرک نام نوڈ اور یوز نام کے نوڈ میں زوکیپر فیل اوور کنٹرولر کو شروع کریں۔

ایکٹو نام نام میں چڑیا گھر کی ناکامی سے زیادہ کنٹرولر کو فارمیٹ کریں۔

کمانڈ: HDFS zkfc tformatZK

ZKFC کی شکل دیں۔

ZKFC کو ایکٹو نام سے شروع کریں۔

کمانڈ : hadoop-daemon.sh zkfc شروع کریں

DFSZkFailoverController ڈییمون کو چیک کرنے کے لئے jps کمانڈ درج کریں۔

زیڈ کے ایف سی کو شروع کریں۔

اسٹینڈ بائی نیم نام میں چڑیاگھر کی ناکامی سے زیادہ کنٹرولر کو فارمیٹ کریں۔

کمانڈ : hdfs zkfc tفارtZK

اسٹینڈ بائی نیم نام میں زیڈ کے ایف سی کو شروع کریں۔

کمانڈ : hadoop-daemon.sh zkfc شروع کریں

DFSZkFailoverController ڈییمون کو چیک کرنے کے لئے jps کمانڈ درج کریں۔

اب مندرجہ ذیل کمانڈ کا استعمال کرکے ، ہر نامونڈ کی حالت دیکھیں ، کہ کون سا نوڈ ایکٹو ہے یا کون سا اسٹینڈ بائی پر ہے۔

کمانڈ : hdfs haadmin –getServiceState nn1

ہر نام نڈ کی حیثیت کی جانچ کریں۔

اب ویب براؤزر کا استعمال کرتے ہوئے ہر نام ونڈ کی حیثیت کو چیک کریں۔

ویب براؤزر کھولیں اور نیچے یو آر ایل درج کریں۔

: 50070

اس سے معلوم ہوگا کہ نام نوڈ ایکٹو ہے یا اسٹینڈ بائی پر۔

بائنری تا اعشاریہ جاوا کوڈ

فعال نام نام

ویب براؤزر کا استعمال کرکے دوسرے نام کے نوڈ کی تفصیلات کھولیں۔

یوز نامہ۔

ایکٹیویٹ نیم نام میں ، اسٹینڈ بائی نام نوڈ کو فعال نام نڈ میں تبدیل کرنے کے لئے نام ڈیمون ڈیمون کو ماریں۔

متحرک نام نام میں jps درج کریں اور ڈیمون کو مار دیں۔

کمانڈ: sudo قتل -9

ڈیمنس پروسیس ID۔

نامیڈ پروسیس آئی ڈی 7606 ہے ، نام نام کو ہلاک کریں۔

کمانڈ : سوڈو قتل -9 7606

نام نوڈ کے عمل کو مار ڈالو

ویب براؤزر کے ذریعہ دو نوڈس کھولیں اور حالت دیکھیں۔

نام کی تفصیلات

نام کی حیثیت

مبارک ہو ، آپ نے ہڈوپ میں کامیابی کے ساتھ ایک ایچ ڈی ایف ایس ہائی دستیابی کلسٹر قائم کیا ہے۔

اب جب آپ ہڈوپ اعلی دستیابی کلسٹر آرکیٹیکچر کو سمجھ گئے ہیں تو ، چیک کریں ایڈوریکا کے ذریعہ ، ایک قابل اعتماد آن لائن سیکھنے والی کمپنی جس کی دنیا بھر میں 250،000 سے زیادہ مطمئن سیکھنے والوں کا نیٹ ورک موجود ہے۔ ایڈورکا بگ ڈیٹا ہاڈوپ سرٹیفیکیشن ٹریننگ کورس سیکھنے والوں کو ایچ ڈی ایف ایس ، سوت ، میپریڈوسیس ، پگ ، ہائوی ، ایچ بیس ، اوزئی ، فلایم اور سکوپ میں ماہر بننے میں مدد دیتا ہے جس کا استعمال خوردہ ، سوشل میڈیا ، ہوا بازی ، سیاحت ، فنانس ڈومین پر حقیقی وقت کے استعمال کے معاملات ہے۔

ہمارے لئے ایک سوال ہے؟ برائے کرم اس کا تذکرہ سیکشن میں ذکر کریں اور ہم آپ کو واپس ملیں گے۔

ونڈو._LQ_ = ونڈو._ ایل کیو_ || {

lqQuizModal (ونڈو ، دستاویز ، {کوئزآئڈ: ’XAIVp8 ′ ، بیس یو آر ایل:’ https: //quiz.leadquizzes.com/’،trigger: ’باہر نکلیں‘} ، _ LQ_)