ہڈوپ انسٹال کریں: ایک واحد نوڈ ہڈوپ کلسٹر قائم کرنا

ہڈوپ انسٹال کریں: ایک واحد نوڈ ہڈوپ کلسٹر قائم کرنا

ہمارے پچھلے بلاگز سے ، آپ کو ہاڈوپ ، ایچ ڈی ایف ایس اور اس کے فن تعمیر کے بارے میں نظریاتی خیال ضرور ملا ہوگا۔لیکن حاصل کرنے کے لئے آپ کو اچھی طرح سے علم کی ضرورت ہے۔مجھے امید ہے کہ آپ کو ہمارا پچھلا بلاگ پسند آیا ہوگا ، اب میں آپ کو ہڈوپ اور ایچ ڈی ایف ایس کے بارے میں عملی معلومات کے ذریعے لے جاؤں گا۔ پہلا قدم آگے ہڈوپ انسٹال کرنا ہے۔

ہڈوپ انسٹال کرنے کے دو طریقے ہیں ، یعنی۔ سنگل نوڈ اور ملٹی نوڈ .

سنگل نوڈ کلسٹر اس کا مطلب ہے کہ صرف ایک ہی ڈاٹا نوڈ چل رہا ہے اور ایک ہی مشین پر تمام نیوم نڈ ، ڈیٹا نڈ ، ریسورس منیجر اور نوڈ مینجر کو مرتب کرنا ہے۔ یہ مطالعہ اور جانچ کے مقاصد کے لئے استعمال کیا جاتا ہے۔ مثال کے طور پر ، ہیلتھ کیئر انڈسٹری میں قائم نمونہ کے اعداد و شمار پر غور کریں۔ لہذا ، یہ جانچ کرنے کے لئے کہ آیا اوزئی ملازمتوں نے ایک مناسب ترتیب میں ڈیٹا اکٹھا کرنا ، جمع کرنا ، اسٹوریج اور پروسیسنگ جیسے سارے عمل شیڈول کیے ہیں ، ہم سنگل نوڈ کلسٹر کا استعمال کرتے ہیں۔ یہ بڑے ماحول کے مقابلے میں آسانی سے اور موثر انداز میں چھوٹے ماحول میں ترتیب وار ورک فلو کی جانچ کرسکتا ہے جس میں سیکڑوں مشینوں میں تقسیم ڈیٹا کی ٹیرا بائٹ ہوتی ہے۔

جبکہ ایک میں ملٹی نوڈ کلسٹر ، وہاں ایک سے زیادہ ڈیٹانوڈ چل رہے ہیں اور ہر ڈیٹا نوڈ مختلف مشینوں پر چل رہا ہے۔ ملٹی نوڈ کلسٹر عملی طور پر بڑے اعداد و شمار کے تجزیے کے لئے تنظیموں میں استعمال ہوتا ہے۔ مذکورہ بالا مثال پر غور کرتے ہوئے ، جب ہم ڈیٹا کے پیٹا بائٹس سے نمٹتے ہیں تو اصلی وقت میں ، اس پر عملدرآمد کے ل hundreds سیکڑوں مشینوں میں تقسیم کرنے کی ضرورت ہوتی ہے۔ اس طرح ، یہاں ہم ملٹی نوڈ کلسٹر استعمال کرتے ہیں۔

اس بلاگ میں ، میں آپ کو ایک نوڈ کلسٹر پر ہڈوپ انسٹال کرنے کا طریقہ دکھاتا ہوں۔

شرطیں

• ورچوئل باکس : یہ اس پر آپریٹنگ سسٹم انسٹال کرنے کے لئے استعمال ہوتا ہے۔
• آپریٹنگ سسٹم : آپ لینکس پر مبنی آپریٹنگ سسٹم پر ہڈوپ انسٹال کرسکتے ہیں۔ اوبنٹو اور سینٹوس بہت عام استعمال ہوتے ہیں۔ اس ٹیوٹوریل میں ، ہم CentOS استعمال کر رہے ہیں۔
• جاوا : آپ کو اپنے سسٹم میں جاوا 8 پیکیج انسٹال کرنے کی ضرورت ہے۔
• HADOOP : آپ کو ہڈوپ 2.7.3 پیکیج کی ضرورت ہے۔

ہڈوپ انسٹال کریں

مرحلہ نمبر 1: یہاں کلک کریں جاوا 8 پیکیج ڈاؤن لوڈ کرنے کے لئے۔ اس فائل کو اپنی ہوم ڈائریکٹری میں محفوظ کریں۔

مرحلہ 2: جاوا ٹار فائل کو نکالیں۔

کمانڈ : tar -xvf jdk-8u101-linux-i586.tar.gz

انجیر: ہڈوپ انسٹالیشن - جاوا فائلوں کو نکالنا

مرحلہ 3: ہڈوپ 2.7.3 پیکیج ڈاؤن لوڈ کریں۔

کمانڈ : ویجٹ https://archive.apache.org/dist/hadoop/core/hadoop-2.7.3/hadoop-2.7.3.tar.gz

انجیر: ہڈوپ انسٹالیشن - ہڈوپ ڈاؤن لوڈ کرنا

مرحلہ 4: ہڈوپ ٹار فائل نکالیں۔

کمانڈ : tar -xvf hadoop-2.7.3.tar.gz

انجیر: ہڈوپ انسٹالیشن - ہڈوپ فائلوں کو نکالنا

مرحلہ 5: باز فائل (.bashrc) میں ہڈوپ اور جاوا کے راستے شامل کریں۔

کھولو . bashrc فائل اب ، ہڈوپ اور جاوا پاتھ شامل کریں جیسا کہ ذیل میں دکھایا گیا ہے۔

کمانڈ : vi .bashrc

انجیر: ہڈوپ انسٹالیشن - ماحولیاتی متغیر کی ترتیب

پھر ، باز فائل کو محفوظ کریں اور اسے بند کردیں۔

موجودہ ٹرمینل میں ان تمام تبدیلیوں کو لاگو کرنے کے لئے ، سورس کمانڈ پر عمل کریں۔

کمانڈ : ماخذ .bashrc

انجیر: ہڈوپ انسٹالیشن environment فرحت بخش ماحولیات

یہ یقینی بنانے کے لئے کہ جاوا اور ہڈوپ آپ کے سسٹم پر مناسب طریقے سے انسٹال ہوئے ہیں اور ٹرمینل کے ذریعہ اس تک رسائی حاصل کی جاسکتی ہے ، ایجاوا - ورژن اور ہڈوپ ورژن کمانڈ کو xecute کریں۔

کمانڈ : جاواتبدیلی

انجیر: ہڈوپ انسٹالیشن۔ جاوا ورژن چیک ہو رہا ہے

کمانڈ : hadoopورژن

انجیر: ہڈوپ انسٹالیشن - ہڈوپ ورژن کی جانچ ہو رہی ہے

مرحلہ 6 : ترمیم کریں .

کمانڈ: سی ڈی hadoop-2.7.3 / وغیرہ / hadoop /

سرنی جاوا میں زیادہ سے زیادہ تعداد تلاش کریں

کمانڈ: ls

تمام ہڈوپ ترتیب فائلیں واقع ہیں hadoop-2.7.3 / etc / hadoop ڈائریکٹری جیسا کہ آپ نیچے اسنیپ شاٹ میں دیکھ سکتے ہیں:

انجیر: ہڈوپ انسٹالیشن - ہڈوپ کنفیگریشن فائلیں

مرحلہ 7 : کھولو کور-سائٹ.xml اور کنفیگریشن ٹیگ کے اندر مذکورہ پراپرٹی میں ترمیم کریں:

کور-سائٹ.xml ہڈوپ ڈیمون کو آگاہ کرتا ہے جہاں کلسٹر میں नेमنوڈ چلتا ہے۔ اس میں ہڈوپ کور کی ترتیب کی ترتیبات شامل ہیں جیسے I / O ترتیبات جو ایچ ڈی ایف ایس اور میپ ریڈیوس کے لئے عام ہیں۔

کمانڈ : vi کور-سائٹ.xml

انجیر: ہڈوپ انسٹالیشن - کور سائٹ. xml تشکیل کرنا

fs.default.name hdfs: // لوکل ہوسٹ: 9000

مرحلہ 8: ترمیم hdfs-site.xml اور کنفیگریشن ٹیگ کے اندر مذکورہ پراپرٹی میں ترمیم کریں:

hdfs-site.xml ایچ ڈی ایف ایس ڈیمون کی ترتیب کی ترتیبات پر مشتمل ہے (یعنی نام نوڈ ، ڈیٹا نوڈ ، ثانوی نام نمبر) اس میں نقل کی فیکٹر اور ایچ ڈی ایف ایس کے بلاک سائز بھی شامل ہیں۔

کمانڈ : vi hdfs-site.xml

تصویر: ہڈوپ انسٹالیشن - hdfs-site.xML تشکیل کرنا

dfs.replication 1 dfs.permission غلط

مرحلہ 9 : ترمیم کریں mapred-site.xml تشکیل ٹیگ کے اندر نیچے درج پراپرٹی کو فائل اور ایڈٹ کریں:

mapred-site.xml میپریڈوسی ایپلی کیشن کی ترتیب کی ترتیبات پر مشتمل ہے جیسے جے وی ایم کی تعداد جو متوازی طور پر چل سکتی ہے ، میپر کا سائز اور ریڈوسیسر عمل ، کسی عمل کے لئے دستیاب سی پی یو کور وغیرہ۔

کچھ معاملات میں ، mapred-site.xML فائل دستیاب نہیں ہے۔ لہذا ، ہمیں میپریڈ سائٹ- ایکس ایم ایل فائل بنانی ہوگیmapred-site.xML ٹیمپلیٹ کا استعمال کرتے ہوئے۔

کمانڈ : cp mapred-site.xml.template mapred-site.xml

کمانڈ : ہم نقشہ دارسائٹxML.

C ++ میں صف ترتیب دیں

انجیر: ہڈوپ انسٹالیشن - میپریڈ سائٹ سائٹ ایکس ایکس ایل کی تشکیل

mapreduce.framework.name سوت

مرحلہ 10: ترمیم سوت-سائٹ.xml اور کنفیگریشن ٹیگ کے اندر مذکورہ پراپرٹی میں ترمیم کریں:

سوت-سائٹ.xml ریسورس مینجر اور نوڈ مینجر کی ترتیب کی ترتیبات پر مشتمل ہے جیسے ایپلی کیشن میموری میموری مینجمنٹ سائز ، پروگرام اور الگورتھم پر ضروری آپریشن وغیرہ۔

کمانڈ : vi سوت-سائٹ.xml

انجیر: ہڈوپ انسٹالیشن - سوت سائٹ.xml کی تشکیل

yarn.nodemanager.aux-Services mapreduce_shuffle

مرحلہ 11: ترمیم hadoop-env.sh اور جاوا پاتھ شامل کریں جیسا کہ ذیل میں بتایا گیا ہے:

hadoop-env.sh ماحولیاتی متغیرات پر مشتمل ہے جو ہڈوپ کو جاوا ہوم پاتھ وغیرہ چلانے کے لئے اسکرپٹ میں استعمال ہوتا ہے۔

کمانڈ : ہم hadoop-env.ایسیچ

انجیر: ہڈوپ انسٹالیشن had ہینڈوپ انویس.ش کی تشکیل

مرحلہ 12: ہڈوپ ہوم ڈائرکٹری پر جائیں اور نیومنوڈ فارمیٹ کریں۔

کمانڈ : سی ڈی

کمانڈ : سی ڈی hadoop-2.7.3

کمانڈ : بن / ہڈوپ مقصد - شکل

انجیر: ہڈوپ انسٹالیشن - فارمیٹنگ نیومنڈ

یہ نامونڈ کے توسط سے ایچ ڈی ایف ایس کو فارمیٹ کرتا ہے۔ یہ کمانڈ صرف پہلی بار عمل میں لایا گیا ہے۔ فائل سسٹم کو فارمیٹ کرنے کا مطلب ہے dfs.name.dir متغیر کے ذریعہ بیان کردہ ڈائریکٹری کو شروع کرنا۔

ہڈوپ فائل سسٹم کو کبھی فارمیٹ ، اپ اور چلانے کا کام نہ کریں۔ آپ اپنا سارا ڈیٹا ایچ ڈی ایف ایس میں کھو دیں گے۔

مرحلہ 13: ایک بار جب نامونٹ فارمیٹ ہوجاتا ہے تو ، ہڈوپ - 2.7.3 / ایس بین ڈائرکٹری پر جائیں اور تمام ڈیمانز شروع کریں۔

کمانڈ: سی ڈی hadoop-2.7.3 / sbin

یا تو آپ تمام کمانوں کو ایک ہی کمانڈ سے شروع کرسکتے ہیں یا انفرادی طور پر کرسکتے ہیں۔

کمانڈ: ./ start-all.sh

مذکورہ کمانڈ کا مجموعہ ہے start-dfs.sh، start-yarn.sh اور mr-jobhistory-deemon.sh

یا آپ انفرادی طور پر تمام خدمات کو نیچے کی طرح چلا سکتے ہیں:

نام نام شروع کریں:

नेमنوڈ ایچ ڈی ایف ایس فائل سسٹم کا مرکز ہے۔ یہ ایچ ڈی ایف ایس میں ذخیرہ شدہ تمام فائلوں کا ڈائریکٹری ٹری رکھتا ہے اور کلسٹر میں جمع کی گئی تمام فائلوں کو ٹریک کرتا ہے۔

کمانڈ: ./hadoop-daemon.sh مقصد شروع کریں

انجیر: ہڈوپ انسٹالیشن - نام نمبر شروع کرنا

ڈیٹا نوڈ شروع کریں:

شروعات کے وقت ، ایک ڈیٹا نوڈ نام ونڈ سے منسلک ہوتا ہے اور یہ مختلف کاروائیوں کے لئے نمنود سے درخواستوں کا جواب دیتا ہے۔

کمانڈ: ./hadoop-daemon.sh ڈیٹا نود شروع کریں

انجیر: ہڈوپ انسٹالیشن - ڈیٹا نوڈ شروع کرنا

ریسورس منیجر شروع کریں:

ریسورس منیجر وہ ماسٹر ہے جو دستیاب کلسٹر وسائل کو ثالثی کرتا ہے اور یار سسٹم پر چلنے والی تقسیم شدہ ایپلیکیشنز کے انتظام میں مدد کرتا ہے۔ اس کا کام ہر نوڈ مینیجرز اور ہر ایک کی ایپلی کیشن ماسٹر کا انتظام کرنا ہے۔

کمانڈ: ./ یارن-Demon.sh شروع وسائل مینجر

انجیر: ہڈوپ انسٹالیشن - ریسورس مینجر شروع کرنا

نوڈ مینجر شروع کریں:

ہر مشین فریم ورک میں نوڈ منیجر وہ ایجنٹ ہوتا ہے جو کنٹینرز کا انتظام کرنے ، ان کے وسائل کے استعمال کی نگرانی اور ریسورس مینجر کو اسی کی اطلاع دینے کا ذمہ دار ہوتا ہے۔

کمانڈ: ./ یارن-Demon.sh نوڈیمینجر شروع کریں

مصنوعی ذہانت میں جدید ترین ٹیکنالوجی

انجیر: ہڈوپ انسٹالیشن - نوڈ مینجر شروع کرنا

جاب ہسٹری سرور شروع کریں:

جاب ہسٹریسرور موکل کی طرف سے ملازمت کی تاریخ سے متعلق تمام درخواستوں کی خدمت کے لئے ذمہ دار ہے۔

کمانڈ : ./mr-jobhistory-deemon.sh تاریخ کو شروع کرنے والا شروع کریں

مرحلہ 14: یہ چیک کرنے کے لئے کہ تمام ہڈوپ سروسز چل رہی ہیں اور نیچے چل رہی ہیں ، ذیل میں کمانڈ چلائیں۔

کمانڈ: jps

انجیر: ہڈوپ انسٹالیشن em ڈیمن کی جانچ ہو رہی ہے

مرحلہ 15: اب موزیلا براؤزر کھولیں اور جائیں لوکل ہوسٹ : 50070 / dfshealth.html NameNode انٹرفیس چیک کرنے کے لئے.

تصویر: ہڈوپ انسٹالیشن - WebUI شروع کرنا

مبارک ہو ، آپ نے ایک ہی بار میں ایک ہی نوڈ ہڈوپ کلسٹر کامیابی کے ساتھ انسٹال کیا ہے۔ہمارے اگلے بلاگ میں ، ہم ایک ملٹی نوڈ کلسٹر پر ہڈوپ انسٹال کرنے کے طریقہ کو ڈھکنے لگیں گے۔

اب جب آپ ہڈوپ انسٹال کرنے کا طریقہ سمجھ چکے ہیں تو ، چیک کریں ایڈوریکا کے ذریعہ ، ایک قابل اعتماد آن لائن سیکھنے والی کمپنی جس کی دنیا بھر میں 250،000 سے زیادہ مطمئن سیکھنے والوں کا نیٹ ورک موجود ہے۔ ایڈورکا بگ ڈیٹا ہاڈوپ سرٹیفیکیشن ٹریننگ کورس سیکھنے والوں کو ایچ ڈی ایف ایس ، سوت ، میپریڈوسیس ، پگ ، ہائوی ، ایچ بیس ، اوزئی ، فلایم اور سکوپ میں ماہر بننے میں مدد دیتا ہے جس کا استعمال خوردہ ، سوشل میڈیا ، ہوا بازی ، سیاحت ، فنانس ڈومین پر حقیقی وقت کے استعمال کے معاملات ہے۔

ہمارے لئے ایک سوال ہے؟ برائے کرم اس کا تذکرہ سیکشن میں ذکر کریں اور ہم آپ کو واپس ملیں گے۔