ہڈوپ یارن ٹیوٹوریل۔ یاران فن تعمیر کے بنیادی اصول سیکھیں

ہڈوپ یاران نے مختلف پروسیسنگ ٹولز کے ساتھ ہڈوپ یعنی ایچ ڈی ایف ایس (ہڈوپ ڈسٹری بیوٹڈ فائل سسٹم) کے اسٹوریج یونٹ کو باندھا۔ آپ میں سے ان لوگوں کے لئے جو اس موضوع کے لئے بالکل نئے ہیں ، یاران کا مطلب ہے “ Y اور TO nother R وسیلہ این مثال کے طور پر. میں یہ بھی مشورہ دوں گا کہ آپ ہمارے پاس سے گزریں اور اس سے پہلے کہ آپ اپاچی ہیدوپ یارن سیکھ کر آگے بڑھیں۔ میں یہاں مندرجہ ذیل عنوانات کی وضاحت کروں گا تاکہ یہ یقینی بنایا جا سکے کہ اس بلاگ کے آخر میں ہڈوپ یاران کے بارے میں آپ کی تفہیم واضح ہے۔

• یاران کیوں؟
• ہڈوپ یارن کا تعارف
• یارن کے اجزاء
• یار میں درخواست جمع کروانا
• ہڈوپ یارن میں درخواست کا کام

یاران کیوں؟

ہڈوپ ورژن 1.0 میں جسے ایم آر وی 1 (میپریڈوسی ورژن 1) بھی کہا جاتا ہے ، میپ ریڈس نے پروسیسنگ اور وسائل کے انتظام کے دونوں کام انجام دئے۔ اس میں جاب ٹریکر شامل تھا جو واحد ماسٹر تھا۔ جاب ٹریکر نے وسائل مختص کیے ، نظام الاوقات انجام دیئے اور پروسیسنگ ملازمتوں کی نگرانی کی۔ اس نے نقشہ تفویض کیا اور متعدد ماتحت عملوں پر کاموں کو کم کیا جسے ٹاسک ٹریکر کہتے ہیں۔ ٹاسک ٹریکرس نے وقتا فوقتا اپنی پیشرفت جاب ٹریکر کو اطلاع دی۔

اس ڈیزائن کے نتیجے میں کسی ایک ملازمت ٹریکر کی وجہ سے توسیع پذیر رکاوٹ ہے۔آئی بی ایم نے اپنے مضمون میں ذکر کیا ہے کہ یاہو! کے مطابق ، اس طرح کے ڈیزائن کی عملی حدود 5000 نوڈس کے کلسٹر کے ساتھ اور 40،000 کام بیک وقت چل رہے ہیں۔اس حد کے علاوہ ، ایم آر وی ون میں کمپیوٹیشنل وسائل کا استعمال غیر موثر ہے۔ نیز ، ہڈوپ فریم ورک صرف میپریڈوسیس پروسیسنگ نمونہ تک محدود ہو گیا۔

ان تمام امور پر قابو پانے کے لئے ، یاران کو یادو اور ہارٹن ورکس نے سال 2012 میں ہڈوپ ورژن 2.0 میں متعارف کرایا تھا۔ یاران کے پیچھے بنیادی خیال ریسورس مینجمنٹ اور جاب شیڈولنگ کی ذمہ داری سنبھالنے سے میپریڈو کو فارغ کرنا ہے۔ یاران نے ہڈوپ کو ہڈوپ فریم ورک کے اندر نان میپریڈوسیس نوکریاں چلانے کی اہلیت دینا شروع کردی۔

آپ نیچے والی ویڈیو بھی دیکھ سکتے ہیں جہاں ہماری ماہر یار تصورات اور اس کے فن تعمیرات پر تفصیل سے گفتگو کر رہا ہے۔

ہڈوپ سوت سبق | ہڈوپ سوت فن تعمیر | ایڈوریکا

یاران کے تعارف کے ساتھ ، مکمل طور پر انقلابی تھا۔ یہ بہت زیادہ لچکدار ، موثر اور اسکیل ایبل بن گیا۔ جب یاہو 2013 کی پہلی سہ ماہی میں یارن کے ساتھ براہ راست گیا تھا ، تو اس نے کمپنی کو اپنے ہڈوپ کلسٹر کا سائز 40،000 نوڈس سے 32،000 نوڈس تک سکڑانے میں مدد کی تھی۔ لیکن ملازمتوں کی تعداد دگنی ہوکر 26 ملین ماہانہ ہوگئی۔

ہڈوپ یارن کا تعارف

اب جب میں نے آپ کو یارن کی ضرورت کے ساتھ روشنی ڈالی ہے ، تو میں آپ کو ہڈوپ وی 2.0 کے بنیادی جز سے متعارف کراتا ہوں ، یارن . یاران ڈیٹا پروسیسنگ کے مختلف طریقوں جیسے گراف پروسیسنگ ، انٹرایکٹو پروسیسنگ ، اسٹریم پروسیسنگ کے ساتھ ساتھ بیچ پروسیسنگ کو ایچ ڈی ایف ایس میں موجود ڈیٹا کو چلانے اور اس پر کارروائی کرنے کی اجازت دیتا ہے۔ لہذا یارن نے ہاڈوپ کو میپریڈوسیس سے آگے کی دوسری قسم کی تقسیم شدہ ایپلیکیشنز کے لئے کھول دیا۔

یارن نے صارفین کو متعدد ٹولز کا استعمال کرکے ضرورت کے مطابق آپریشن کرنے کا اہل بنایا ریئل ٹائم پروسیسنگ کے لئے ، چھتے ایس کیو ایل کے لئے ، HBase NoSQL اور دوسروں کے لئے۔

ریسورس مینجمنٹ کے علاوہ ، یاران جاب شیڈولنگ بھی انجام دیتا ہے۔ یاران وسائل اور شیڈولنگ کے کام مختص کرکے آپ کی پروسیسنگ کی تمام تر سرگرمیاں انجام دیتا ہے۔ اپاچی ہیدوپ یاران فن تعمیر میں مندرجہ ذیل اہم اجزاء شامل ہیں:

1. ریسورس منیجر : ماسٹر ڈیمون پر چلتا ہے اور کلسٹر میں وسائل مختص کرنے کا انتظام کرتا ہے۔
2. نوڈ منیجر: وہ غلام ڈیمون پر چلتے ہیں اور ہر ایک ڈیٹا نوڈ پر کسی ٹاسک کے عمل کے لئے ذمہ دار ہیں۔
3. درخواست ماسٹر: صارف کی ملازمت کی زندگی کا انتظام اور انفرادی درخواستوں کی وسائل کی ضروریات کا انتظام۔ یہ نوڈ منیجر کے ساتھ مل کر کام کرتا ہے اور کاموں پر عملدرآمد کی نگرانی کرتا ہے۔
4. کنٹینر: کسی ایک نوڈ پر رام ، سی پی یو ، نیٹ ورک ، ایچ ڈی ڈی وغیرہ سمیت وسائل کا پیکیج۔

یارن کے اجزاء

آپ یارڈ کو اپنے ہڈوپ ماحولیاتی نظام کا دماغ سمجھ سکتے ہیں۔ ذیل کی تصویر یاران فن تعمیر کی نمائندگی کرتی ہے۔

پہلا جزو یاران فن تعمیر کا ہے ،

ریسورس منیجر

• وسائل مختص کرنے میں یہ حتمی اختیار ہے .
• پروسیسنگ کی درخواستیں موصول ہونے پر ، اس کے مطابق درخواستوں کے کچھ حصے اسی طرح کے نوڈ مینیجرز کو منتقل کردیئے جاتے ہیں ، جہاں اصل پروسیسنگ ہوتی ہے۔
• یہ کلسٹر وسائل کا ثالث ہے اور مقابلہ ایپلی کیشنز کیلئے دستیاب وسائل کی تقسیم کا فیصلہ کرتا ہے۔
• کلسٹر استعمال کو بہتر بناتا ہے جیسے ہر وقت وسائل کو استعمال میں رکھنا جیسے مختلف رکاوٹوں جیسے استعداد کی گارنٹیوں ، انصاف پسندی اور SLAs کے خلاف۔
• اس کے دو بڑے اجزاء ہیں:a) شیڈولرb)درخواست مینیجر

a) شیڈولر

• شیڈولر مختلف چلتی ہوئی ایپلی کیشنز کو وسائل مختص کرنے کا ذمہ دار ہے جو قابلیت ، قطاریں وغیرہ کی پابندیوں سے مشروط ہیں۔
• اسے ریسورس مینجر میں ایک خالص نظام الاوقار کہا جاتا ہے ، جس کا مطلب ہے کہ یہ اطلاق کی کوئی نگرانی یا حیثیت کی کھوج نہیں کرتا ہے۔
• اگر درخواست میں ناکامی یا ہارڈ ویئر کی ناکامی ہوتی ہے تو ، شیڈولر ناکام کاموں کو دوبارہ شروع کرنے کی ضمانت نہیں دیتا ہے۔
• ایپلی کیشنز کے وسائل کی ضروریات کی بنیاد پر نظام الاوقات انجام دیتا ہے۔
• اس میں پلگ ایبل پالیسی پلگ ان ہے ، جو کلسٹر وسائل کو مختلف ایپلیکیشنز میں تقسیم کرنے کے لئے ذمہ دار ہے۔ اس طرح کے دو پلگ ان ہیں: اہلیت کا نظام الاوقات اور منصفانہ تخسوچک ، جو فی الحال ریسورس مینجر میں شیڈولرز کے بطور استعمال ہوتے ہیں۔

b) درخواست منیجر

• ملازمت کی گذارشات قبول کرنے کا ذمہ دار ہے۔
• ایپلی کیشن کے لئے مخصوص ایپلی کیشن ماسٹر کو انجام دینے کے لئے ریسورس منیجر سے پہلے کنٹینر سے بات چیت کرتا ہے۔
• ایک کلسٹر میں ایپلی کیشن ماسٹر چلانے کا انتظام کرتا ہے اور ناکامی پر ایپلی کیشن ماسٹر کنٹینر کو دوبارہ شروع کرنے کے لئے خدمت مہیا کرتا ہے۔

آرہا ہے دوسرا جزو کونسا:

نوڈ منیجر

• یہ ایک ہڈوپ کلسٹر میں انفرادی نوڈس کا خیال رکھتا ہے اوردیئے گئے نوڈ پر صارف کی ملازمتوں اور ورک فلو کا انتظام کرتا ہے۔
• یہ ریسورس منیجر کے ساتھ اندراج کرتا ہے اور نوڈ کی صحت کی حیثیت کے ساتھ دل کی دھڑکن بھیجتا ہے۔
• اس کا بنیادی مقصد وسائل مینیجر کے ذریعہ تفویض کردہ ایپلی کیشن کنٹینرز کا انتظام کرنا ہے۔
• یہ ریسورس مینیجر کے ساتھ تازہ ترین رہتا ہے۔
• ایپلی کیشن ماسٹر نوڈ منیجر سے تفویض کنٹینر کو کنٹینر لانچ سیاق و سباق (سی ایل سی) بھیج کر درخواست کرتا ہے جس میں چلانے کے لئے درخواست کی درکار ہر چیز شامل ہے۔ نوڈ منیجر درخواست کردہ کنٹینر عمل تیار کرتا ہے اور اسے شروع کرتا ہے۔
• انفرادی کنٹینرز کے وسائل کے استعمال (میموری ، سی پی یو) پر نظر رکھتا ہے۔
• لاگ مینجمنٹ انجام دیتا ہے۔
• یہ کنٹینر کو بھی ہلاک کرتا ہے جیسا کہ ریسورس منیجر نے ہدایت کی ہے۔

تیسرا جزو اپاچی ہیدوپ یارین کا ہے ،

درخواست ماسٹر

• ایک درخواست ایک واحد کام ہے جو فریم ورک میں جمع کیا جاتا ہے۔ اس طرح کی ہر درخواست کا ایک انوکھا ایپلی کیشن ماسٹر ہوتا ہے جو ایک فریم ورک کے ساتھ مخصوص ادارہ ہوتا ہے۔
• یہ وہ عمل ہے جو کسی کلسٹر میں کسی اطلاق کی عمل آوری کو مربوط کرتا ہے اور غلطیوں کا بھی انتظام کرتا ہے۔
• اس کا کام ریسورس مینیجر سے وسائل پر تبادلہ خیال کرنا ہے اور نوڈ منیجر کے ساتھ جزو کے کاموں کو انجام دینے اور نگرانی کے لئے کام کرنا ہے۔
• ریسورس مینجر سے وسائل کے مناسب کنٹینرز پر بات چیت کرنے ، ان کی حیثیت کو معلوم کرنے اور پیشرفت کی نگرانی کے لئے ذمہ دار ہے۔
• ایک بار شروع ہونے کے بعد ، وہ وقتا فوقتا اپنی صحت کی تصدیق کرنے اور وسائل کے مطالبات کے ریکارڈ کو اپ ڈیٹ کرنے کے لئے ریسورس منیجر کو دل کی دھڑکنیں بھیجتا ہے۔

چوتھا جزو ہے:

کنٹینر

• یہ جسمانی وسائل کا ایک مجموعہ ہے جیسے رام ، سی پی یو کور ، اور ایک نوڈ پر ڈسکیں۔
• یارن کنٹینرز کا انتظام کنٹینر لانچ سیاق و سباق کے ذریعہ کیا جاتا ہے جو کنٹینر لائف سائیکل (سی ایل سی) ہے۔ اس ریکارڈ میں ماحولیاتی تغیرات ، دور دراز سے قابل اسٹوریج میں محفوظ انحصار ، سیکیورٹی ٹوکن ، نوڈ منیجر خدمات کے لئے پے لوڈ اور عمل پیدا کرنے کے لئے ضروری کمانڈ کا نقشہ موجود ہے۔
• یہ کسی مخصوص میزبان پر وسائل کی ایک خاص مقدار (میموری ، سی پی یو وغیرہ) استعمال کرنے کے لئے کسی درخواست کو حقوق فراہم کرتا ہے۔

یار میں درخواست جمع کروانا

امیج کو دیکھیں اور ہڈوپ یارن کی درخواست جمع کروانے میں شامل اقدامات پر ایک نظر ڈالیں:

1) کام پیش کریں

جاوا میں کسی طاقت کے ل something کچھ اٹھائیں

2)درخواست کی شناخت حاصل کریں

3) درخواست جمع کرنے کا سیاق و سباق

4 ا) کنٹینر شروع کریںلانچ کریں

ب) ایپلی کیشن ماسٹر لانچ کریں

5) وسائل مختص کریں

6 ایک) کنٹینر

b) لانچ کریں

7) پھانسی

ہڈوپ یارن میں درخواست کا کام

دی گئی شبیہہ کا حوالہ دیں اور اپاچی ہڈوپ یارن کے اطلاق کے ورک فلو میں شامل درج ذیل اقدامات دیکھیں:

1. مؤکل ایک درخواست جمع کرواتا ہے
2. ریسورس منیجر ایپلی کیشن منیجر کو شروع کرنے کے لئے ایک کنٹینر مختص کرتا ہے
3. درخواست منیجر ریسورس مینیجر کے ساتھ اندراج کرتا ہے
4. ایپلیکیشن منیجر کنٹینرز کو ریسورس مینیجر سے پوچھتا ہے
5. ایپلیکیشن منیجر کنٹینر لانچ کرنے کے لئے نوڈ منیجر کو مطلع کرتا ہے
6. درخواست کوڈ کنٹینر میں پھانسی دی جاتی ہے
7. درخواست کی حیثیت کی نگرانی کے لئے موکل سے رابطے ریسورس منیجر / ایپلیکیشن منیجر
8. ایپلی کیشن منیجر ریسورس مینیجر کے ساتھ اندراج نہیں کرتا ہے

اب جب آپ اپاچی ہڈوپ یارن کو جانتے ہو تو ، چیک کریں ایڈوریکا کے ذریعہ ، ایک قابل اعتماد آن لائن سیکھنے والی کمپنی جس کی دنیا بھر میں 250،000 سے زیادہ مطمئن سیکھنے والوں کا نیٹ ورک موجود ہے۔ ایڈورکا بگ ڈیٹا ہاڈوپ سرٹیفیکیشن ٹریننگ کورس سیکھنے والوں کو ایچ ڈی ایف ایس ، سوت ، میپریڈوسیس ، پگ ، ہائوی ، ایچ بیس ، اوزئی ، فلایم اور سکوپ میں ماہر بننے میں مدد دیتا ہے جس کا استعمال خوردہ ، سوشل میڈیا ، ہوا بازی ، سیاحت ، فنانس ڈومین پر حقیقی وقت کے استعمال کے معاملات ہے۔

ہمارے لئے ایک سوال ہے؟ برائے کرم اس کا تذکرہ سیکشن میں ذکر کریں اور ہم آپ کو واپس ملیں گے۔