HBase فن تعمیر: HBase ڈیٹا ماڈل اور HBase پڑھیں / لکھیں میکانزم

HBase فن تعمیر

میرے پچھلے بلاگ پر HBase سبق ، میں نے وضاحت کی کہ HBase کیا ہے اور اس کی خصوصیات کیا ہے۔ میں نے آپ کو بہتر سے جڑنے میں مدد کرنے کے لئے فیس بک میسنجر کے کیس اسٹڈی کا بھی ذکر کیا۔ اب ہمارے میں آگے بڑھنے ، میں آپ کو HBase اور HBase فن تعمیر کا ڈیٹا ماڈل سمجھاؤں گا۔اس سے پہلے کہ آپ آگے بڑھیں ، آپ کو یہ بھی معلوم ہونا چاہئے کہ ایچ بیس ایک اہم تصور ہے جو اس کا ایک لازمی حصہ ہے بگ ڈیٹا ہڈوپ سرٹیفیکیشن کیلئے۔

اس HBase فن تعمیراتی بلاگ میں جن اہم عنوانات کے بارے میں میں آپ کو لے کر جاؤں گا وہ ہیں۔

• HBase ڈیٹا ماڈل
• HBase فن تعمیر اور یہ اجزاء ہیں
• HBase لکھیں میکانزم
• HBase پڑھیں میکانزم
• HBase کارکردگی کو بہتر بنانے کے طریقہ کار

آئیے پہلے HBase کے ڈیٹا ماڈل کو سمجھیں۔ یہ تیز پڑھنے / لکھنے اور تلاش میں HBase کی مدد کرتا ہے۔

HBase فن تعمیر: HBase ڈیٹا ماڈل

جیسا کہ ہم جانتے ہیں ، HBase کالم پر مبنی NoSQL ڈیٹا بیس ہے۔ اگرچہ یہ رشتہ دار ڈیٹا بیس کی طرح لگتا ہے جس میں قطاریں اور کالم شامل ہیں ، لیکن یہ کوئی رشتہ دار ڈیٹا بیس نہیں ہے۔ متعلقہ ڈیٹا بیس صف پر مبنی ہیں جبکہ HBase کالم پر مبنی ہے۔ تو ، آئیے ہم پہلے کالم پر مبنی اور قطار پر مبنی ڈیٹا بیس کے مابین فرق کو سمجھیں:

قطار پر مبنی بمقابلہ کالم پر مبنی ڈیٹا بیس:

• قطار پر مبنی ڈیٹا بیس قطار کے تسلسل میں ٹیبل ریکارڈ اسٹور کرتے ہیں۔ جبکہ کالم پر مبنی ڈیٹا بیسجدول کے ریکارڈ کو کالموں کے تسلسل میں اسٹور کریں ، یعنی کالم میں اندراجات ڈسکوں پر منسلک مقامات پر محفوظ ہیں۔

اسے بہتر طور پر سمجھنے کے ل us ، آئیے ایک مثال لیں اور ذیل میں دیئے گئے ٹیبل پر غور کریں۔

اگر یہ ٹیبل صف پر مبنی ڈیٹا بیس میں محفوظ ہے۔ یہ ریکارڈ کے طور پر نیچے دکھایا گیا ہے ذخیرہ کرے گا:

ایک،پال والکر،امریکہ،231،بہادر،

2 ، ون ڈیزل،برازیل،520،مستنگ

صف پر مبنی ڈیٹا بیس میں ڈیٹا قطار یا ٹپل کی بنیاد پر محفوظ کیا جاتا ہے جیسا کہ آپ اوپر دیکھ سکتے ہیں۔

جبکہ کالم پر مبنی ڈیٹا بیس اس ڈیٹا کو بطور ذخیرہ کرتے ہیں۔

ایک،2، پال والکر،ون ڈیزل، امریکہ،برازیل، 231،520، بہادر،مستنگ

کالم پر مبنی ڈیٹا بیس میں ، کالم کی ساری قدریں ایک ساتھ جمع کی جاتی ہیں جیسے پہلے کالم کی قیمتوں کو اکٹھا کیا جائے گا ، پھر دوسرا کالم ویلیوز اکٹھا کیا جائے گا اور دوسرے کالموں میں ڈیٹا بھی اسی طرح اسٹور کیا جائے گا۔

• جب ڈیٹا کی مقدار بہت زیادہ ہوتی ہے ، جیسے پیٹا بائٹس یا ایکسبی بائٹس کے لحاظ سے ، تو ہم کالم پر مبنی نقطہ نظر کا استعمال کرتے ہیں ، کیونکہ ایک ہی کالم کا ڈیٹا اکٹھا کیا جاتا ہے اور تیزی سے اس تک رسائی حاصل کی جا سکتی ہے۔
• جبکہ قطار پر مبنی نقطہ نظر نسبتاly صفوں اور کالموں کی کم تعداد کو موثر انداز میں ہینڈل کرتا ہے ، کیوں کہ قطار پر مبنی ڈیٹا بیس اسٹور کا ڈیٹا ایک سنجیدہ شکل ہے۔
• جب ہمیں نیم ساختہ یا غیر ساختہ اعداد و شمار کے بڑے سیٹ پر کارروائی اور تجزیہ کرنے کی ضرورت ہوتی ہے تو ، ہم کالم پر مبنی نقطہ نظر کا استعمال کرتے ہیں۔ جیسے ایپلی کیشنز سے نمٹنے کے آن لائن تجزیاتی پروسیسنگ جیسے ڈیٹا کان کنی ، ڈیٹا گودام ، تجزیات بشمول تجزیات وغیرہ۔
• جبکہ ، آن لائن ٹرانزیکشنل پروسیسنگ جیسے بینکنگ اور فنانس ڈومین جو ساخت کا ڈیٹا سنبھالتے ہیں اور ٹرانزیکشنل پراپرٹی (ACID پراپرٹیز) کی ضرورت ہوتی ہیں وہ قطار پر مبنی نقطہ نظر کا استعمال کرتے ہیں۔

ایچ بیس جدول میں مندرجہ ذیل اجزاء ہیں ، جو نیچے کی تصویر میں دکھایا گیا ہے۔

• میزیں : ڈیٹا HBase میں ایک ٹیبل کی شکل میں محفوظ کیا جاتا ہے۔ لیکن یہاں ٹیبل کالم پر مبنی فارمیٹ میں ہیں۔
• قطار چابی : صف کی چابیاں ریکارڈز کی تلاش کے ل are استعمال ہوتی ہیں جو تلاشوں کو تیز تر بناتی ہیں۔ آپ جاننے کے لئے کس طرح دلچسپ ہوں گے؟ میں اس بلاگ میں اس کو فن تعمیراتی حصہ میں آگے بڑھنے کی وضاحت کروں گا۔
• کالم اہل خانہ : ایک کالم فیملی میں مختلف کالم مل جاتے ہیں۔ یہ کالم کنبے ایک ساتھ جمع ہیں جو تلاشی کا عمل تیز تر بناتے ہیں کیونکہ ایک ہی کالم فیملی سے تعلق رکھنے والے ڈیٹا کو ایک ہی تلاش میں حاصل کیا جاسکتا ہے۔
• کالم کوالیفائیر : ہر کالم کا نام اپنے کالم کوالیفائر کے نام سے جانا جاتا ہے۔
• سیل : خلیات میں ڈیٹا محفوظ ہوتا ہے۔ اعداد و شمار کو سیلوں میں پھینک دیا جاتا ہے جن کی شناخت خاص طور پر راؤکی اور کالم کوالیفائر سے ہوتی ہے۔
• ٹائم اسٹیمپ : ٹائم اسٹیمپ تاریخ اور وقت کا ایک مجموعہ ہے۔ جب بھی ڈیٹا کو اسٹور کیا جاتا ہے تو ، اس کو اپنے ٹائم اسٹیمپ کے ساتھ اسٹور کیا جاتا ہے۔ اس سے اعداد و شمار کے مخصوص ورژن کو تلاش کرنا آسان ہوجاتا ہے۔

زیادہ آسان اور سمجھنے والے انداز میں ، ہم یہ کہہ سکتے ہیں کہ HBase پر مشتمل ہے:

• میزیں سیٹ کریں
• کالم کنبے اور قطار کے ساتھ ہر ٹیبل
• رو کلید HBase میں پرائمری کلید کی حیثیت سے کام کرتی ہے۔
• HBase جدولوں تک کسی بھی رسائی میں یہ بنیادی کلید استعمال ہوتی ہے
• HBase میں موجود ہر کالم کوالیفائر سیل میں رہتے ہوئے آبجیکٹ سے مماثل وصف ظاہر کرتا ہے۔

اب جب کہ آپ HBase ڈیٹا ماڈل کے بارے میں جانتے ہیں ، آئیے ہم دیکھتے ہیں کہ یہ ڈیٹا ماڈل HBase فن تعمیر کے مطابق کیسے آتا ہے اور اسے بڑے اسٹوریج اور تیز پروسیسنگ کے ل suitable موزوں بنا دیتا ہے۔

HBase فن تعمیر: HBase فن تعمیر کے اجزاء

HBase کے تین بڑے اجزاء ہیں ، یعنی ، HMaster سرور ، HBase ریجن سرور ، علاقے اور زو کیپر .

مندرجہ ذیل اعداد و شمار HBase فن تعمیر کے درجات کی وضاحت کرتی ہے۔ ہم انفرادی طور پر ان میں سے ہر ایک کے بارے میں بات کریں گے۔

اب ایچ ایمسٹر جانے سے پہلے ، ہم ریجنوں کو سمجھیں گے کیوں کہ یہ تمام سرور (ایچ ایمسٹر ، ریجن سرور ، زو کیپر) ریجنز کو مربوط اور منظم کرنے اور علاقوں کے اندر مختلف آپریشن انجام دینے کے لئے رکھے گئے ہیں۔ لہذا آپ جاننے کے لئے جاننا چاہیں گے کہ کون سے علاقے ہیں اور وہ اتنے اہم کیوں ہیں؟

HBase فن تعمیر: علاقہ

ایک خطے میں اسٹارٹ کی اور اس علاقے کو تفویض کردہ آخری کلید کے درمیان کی تمام قطاریں شامل ہیں۔ HBase میزیں متعدد خطوں میں اس طرح تقسیم کی جاسکتی ہیں کہ کالم کنبے کے تمام کالم ایک خطے میں محفوظ ہوجائیں۔ ہر خطے میں ترتیب میں قطاریں شامل ہیں۔

بہت سے علاقوں کو ایک کو تفویض کیا جاتا ہے ریجن سرور ، جو خطوں کے اس سیٹ پر کاموں کو سنبھالنے ، سنبھالنے ، پڑھنے اور لکھنے کے ذمہ دار ہے۔

جاوا میں الگورتھم اور ڈیٹا ڈھانچے

لہذا ، ایک آسان طریقہ پر اختتام کرنا:

• ایک میز کو متعدد علاقوں میں تقسیم کیا جاسکتا ہے۔ ایک خطہ قطار کی ایک ترتیب شدہ رینج ہے جس میں اسٹارٹ کی اور اختتامی چابی کے مابین ڈیٹا اسٹور ہوتا ہے۔
• ایک ریجن میں 256MB کا ڈیفالٹ سائز ہوتا ہے جسے ضرورت کے مطابق ترتیب دیا جاسکتا ہے۔
• ریجن سرور کے ذریعہ گاہکوں کو خطوں کا ایک گروپ پیش کیا جاتا ہے۔
• ایک ریجن سرور کلائنٹ کو تقریبا 1000 علاقوں کی خدمت کرسکتا ہے۔

اب درجہ بندی کے اوپری حصے سے شروع کرتے ہوئے ، میں پہلے آپ کو ایچ ایمسٹر سرور کے بارے میں وضاحت کرنا چاہتا ہوں جو اسی طرح میں نیومنڈ کی طرح کام کرتا ہے۔ ایچ ڈی ایف ایس . تب ، درجہ بندی میں نیچے جاکر ، میں آپ کو زوکیپر اور ریجن سرور کے ذریعہ لے جاؤں گا۔

HBase فن تعمیر: ایچ ایمسٹر

جیسا کہ نیچے دی گئی تصویر کی طرح ، آپ دیکھ سکتے ہیں کہ ایچ ایمسٹر ریجن سرور کا ایک مجموعہ سنبھالتا ہے جو ڈیٹا نوڈ پر رہتا ہے۔ آئیے ہم سمجھیں کہ ایچ ایمسٹر ایسا کیسے کرتا ہے۔

• HBase HMaster DDL آپریشن کرتا ہے (ٹیبلز بنائیں اور حذف کریں) اور ریجن سرورز کو علاقوں کی تفویض کریں جیسا کہ آپ مندرجہ بالا تصویر میں دیکھ سکتے ہیں۔
• یہ ریجن سرور کو مربوط اور منظم کرتا ہے (جیسا کہ نام نوڈ ایچ ڈی ایف ایس میں ڈیٹا نوڈ کا انتظام کرتا ہے)۔
• یہ ریجن سرورز کو اسٹارٹ اپ پر ریجنز کو تفویض کرتا ہے اور ریکوری اور لوڈ بیلنس کے دوران ریجن سرورز کو ریجنز کو دوبارہ تفویض کرتا ہے۔
• یہ کلسٹر (زون کیپر کی مدد سے) میں ریجن سرور کے تمام واقعات پر نظر رکھتا ہے اور جب بھی کوئی بھی ریجن سرور بند ہوتا ہے تو بازیابی کی سرگرمیاں انجام دیتا ہے۔
• یہ میزیں بنانے ، حذف کرنے اور تازہ کاری کرنے کے لئے ایک انٹرفیس فراہم کرتا ہے۔

HBase میں ایک تقسیم شدہ اور بہت بڑا ماحول ہے جہاں ہر چیز کا نظم و نسق کرنے کے لئے صرف HMaster ہی کافی نہیں ہے۔ تو ، آپ حیران ہوں گے کہ اس وسیع ماحول کو سنبھالنے میں HMaster کی مدد کیا کرتا ہے؟ اسی جگہ پر زوکیپر تصویر میں آتا ہے۔ جب ہم یہ سمجھنے کے بعد کہ HMaster HBase ماحول کو کس طرح منظم کرتا ہے ، تو ہم سمجھ جائیں گے کہ زو کیپر ماحول کے انتظام میں HMaster کی کس طرح مدد کرتا ہے۔

HBase فن تعمیر: زوکیپر - کوآرڈینیٹر

نیچے دی گئی اس تصویر میں زوکیپر کے کوآرڈینیشن میکانزم کی وضاحت کی گئی ہے۔

• زو کیپر HBase تقسیم ماحول میں کسی کوآرڈینیٹر کی طرح کام کرتا ہے۔ یہ سیشنوں کے ذریعہ بات چیت کرکے کلسٹر کے اندر سرور ریاست کو برقرار رکھنے میں معاون ہے۔
• ایچ ایمسٹر سرور کے ساتھ ہر ریجن سرور زو کیپر کو باقاعدہ وقفے پر دل کی دھڑکن کو مسلسل بھیجتا ہے اور یہ چیک کرتا ہے کہ کون سا سرور زندہ ہے اور دستیاب تصویر کے مطابق۔ یہ سرور کی ناکامی کی اطلاعات بھی فراہم کرتا ہے تاکہ بحالی کے اقدامات پر عمل درآمد کیا جاسکے۔
• مندرجہ بالا شبیہہ کا حوالہ دیتے ہوئے جو آپ دیکھ سکتے ہیں ، وہاں ایک غیر فعال سرور ہے ، جو فعال سرور کے بیک اپ کا کام کرتا ہے۔ اگر فعال سرور ناکام ہوجاتا ہے ، تو یہ بچاؤ کے لئے آتا ہے۔
• فعال HMaster چڑیاگھر کو دل کی دھڑکنیں بھیجتا ہے جبکہ غیر فعال HMaster فعال HMaster کے ذریعہ بھیجے گئے نوٹیفکیشن کو سنتا ہے۔ اگر فعال HMaster دل کی دھڑکن بھیجنے میں ناکام رہتا ہے تو سیشن کو حذف کردیا جاتا ہے اور غیر فعال HMaster فعال ہوجاتا ہے۔
• اگر کوئی ریجن سرور دل کی دھڑکن بھیجنے میں ناکام رہتا ہے تو ، سیشن کی میعاد ختم ہو جاتی ہے اور تمام سننے والوں کو اس کے بارے میں مطلع کیا جاتا ہے۔ پھر ایچ ایمسٹر موزوں بازیافت کے مناسب اقدامات انجام دیتا ہے جس پر ہم بعد میں اس بلاگ پر تبادلہ خیال کریں گے۔
• زوکیپر نے .META سرور کا راستہ بھی برقرار رکھا ہے ، جو کسی بھی خطے کی تلاش میں کسی بھی مؤکل کی مدد کرتا ہے۔ پہلے کلائنٹ کو .META سرور سے چیک کرنا پڑتا ہے جس میں ریجن سرور کا تعلق ایک خطہ سے ہے ، اور اس سے اس ریجن سرور کی راہ مل جاتی ہے۔

جیسا کہ میں نے. میٹا سرور کے بارے میں بات کی ہے ، مجھے پہلے آپ کو بتانے دو کہ .META سرور کیا ہے؟ لہذا ، آپ آسانی سے زوکیپر اور. میٹا سرور کے کام کو ایک ساتھ جوڑ سکتے ہیں۔ بعد میں ، جب میں آپ کو اس بلاگ میں HBase سرچ میکانزم کی وضاحت کروں گا ، تب میں بتادوں گا کہ یہ دونوں کس طرح باہمی تعاون سے کام کرتے ہیں۔

HBase فن تعمیر: میٹا ٹیبل

• میٹا ٹیبل ایک خصوصی HBase کیٹلاگ کی میز ہے۔ یہ تمام خطوں کے سرورز کی ایک فہرست کو برقرار رکھتا ہے HBase اسٹوریج سسٹم میں ، جیسا کہ آپ مندرجہ بالا تصویر میں دیکھ سکتے ہیں۔
• اعداد و شمار کو دیکھ کر جو آپ دیکھ سکتے ہیں ، .میٹا فائل چابیاں اور اقدار کی شکل میں میز کو برقرار رکھتی ہے۔ کلید اس خطے اور اس کی شناخت کی کلید کی نمائندگی کرتی ہے جبکہ قیمت ریجن سرور کی راہ پر مشتمل ہوتی ہے۔

جیسا کہ میں نے پہلے ہی تبادلہ خیال کیا ہے ، ریجن سرور اور اس کے افعال اس وقت جب میں آپ کو خطوں کی وضاحت کر رہا تھا ، اب ہم درجہ بندی کو آگے بڑھ رہے ہیں اور میں ریجن سرور کے جزو اور ان کے افعال پر توجہ دوں گا۔ بعد میں میں تلاش کرنے ، پڑھنے ، لکھنے کے طریقہ کار پر تبادلہ خیال کروں گا اور یہ سمجھوں گا کہ یہ سارے اجزا مل کر کیسے کام کرتے ہیں۔

HBase فن تعمیر: ریجن سرور کے اجزاء

یہ نیچے کی تصویر ایک ریجن سرور کے اجزاء کو ظاہر کرتی ہے۔ اب ، میں ان سے علیحدہ علیحدہ گفتگو کروں گا۔

ایک ریجن سرور مختلف علاقوں کو برقرار رکھتا ہے جن کی چوٹی پر چل رہا ہے . ریجن سرور کے اجزاء یہ ہیں:

• وال: جیسا کہ آپ مندرجہ بالا تصویر سے نتیجہ اخذ کرسکتے ہیں ، تحریر کریں آگے لاگ (WAL) ایک فائل ہے جو تقسیم شدہ ماحول کے اندر ہر ریجن سرور سے منسلک ہے۔ WAL میں نیا ڈیٹا اسٹور کیا گیا ہے جو مستقل اسٹوریج کے لئے برقرار یا برقرار نہیں رکھا گیا ہے۔ یہ ڈیٹا سیٹوں کی بازیابی میں ناکامی کی صورت میں استعمال ہوتا ہے۔
• مسدود کریں مذکورہ تصویر سے ، یہ واضح طور پر ظاہر ہے کہ بلاک کیشے ریجن سرور کے اوپری حصے میں رہتا ہے۔ یہ میموری میں کثرت سے پڑھے جانے والے ڈیٹا کو اسٹور کرتا ہے۔ اگر بلاک کیچ میں موجود ڈیٹا کو حال ہی میں استعمال کیا گیا ہے ، تو پھر وہ ڈیٹا بلاک کیچ سے ہٹا دیا گیا ہے۔
• میم اسٹور: یہ لکھنے کا کیشے ہے۔ یہ آنے والے تمام ڈیٹا کو ڈسک یا مستقل میموری پر مرتکب کرنے سے پہلے اسٹور کرتا ہے۔ ایک علاقے میں ہر کالم فیملی کے لئے ایک میمور اسٹور ہے۔ جیسا کہ آپ تصویر میں دیکھ سکتے ہیں ، ایک خطے کے لئے متعدد میم اسٹورز موجود ہیں کیونکہ ہر خطے میں متعدد کالم کنبے شامل ہیں۔ اعداد و شمار کو ڈسک پر مرتب کرنے سے پہلے لغت کے مطابق ترتیب دیا جاتا ہے۔
• HFile: مندرجہ بالا اعداد و شمار سے آپ دیکھ سکتے ہیں کہ ایچ ڈی ایف ایل پر ایچ فائل ذخیرہ ہے۔ اس طرح یہ اصل خلیوں کو ڈسک پر محفوظ کرتا ہے۔ جب میم اسٹور کا سائز زیادہ ہوجائے تو میم اسٹور ڈیفنس کو ایچ فائل پر بھیج دیتا ہے۔

اب جب کہ ہم HBase فن تعمیر کے بڑے اور معمولی اجزاء کو جانتے ہیں ، اس لئے میں اس میں میکانزم اور ان کی باہمی تعاون کی کوششوں کی وضاحت کروں گا۔ چاہے یہ پڑھنا ہو یا لکھنا ہے ، پہلے ہمیں یہ تلاش کرنا ہوگا کہ فائل کہاں سے پڑھنی ہے یا کہاں لکھنا ہے۔ تو ، آئیے اس تلاش کے عمل کو سمجھیں ، کیوں کہ یہ ان میکنزم میں سے ایک ہے جو HBase کو بہت مشہور کرتا ہے۔

HBase فن تعمیر: HBase میں تلاش کیسے شروع ہوتی ہے؟

جیسا کہ آپ جانتے ہیں ، زوکیپر میٹا ٹیبل لوکیشن کو اسٹور کرتا ہے۔ جب بھی کوئی موکل کسی پڑھنے کے ساتھ رابطہ کرتا ہے یا HBase سے درخواستیں لکھتا ہے تو مندرجہ ذیل آپریشن ہوتا ہے:

1. موکل نے زوکیپر سے میٹا ٹیبل کا مقام حاصل کرلیا۔
2. اس کے بعد موکل میٹا ٹیبل سے ریجن سرور کے مطابقت پذیری والی کی کو تلاش کرنے کے ل access درخواست کرتا ہے۔ موکل اس معلومات کو میٹا ٹیبل کے مقام کے ساتھ محفوظ کرتا ہے۔
3. تب اس سے متعلقہ ریجن سرور سے درخواست کرکے صف کی جگہ حاصل ہوجائے گی۔

مستقبل کے حوالوں کے لئے ، موکل میٹا ٹیبل کا مقام حاصل کرنے اور اس سے قبل قطار کیجی کا ریجن سرور پڑھنے کیلئے اپنی کیشے کا استعمال کرتا ہے۔ تب تک مؤکل میٹا ٹیبل کا حوالہ نہیں دے گا ، یہاں تک کہ جب تک کوئی کمی محسوس نہ ہو کیونکہ اس علاقے کو منتقل یا منتقل کردیا گیا ہے۔ تب یہ دوبارہ میٹا سرور سے درخواست کرے گا اور کیشے کو اپ ڈیٹ کرے گا۔

ہر بار کی طرح ، مؤکل میٹا سرور سے ریجن سرور کے مقام کی بازیافت میں وقت ضائع نہیں کرتے ہیں ، اس طرح ، اس سے وقت کی بچت ہوتی ہے اور تلاش کا عمل تیز تر ہوتا ہے۔ اب ، میں آپ کو بتاتا ہوں کہ HBase میں تحریر کیسے ہوتی ہے۔ اس میں کون سے اجزا شامل ہیں اور وہ کس طرح شامل ہیں؟

HBase فن تعمیر: HBase لکھیں میکانزم

یہ نیچے کی تصویر HBase میں لکھنے کے طریقہ کار کی وضاحت کرتی ہے۔

تحریری طریقہ کار درج ذیل عمل کو ترتیب سے گزرتا ہے (مذکورہ بالا تصویر سے رجوع کریں):

جاوا میں tostring کا طریقہ لکھنے کے لئے کس طرح

مرحلہ نمبر 1: جب بھی موکل کے پاس تحریری درخواست ہوتی ہے ، موکل ڈیٹا وال کو لکھتا ہے (آگے لاگ لکھیں)

• اس کے بعد ترمیم WAL فائل کے اختتام پر مل جاتی ہے۔
• یہ WAL فائل ہر ریجن سرور میں برقرار رہتی ہے اور ریجن سرور اسے ڈیٹا کی بازیابی کے لئے استعمال کرتا ہے جو ڈسک پر پابند نہیں ہے۔

مرحلہ 2: ایک بار WAL پر ڈیٹا لکھا جاتا ہے ، پھر اسے میم اسٹور میں کاپی کردیا جاتا ہے۔

مرحلہ 3: ایک بار جب اعداد و شمار میم اسٹور میں رکھے جاتے ہیں ، تب مؤکل کو اس کا اعتراف مل جاتا ہے۔

مرحلہ 4: جب میم اسٹور دہلیز پر پہنچ جاتا ہے تو ، یہ ڈیٹا کو پھینک دیتا ہے یا ڈیٹا کو HFile میں تبدیل کرتا ہے۔

آئیے اب ہم ایک گہرا غوطہ لیتے ہیں اور سمجھتے ہیں کہ میم اسٹور تحریری عمل میں کس طرح معاونت کرتا ہے اور اس کے کیا کام ہیں؟

HBase لکھیں میکانزم- میم اسٹور

• میم اسٹور ہمیشہ اس میں ذخیرہ شدہ ڈیٹا کو ، لغت کی ترتیب میں ترتیب دیتا ہے (ترتیب سے کسی لغت کے انداز میں) بطور ترتیب دی گئی کلیدی قیمتوں کو۔ ہر کالم فیملی کے لئے ایک میم اسٹور ہے ، اور اس طرح اپ ڈیٹ ہر کالم فیملی کے لئے ترتیب سے اسٹور کیے جاتے ہیں۔
• جب میم اسٹور دہلیز تک پہنچ جاتا ہے تو ، یہ ترتیب سے پورے ڈیٹا کو ایک نئے ایچ فائل میں پھینک دیتا ہے۔ یہ HFile ایچ ڈی ایف ایس میں محفوظ ہے۔ HBase میں ہر کالم فیملی کے لئے متعدد HFiles شامل ہیں۔
• وقت گزرنے کے ساتھ ، ایچ اسٹائل کی تعداد بڑھتی جارہی ہے جب میم اسٹور نے ڈیٹا پھینک دیا۔
• میم اسٹور آخری تحریری تسلسل نمبر کو بھی بچاتا ہے ، لہذا ماسٹر سرور اور میم اسٹور دونوں جانتے ہیں ، کہ اب تک کیا عہد کیا گیا ہے اور کہاں سے شروع ہونا ہے۔ جب خطہ شروع ہوتا ہے تو ، آخری ترتیب نمبر پڑھا جاتا ہے ، اور اس نمبر سے ، نئی ترمیمات کا آغاز ہوتا ہے۔

جیسا کہ میں نے متعدد بار تبادلہ خیال کیا ، کہ HFile HBase فن تعمیر میں بنیادی مستقل ذخیرہ ہے۔ آخر میں ، تمام اعداد و شمار HFile کے لئے مصروف عمل ہیں جو HBase کا مستقل اسٹوریج ہے۔ لہذا ، آئیے HFile کی خصوصیات کو دیکھیں جس کو پڑھنے اور لکھنے کے دوران تلاش کے ل search تیز تر بناتا ہے۔

HBase فن تعمیر: HBase لکھیں میکانزم- HFile

• لکھتے ترتیب سے ڈسک پر رکھے جاتے ہیں۔ لہذا ، ڈسک کے پڑھنے لکھنے کے سر کی نقل و حرکت بہت کم ہے۔ اس سے تحریری اور تلاش کا طریقہ کار بہت تیز ہوجاتا ہے۔
• جب بھی HFile کھولی جاتی ہے تو HFile انڈیکس میموری میں بھری ہوتی ہیں۔ اس سے ایک ہی تلاش میں ریکارڈ ڈھونڈنے میں مدد ملتی ہے۔
• ٹریلر ایک پوائنٹر ہے جو HFile کے میٹا بلاک کی طرف اشارہ کرتا ہے۔ یہ پرعزم فائل کے آخر میں لکھا گیا ہے۔ اس میں ٹائم اسٹیمپ اور بلوم فلٹرز کے بارے میں معلومات ہیں۔
• بلوم فلٹر کلیدی قدر کے جوڑے تلاش کرنے میں مدد کرتا ہے ، اس فائل کو چھوڑ دیتا ہے جس میں مطلوبہ راکی ​​شامل نہیں ہے۔ ٹائم اسٹیمپ فائل کے ورژن کو تلاش کرنے میں بھی مدد کرتا ہے ، یہ ڈیٹا کو اچھالنے میں مدد کرتا ہے۔

لکھنے کا طریقہ کار جاننے کے بعد اور تیزی سے تحریر بنانے اور تلاش کرنے میں مختلف اجزاء کے کردار کو جاننے کے بعد۔ میں آپ کو سمجھا رہا ہوں گا کہ HBase فن تعمیر کے اندر پڑھنے کا طریقہ کار کس طرح کام کرتا ہے؟ اس کے بعد ہم ان میکانزم کی طرف جائیں گے جس میں HBase کی کارکردگی میں اضافہ ہوتا ہے جیسے کمپریشن ، ریجن سپلٹ اور ریکوری۔

HBase فن تعمیر: میکانزم پڑھیں

جیسا کہ ہمارے سرچ میکانزم میں زیر بحث آیا ، پہلے کلائنٹ .META سرور سے ریجن سرور کا مقام بازیافت کرتا ہے اگر موکل کے پاس اس کی کیش میموری میں نہیں ہے۔ اس کے بعد یہ سلسلہ وار مرحلے سے گزرتا ہے۔

• ڈیٹا کو پڑھنے کے لئے ، سکینر پہلے بلاک کیشے میں رو سیل تلاش کرتا ہے۔ یہاں حال ہی میں پڑھی جانے والی کلیدی قیمت کے سبھی جوڑے اسٹور کیے گئے ہیں۔
• اگر اسکینر مطلوبہ نتیجہ تلاش کرنے میں ناکام رہتا ہے تو ، یہ میم اسٹور میں چلا جاتا ہے ، جیسا کہ ہم جانتے ہیں کہ یہ لکھنے کیش میموری ہے۔ وہاں ، یہ حال ہی میں لکھی گئی فائلوں کی تلاش کرتی ہے ، جو ابھی تک HFile میں نہیں پھینک دی گئی ہے۔
• آخر میں ، یہ HFile سے ڈیٹا لوڈ کرنے کے لئے بلوم فلٹرز اور بلاک کیشے استعمال کرے گا۔

اب تک ، میں نے HBase کی تلاش ، پڑھنے اور لکھنے کے طریقہ کار پر تبادلہ خیال کیا ہے۔ اب ہم HBase میکانزم پر نظر ڈالیں گے جو HBase میں فوری تلاش ، پڑھنے اور لکھنے کا کام کرتا ہے۔ پہلے ، ہم سمجھیں گے کمپریشن ، جو ان میکانزم میں سے ایک ہے۔

HBase فن تعمیر: کمپریشن

HBase اسٹوریج کو کم کرنے اور پڑھنے کے ل needed مطلوبہ ڈسک کی تعداد کو کم کرنے کے لئے HFiles کو جوڑتا ہے۔ اس عمل کو کہا جاتا ہے کمپریشن . کمپریشن ایک علاقے سے کچھ HFiles کا انتخاب کرتا ہے اور ان کو جوڑتا ہے۔ کمپریشن کی دو قسمیں ہیں جیسا کہ آپ مندرجہ بالا تصویر میں دیکھ سکتے ہیں۔

1. معمولی کامپیکیشن : HBase خود بخود چھوٹے HFiles چنتا ہے اور جیسا کہ مذکورہ شبیہہ میں دکھایا گیا ہے ، بڑی HFiles میں دوبارہ بھیج دیتا ہے۔ اسے مائنر کومپیکشن کہا جاتا ہے۔ یہ چھوٹے HFiles سے بڑے HFiles کا ارتکاب کرنے کے لئے انضمام کا کام انجام دیتا ہے۔ اس سے اسٹوریج کی جگہ کو بہتر بنانے میں مدد ملتی ہے۔
2. اہم کامپیکشن: جیسا کہ مذکورہ شبیہہ میں واضح ہے ، میجر کمپریشن میں ، HBase ایک علاقے کے چھوٹے HFiles کو مل جاتا ہے اور اسے ایک نئے HFile میں شامل کرتا ہے۔ اس عمل میں ، وہی کالم کنبے ایک ساتھ نئی ایچ فائل میں رکھے گئے ہیں۔ اس عمل میں خارج شدہ اور میعاد ختم ہونے والا سیل گر جاتا ہے۔ اس سے پڑھنے کی کارکردگی میں اضافہ ہوتا ہے۔

لیکن اس عمل کے دوران ، ان پٹ آؤٹ پٹ ڈسک اور نیٹ ورک ٹریفک میں بھیڑ پڑسکتی ہے۔ یہ کے طور پر جانا جاتا ہے تخصیص لکھیں . لہذا ، یہ عام طور پر کم چوٹی بوجھ کے اوقات کے دوران طے ہوتا ہے۔

اب کارکردگی کا ایک اور اصلاح کا عمل جس پر میں بات کروں گا ریجن سپلٹ . یہ بوجھ توازن کے ل very بہت ضروری ہے۔

HBase فن تعمیر: ریجن سپلٹ

مندرجہ ذیل اعداد و شمار ریجن اسپلٹ میکنزم کی وضاحت کرتا ہے۔

جب بھی کوئی خطہ بڑا ہوتا ہے تو ، اسے دو بچوں کے علاقوں میں تقسیم کیا جاتا ہے ، جیسا کہ مذکورہ بالا اعداد و شمار میں دکھایا گیا ہے۔ ہر خطہ پیرن خطے کے بالکل آدھے حصے کی نمائندگی کرتا ہے۔ پھر اس تقسیم کی اطلاع HMaster کو دی جاتی ہے۔ اس کو اسی ریجن سرور کے ذریعہ سنبھالا جاتا ہے جب تک کہ HMaster انھیں لوڈ توازن کے ل new کسی نئے ریجن سرور پر مختص نہیں کرتا ہے۔

لائن کو نیچے منتقل کرنا ، آخری لیکن کم سے کم نہیں ، میں آپ کو بتاؤں گا کہ ناکامی کے بعد ایچ بیس کس طرح ڈیٹا کو بازیافت کرتا ہے۔ جیسا کہ ہم جانتے ہیں ناکامی کی بازیابی HBase کی ایک بہت اہم خصوصیت ہے ، اس طرح ہمیں بتائیں کہ HBase ناکامی کے بعد کیسے ڈیٹا کو بازیافت کرتا ہے۔

HBase فن تعمیر: ایچ بیس کریش اور ڈیٹا ریکوری

• جب بھی کوئی ریجن سرور ناکام ہوتا ہے تو ، ZooKeeper نے HMaster کو اس ناکامی کے بارے میں مطلع کیا۔
• پھر ایچ ایمسٹر کریش ہونے والے ریجن سرور کے علاقوں کو کئی فعال ریجن سرورز میں تقسیم اور مختص کرتا ہے۔ ناکام ریجن سرور کے میم اسٹور کا ڈیٹا بازیافت کرنے کے لئے ، ایچ ایمسٹر WAL کو تمام ریجن سرورز میں تقسیم کرتا ہے۔
• اس خطے کے ناکام کالم فیملی کے لئے میمور اسٹور بنانے کے لئے ہر ریجن سرور WAL کو دوبارہ انجام دیتا ہے۔
• ڈیٹا WAL میں تاریخ کے مطابق (بروقت ترتیب میں) لکھا گیا ہے۔ لہذا ، WAL کو دوبارہ سرانجام دینے کا مطلب وہ تمام تبدیلیاں کرنا ہیں جو میم اسٹور فائل میں کی گئیں اور محفوظ کی گئیں۔
• لہذا ، تمام ریجن سرورز وال کو پھانسی دینے کے بعد ، تمام کالم فیملی کے لئے میم اسٹور کا ڈیٹا بازیافت ہوتا ہے۔

مجھے امید ہے کہ اس بلاگ نے HBase ڈیٹا ماڈل اور HBase فن تعمیر کو کم کرنے میں آپ کی مدد کی ہوگی۔ امید ہے کہ آپ کو مزا آیا ہوگا۔ اب آپ HBase کی خصوصیات (جس کی وضاحت میں نے اپنے پچھلے میں کی تھی) سے کر سکتے ہیں HBase سبق بلاگ) HBase فن تعمیر کے ساتھ اور سمجھیں کہ یہ داخلی طور پر کیسے کام کرتا ہے۔ اب جب کہ آپ HBase کے نظریاتی حصے کو جانتے ہیں ، آپ کو عملی حصے میں جانا چاہئے۔ اس کو دھیان میں رکھتے ہوئے ، ہمارا اگلا بلاگ ایک نمونہ کی وضاحت کرے گا HBase POC .

اب جب آپ HBase فن تعمیر کو سمجھ چکے ہیں تو ، چیک کریں ایڈوریکا کے ذریعہ ، ایک قابل اعتماد آن لائن سیکھنے والی کمپنی جس کی دنیا بھر میں 250،000 سے زیادہ مطمئن سیکھنے والوں کا نیٹ ورک موجود ہے۔ ایڈورکا بگ ڈیٹا ہاڈوپ سرٹیفیکیشن ٹریننگ کورس سیکھنے والوں کو ایچ ڈی ایف ایس ، سوت ، میپریڈوسیس ، پگ ، ہائوی ، ایچ بیس ، اوزئی ، فلایم اور سکوپ میں ماہر بننے میں مدد دیتا ہے جس کا استعمال خوردہ ، سوشل میڈیا ، ہوا بازی ، سیاحت ، فنانس ڈومین پر حقیقی وقت کے استعمال کے معاملات ہے۔

ہمارے لئے ایک سوال ہے؟ برائے کرم اس کا تذکرہ سیکشن میں ذکر کریں اور ہم آپ کو واپس ملیں گے۔