اپاچی Hive ایک ڈیٹا گودام پیکج ہے جو ہڈوپ کے سب سے اوپر بنایا گیا ہے اور اعداد و شمار کے تجزیے کے لئے استعمال ہوتا ہے۔ چھتے کا استعمال ان صارفین کی طرف ہوتا ہے جو ایس کیو ایل کے ساتھ آرام دہ ہیں۔ یہ ایس کیو ایل سے ملتا جلتا ہے اور اس کو HiveQL کہا جاتا ہے ، جو سنجیدہ اعداد و شمار کے انتظام اور استفسار کے لئے استعمال ہوتا ہے۔ اپاچی Hive ہڈوپ کی تجریدی پیچیدگی کے لئے استعمال ہوتا ہے۔ یہ زبان روایتی نقشہ / کم پروگرامرز کو اپنی مرضی کے مطابق نقشہ سازی اور کم کرنے والوں کو پلگ ان کرنے کی بھی اجازت دیتی ہے۔ Hive کی مشہور خصوصیت یہ ہے کہ جاوا سیکھنے کی ضرورت نہیں ہے۔
ہائڈوپ پر مبنی ایک اوپن سورس پیٹا بائٹ اسکیل ڈیٹ گودام فریم ورک ، Hive کو فیس بک میں ڈیٹا انفراسٹرکچر ٹیم نے تیار کیا تھا۔ Hive بھی ایک ایسی ٹیکنالوجی ہے جو فیس بک میں ضروریات کو پورا کرنے کے لئے استعمال ہورہی ہے۔ Hive فیس بک پر داخلی طور پر تمام صارفین کے لئے بہت مشہور ہے اور اسے کلسٹر پر سیکڑوں صارفین کے ساتھ ہزاروں ملازمتیں چلانے کے لئے استعمال کیا جارہا ہے ، جس میں متعدد طرح کے استعمال ہوتے ہیں۔ فیس بک پر Hive-Hadoop کلسٹر 2PB سے زیادہ خام ڈیٹا اسٹور کرتا ہے اور روزانہ کی بنیاد پر 15 TB ڈیٹا کو باقاعدگی سے لوڈ کرتا ہے۔
آئیے اس کی کچھ خصوصیات پر نگاہ ڈالیں جو اسے مقبول اور صارف دوست بناتی ہیں۔
جاوا درخواست کس طرح بند کریں
- پروگرامرز کو کسٹم میپرز اور ریڈوسیسرس کو پلگ ان کرنے کی اجازت دیتا ہے۔
- ڈیٹا گودام کا بنیادی ڈھانچہ ہے۔
- ای ٹی ایل کو آسان ڈیٹا کو چالو کرنے کے ل tools ٹولز مہیا کرتا ہے۔
- کیو ایل نامی ایس کیو ایل جیسے سوال کی زبان کی وضاحت کرتی ہے۔
اپاچی Hive استعمال کیس - فیس بک:
Hive کو نافذ کرنے سے پہلے ، فیس بک کو بہت سارے چیلنجوں کا سامنا کرنا پڑا کیونکہ اعداد و شمار کے حجم میں اضافہ یا بجائے پھٹ پڑا جس کی وجہ سے ان کو سنبھالنا واقعی مشکل ہے۔ روایتی RDBMS دباؤ کو نہیں سنبھال سکے اور اس کے نتیجے میں فیس بک بہتر اختیارات کی تلاش میں تھا۔ اس مسلہ کو حل کرنے کے ل Facebook ، فیس بک نے ابتدا میں ہیڈوپ میپریڈوسیس کو استعمال کرنے کی کوشش کی ، لیکن ایس کیو ایل میں پروگرامنگ اور لازمی معلومات میں دشواری کے ساتھ ، اس نے ایک غیر منحصر حل بنا دیا۔ ہائف نے انہیں ان چیلنجوں پر قابو پانے کی اجازت دی جن کا انھیں سامنا تھا۔
Hive کے ساتھ ، وہ اب مندرجہ ذیل کارکردگی کا مظاہرہ کرسکتے ہیں۔
- میزیں تقسیم کی جاسکتی ہیں اور بالٹی کی جا سکتی ہیں
- اسکیما لچک اور ارتقاء
- جے ڈی بی سی / او ڈی بی سی ڈرائیور دستیاب ہیں
- ایچ آئی ایف ایف میں چھتے کی میزوں کی تعریف کی جاسکتی ہے
- قابل توسیع - اقسام ، شکلیں ، افعال اور اسکرپٹس
صحت کی دیکھ بھال میں Hive استعمال کیس:
چھتے کا استعمال کہاں کریں؟
اپاچی چھتے کو درج ذیل مقامات پر استعمال کیا جاسکتا ہے۔
- اعداد و شمار کوجھنا
- لاگ پروسیسنگ
- دستاویز کی اشاریہ سازی
- کسٹمر کا سامنا کاروباری ذہانت سے ہے
- پیش گوئی کرنے والی ماڈلنگ
- مفروضے کا امتحان
Hive فن تعمیر:
چھتے میں درج ذیل بڑے اجزاء شامل ہوتے ہیں۔
- میٹا اسٹور - میٹا ڈیٹا کو ذخیرہ کرنے کے لئے۔
- جے ڈی بی سی / او ڈی بی سی - ایس کیو ایل کے سوالات کو میپریڈوسیس کی ترتیب میں تبدیل کرنے کے لئے استفسار کنپلر اور پھانسی انجن۔
- SerDe اور آبجیکٹ انسپیکٹرز - ڈیٹا فارمیٹس اور اقسام کے لئے۔
- یو ڈی ایف / یو ڈی اے ایف - صارف کے بیان کردہ کاموں کے ل For۔
- مؤکلین - ایس کیو ایل کمانڈ لائن اور ویب UI کی طرح ہے۔
چھتے کے اجزاء:
میٹا اسٹور:
جاوا مثال کے پروگرام میں اشیاء کی سرنی
میٹا اسٹور ٹیبلز ، پارٹیشنز ، ٹیبلز کے اندر کالموں کے بارے میں معلومات اسٹور کرتا ہے۔ میٹاسٹور میں ذخیرہ کرنے کے 3 طریقے ہیں: ایمبیڈڈ میٹاسٹور ، لوکل میٹاسٹور اور ریموٹ میٹا اسٹور۔ زیادہ تر ، ریموٹ میٹا اسٹور پروڈکشن وضع میں استعمال ہوگا۔
چھتے کی حدود:
Hive کی درج ذیل حدود ہیں اور ان کو ایسے حالات میں استعمال نہیں کیا جاسکتا ہے:
- آن لائن لین دین کی کارروائی کے لئے ڈیزائن نہیں کیا گیا ہے۔
- انٹرایکٹو ڈیٹا براؤزنگ کے لئے قابل قبول تاخیر فراہم کرتا ہے۔
- ریئل ٹائم سوالات اور صف کی سطح کی تازہ کارییں پیش نہیں کرتا ہے۔
- Hive سوالات کے ل L لncyتا عام طور پر بہت زیادہ ہوتا ہے۔
ہمارے لئے ایک سوال ہے؟ تبصرے کے سیکشن میں ان کا تذکرہ کریں اور ہم آپ کو واپس ملیں گے۔
متعلقہ اشاعت:
ہیش ٹیبل اور ہیش کا نقشہ کے درمیان فرق