ہاڈوپ کے ساتھ اپاچی چنگاری - کیوں اس سے کوئی فرق پڑتا ہے؟

ہڈوپ ، ڈیٹا پروسیسنگ فریم ورک جو اپنے لئے ایک پلیٹ فارم بن جاتا ہے ، جب اس سے بہتر اجزاء جڑ جاتے ہیں تو اور بھی بہتر ہوجاتا ہے۔ ہڈوپ کے کچھ نقائص ، جیسے ہڈوپ کے میپریڈوس جزو اصل وقت کے اعداد و شمار کے تجزیے کے لئے سست رہنے کی شہرت رکھتے ہیں۔

اپاچی اسپارک کو داخل کریں ، ایک ہڈوپ پر مبنی ڈیٹا پروسیسنگ انجن جس کے بیچ اور اسٹریمنگ ورک بوجھ دونوں کے لئے ڈیزائن کیا گیا ہے ، اب اس کے 1.0 ورژن میں ہے اور ایسی خصوصیات ہیں جو اس مثال کے ساتھ ہیں کہ ہڈوپ کو کس طرح کے کام کو شامل کرنے پر مجبور کیا جارہا ہے۔ بہتر اور اضافی فعالیت مہیا کرنے کے لئے موجودہ ہڈوپ کلسٹروں کے اوپر چنگاری چلتی ہے۔

آئیے چنگاری کی کلیدی خصوصیات کو دیکھیں اور یہ ہڈوپ اور کے ساتھ ساتھ کیسے کام کرتا ہے .

اپاچی چنگاری کے کلیدی فوائد:

چنگاری کی حیرت انگیز خصوصیات:

• ہڈوپ انٹیگریشن - چنگاری ایچ ڈی ایف ایس میں محفوظ فائلوں کے ساتھ کام کر سکتی ہے۔
• چنگاری کا انٹرایکٹو شیل - اسپارک کو اسکالہ میں لکھا گیا ہے ، اور اس کا اسکالا ترجمان کی اپنی شکل ہے۔
• چنگاری کا تجزیاتی سویٹ - چنگاری انٹرایکٹو سوالات تجزیہ ، بڑے پیمانے پر گراف پروسیسنگ اور تجزیہ اور اصل وقت کے تجزیہ کے اوزار کے ساتھ آتی ہے۔
• لچکدار تقسیم شدہ ڈیٹاسیٹس (RDD's) - RDD's تقسیم شدہ اشیاء ہیں جو کمپیوٹ نوڈس کے ایک کلسٹر میں ، میموری میں کیش جاسکتی ہیں۔ وہ بنیادی اعداد و شمار کی اشیاء ہیں جو اسپارک میں استعمال ہوتی ہیں۔
• تقسیم شدہ آپریٹرز - میپریڈوسیس کے علاوہ ، بہت سارے دوسرے آپریٹرز ہیں جو RDD کے استعمال کرسکتے ہیں۔

ہاڈوپ کے ساتھ اپاچی چنگاری کے استعمال کے فوائد:

ابتدائیہ افراد کے لئے سکوئل سرور سبق

• اپاچی سپارک ہڈوپ اوپن سورس کمیونٹی میں فٹ بیٹھتا ہے ، ہڈوپ ڈسٹری بیوٹڈ فائل سسٹم (ایچ ڈی ایف ایس) کے اوپر عمارت۔ تاہم ، اسپارک دو مرحلہ والے میپریڈوسی نمونہ سے منسلک نہیں ہے ، اور کچھ ایپلی کیشنز کے لئے ہڈوپ میپریڈوسیس سے 100 گنا تیز کارکردگی کا وعدہ کرتا ہے۔

  
  
  

• مشین لرننگ الگورتھم کے ل Well مناسب ہے - سپارک ان میموری میں کلسٹر کمپیوٹنگ کے لئے قدیم اعداد فراہم کرتا ہے جو صارف کے پروگراموں کو کلسٹر کی میموری میں ڈیٹا لوڈ کرنے اور بار بار استفسار کرنے کی سہولت دیتا ہے۔

• 100 گنا تیز چلائیں - چنگاری ، تجزیہ سافٹ ویئر ہڈوپ ڈیٹا پروسیسنگ پلیٹ فارم پر چلنے والی ملازمتوں میں تیزی لاتا ہے۔ 'ہڈوپ سوئس آرمی چاقو ،' کو اپنانے کے بعد ، اپاچی سپارک ڈیٹا تجزیہ کرنے والی ملازمتیں پیدا کرنے کی صلاحیت فراہم کرتی ہے جو معیاری اپاچی ہڈوپ میپریڈوش پر چلنے والوں سے 100 گنا تیز چل سکتی ہے۔ ہاڈوپ کلسٹرز میں میپریڈوسیس کو ایک رکاوٹ کی حیثیت سے بڑے پیمانے پر تنقید کا نشانہ بنایا گیا ہے کیونکہ یہ بیچ وضع میں ملازمتوں کو انجام دیتا ہے ، جس کا مطلب ہے کہ اعداد و شمار کا حقیقی وقت تجزیہ ممکن نہیں ہے۔

• میپریڈوش کا متبادل۔ چنگاری میپریڈس کا متبادل فراہم کرتی ہے۔ یہ مائکرو بیچوں کے مختصر پھٹے میں ملازمتوں کو انجام دیتا ہے جو پانچ سیکنڈ یا اس سے کم دور ہیں۔ یہ ریئل ٹائم ، اسٹریم پر مبنی ہڈوپ فریم ورک جیسے ٹویٹر طوفان سے بھی زیادہ استحکام فراہم کرتا ہے۔ سوفٹویئر کو متعدد ملازمتوں کے لئے استعمال کیا جاسکتا ہے ، جیسے رواں اعداد و شمار کا جاری تجزیہ اور سافٹ ویئر لائبریری کا شکریہ ، مشینی سیکھنے اور گراف پروسیسنگ میں شامل کمپیوٹیشنل گہرائی کی ملازمتیں۔

• ایک سے زیادہ زبانوں کے لئے حمایت کرتے ہیں - اسپارک کا استعمال کرتے ہوئے ، ڈویلپرز 80 سے زیادہ اعلی سطحی آپریٹرز کے سیٹ کا استعمال کرتے ہوئے ، جاوا ، سکالا یا ازگر میں ڈیٹا انیلیسیس نوکریاں لکھ سکتے ہیں۔

• لائبریری سپورٹ - اسپارک کی لائبریریاں ہڈوپ کی تازہ ترین تجارتی حمایت یافتہ تعیناتیوں کے ساتھ مزید جارحانہ انداز میں دریافت کی جانے والی کارروائیوں کی ملازمتوں کی تکمیل کے لئے ڈیزائن کی گئی ہیں۔ ایم ایل لیب نے عام مشین لرننگ الگورتھم کو نافذ کیا ، جیسے بے ہودہ بایسیئن درجہ بندی یا کلسٹرنگ اسپارک اسٹریمنگ ، متعدد ذرائع سے حاصل کردہ ڈیٹا کی تیز رفتار پروسیسنگ کے قابل بناتی ہے اور گرافکس گراف ڈیٹا پر گنتی کرنے کی اجازت دیتا ہے۔

• مستحکم API - ورژن 1.0 کے ساتھ ، اپاچی اسپارک ایک مستحکم API (ایپلی کیشن پروگرامنگ انٹرفیس) پیش کرتا ہے ، جسے ڈویلپرز اسپارک کے ساتھ بات چیت کرنے کے ل use استعمال کرسکتے ہیں اگرچہ ان کی اپنی درخواستیں۔ ہڈوپ پر مبنی تعیناتی میں طوفان کو آسانی سے استعمال کرنے میں مدد کرتا ہے۔

  جاوا ایک ٹوکن کیا ہے؟

• اسپارک ایس کیو ایل اجزاء - اسٹرکچر ڈیٹا تک رسائی حاصل کرنے کے لئے ایس کیو ایل کے جزو کو چنگاری ، تجزیہ کے کام میں غیر ساختہ اعداد و شمار کے ساتھ ساتھ ڈیٹا سے تفتیش کی اجازت دیتا ہے۔ اسپارک ایس کیو ایل ، جو اس وقت صرف الفا میں ہے ، ایس کیو ایل جیسے سوالات کو اپاچی ہائیو میں محفوظ ڈیٹا کے خلاف چلانے کی اجازت دیتا ہے۔ ہڈوپ سے ایس کیو ایل کے استفسارات کے ذریعہ ڈیٹا نکالنا ہیڈوپ کے آس پاس پھیلنے والی اصل وقت سے استفسار کرنے کی فعالیت کا ایک اور فرق ہے۔

• ہاڈوپ [ایچ ڈی ایف ایس ، ایچ بی ایس ای اور یاران] کے ساتھ اپاچی اسپارک مطابقت - اپاچی اسپرک ہڈوپ کے ڈسٹری بیوٹڈ فائل سسٹم (ایچ ڈی ایف ایس) کے ساتھ ساتھ یارین (ابھی تک ایک اور وسائل کے مذاکرات کار) اور ایچ بیس کے تقسیم کردہ ڈیٹا بیس جیسے دیگر ہڈوپ اجزاء کے ساتھ پوری طرح مطابقت رکھتا ہے۔

صنعت ایڈوپٹر:

آئی ٹی کمپنیوں جیسے کلوڈیرہ ، پائیوٹل ، آئی بی ایم ، انٹیل اور میپآر نے تمام اسپارک کو اپنے ہڈوپ اسٹیک میں جوڑ دیا ہے۔ اسپارک کے کچھ ڈویلپرز کے ذریعہ قائم کردہ ایک کمپنی ڈیٹا بریفس سافٹ ویئر کے لئے تجارتی مدد فراہم کرتی ہے۔ یاہو اور ناسا دونوں ، دوسروں کے علاوہ ، سافٹ ویئر کو روزانہ ڈیٹا آپریشن کے ل for استعمال کرتے ہیں۔

نتیجہ:

اسپارک نے جو پیش کش کی ہے وہ ہڈوپ کے صارفین اور تجارتی فروشوں دونوں کے لئے ایک بڑی قرعہ اندازی کا پابند ہے۔ وہ صارفین جو ہڈوپ کو نافذ کرنے کے خواہاں ہیں اور جنہوں نے ہڈوپ کے آس پاس پہلے ہی اپنے بہت سارے تجزیاتی نظام تیار کر رکھے ہیں ، وہ اس خیال کی طرف راغب ہیں کہ ہڈوپ کو ریئل ٹائم پروسیسنگ سسٹم کے طور پر استعمال کرسکیں گے۔

اسپارک 1.0 انہیں چاروں طرف ملکیتی اشیا کی حمایت یا تعمیر کرنے کیلئے فعالیت کی ایک اور قسم فراہم کرتا ہے۔ دراصل ، بڑے تین ہڈوپ فروشوں میں سے ایک ، کلوڈیرہ ، پہلے ہی اس کے کلاوڈیرا انٹرپرائز کی پیش کش کے ذریعے سپارک کو تجارتی مدد فراہم کرتا رہا ہے۔ ہارٹون ورکس اسپارک کو ہڈوپ تقسیم کے جزو کے طور پر بھی پیش کررہی ہے۔ اعلی کمپنیوں کے ذریعہ بڑے پیمانے پر سپارک کا نفاذ اس کی کامیابی اور اس کی صلاحیت کی نشاندہی کرتا ہے جب یہ ریئل ٹائم پروسیسنگ کی بات آتی ہے۔

ہمارے لئے ایک سوال ہے؟ تبصرے کے سیکشن میں ان کا تذکرہ کریں اور ہم آپ کو واپس ملیں گے۔

متعلقہ اشاعت:

سیلز فورس سروس کلاؤڈ کیا ہے؟