براڈکاسٹ متغیرات کے ساتھ تقسیم کیچنگ: اپاچی چنگاری

پرتھویراج بوس نے تعاون کیا

جب بڑے ڈیٹاسیٹ کو ایگزیکٹرز میں کیچ کرنے کی ضرورت ہوتی ہے تو براڈکاسٹ متغیر مفید ہیں۔ یہ بلاگ شروع کرنے کا طریقہ بتاتا ہے۔

جاوا میں انٹیل پر ڈبل ڈالنے کا طریقہ

براڈکاسٹ متغیرات کیا ہیں؟

اپاچی سپارک میں براڈکاسٹ متغیر ایگزیکٹرز میں متغیرات کا اشتراک کرنے کا ایک طریقہ کار ہے جس کا مقصد صرف پڑھنے کے قابل ہے۔ براڈکاسٹ متغیر کے بغیر یہ متغیرات ہر تبدیلی اور عمل کے ل each ہر عملدار کو بھیج دیئے جائیں گے ، اور اس سے نیٹ ورک اوور ہیڈ کا سبب بن سکتا ہے۔ تاہم ، براڈکاسٹ متغیر کے ساتھ ، وہ ایک بار تمام ایگزیکٹوز کے پاس بھیجے جاتے ہیں اور مستقبل کے حوالہ کے لئے محفوظ ہوجاتے ہیں۔

براڈکاسٹ متغیر استعمال کیس

ذرا تصور کریں کہ تبدیلی کرتے وقت ہمیں زپ کوڈز / پن کوڈوں کی ایک بڑی میز کو تلاش کرنے کی ضرورت ہے۔ یہاں ، نہ تو یہ ممکن ہے کہ ہر بار بڑی لکھنے کی میز کو ایگزیکٹرز کو بھیجنا ، اور نہ ہی ہم ہر بار ڈیٹا بیس سے پوچھ گچھ کرسکتے ہیں۔ حل یہ ہونا چاہئے کہ اس تلاشی جدول کو ایک نشریاتی متغیر میں تبدیل کیا جائے اور اسپارک اس کو مستقبل کے حوالہ کے ل every ہر عملدار میں کیش کرے۔

آئیے مذکورہ بالا تصورات کو سمجھنے کے لئے ایک آسان مثال پیش کرتے ہیں۔ ہمارے پاس CSV فائل ہے جس میں ممالک اور ان کے دارالحکومتوں کے نام شامل ہیں۔ CSV فائل مل سکتی ہے یہاں .

فرض کریں کہ ہم ممالک کے آبادیاتی اعداد و شمار پر کارروائی کر رہے ہیں اور ہمیں اس ملک کا دارالحکومت حاصل کرنے کی ضرورت ہے۔ اس صورت میں ہم CSV فائل میں موجود ڈیٹا کو ایک نشریاتی متغیر میں تبدیل کر سکتے ہیں۔

پہلے ہم CSV فائل کو نقشہ میں لوڈ کرتے ہیں ، اگر فائل مل جاتی ہے تو طریقہ واپس آجاتا ہے کچھ (ممالک) ورنہ یہ واپس آ جاتا ہے کوئی نہیں .

c c # c ++

CSV فائل کو کامیابی سے لوڈ کرنے کے بعد ہم نقشہ کو براڈکاسٹ متغیر میں تبدیل کرتے ہیں اور اسے اپنے پروگرام میں استعمال کرتے ہیں۔

اوپر والے کوڈ کے ٹکڑوں میں ہم CSV فائل کو نقشہ پر لوڈ کرتے ہیں ممالک تب ہم اس نقشے کو براڈکاسٹ متغیر میں تبدیل کرتے ہیں ممالک کیچ . اس کے بعد ، ہم کی کلیدوں سے RDD تشکیل دیتے ہیں ممالک . میں تلاش کاؤنٹری ڈیٹیلز ہم استعمال کنندہ کے وضاحتی خط کے ساتھ شروع ہونے والے تمام ممالک کی تلاش کرتے ہیں اور یہ طریقہ ان ممالک کے آر ڈی ڈی کو اپنے دارالحکومتوں کے ساتھ واپس کرتا ہے۔ براڈکاسٹ متغیر کاؤنٹری کیچ دارالحکومتوں کو تلاش کرنے کے لئے استعمال کیا جاتا ہے۔
اس طرح جب بھی ہمیں تلاش کرنے کی ضرورت ہوتی ہے تو ہمیں پورا CSV ڈیٹا نہیں بھیجنا پڑتا ہے۔

کے لئے کوڈ تلاش کاؤنٹری ڈیٹیلز نیچے دکھایا گیا ہے ،

پورا سورس کوڈ مل سکتا ہے یہاں .

ہمارے لئے ایک سوال ہے؟ ان کا تذکرہ سیکشن میں ذکر کریں اور ہم آپ کو واپس ملیں گے۔

جاوا میں کیا مثالیں ہیں؟

متعلقہ اشاعت:

چنگاری جمع کرنے والے کی وضاحت کی

اپاچی اسپرنگ کومبائن کی وضاحت کی