اس اپاچی فلومیٹ ٹیوٹوریل بلاگ میں ، ہم سمجھیں گے کہ فلوم مختلف ذرائع سے ڈیٹا کو اسٹریم کرنے میں کس طرح مدد کرتا ہے۔ لیکن اس سے قبل آئیے ڈیٹا لینے کی اہمیت کو سمجھیں۔ ڈیٹا پر عملدرآمد اور تجزیہ کرنے کے ل to اعداد و شمار کا ابتدائی اور اہم قدم ہے اور پھر کاروباری اقدار کو اس سے باہر نکالنا۔ ایک سے زیادہ ذرائع موجود ہیں جہاں سے کسی تنظیم میں ڈیٹا اکٹھا کیا جاتا ہے۔
آئیے ایک اور اہم وجہ کے بارے میں بات کرتے ہیں جس کی وجہ سے فلومی اتنا مشہور ہوا۔ مجھے امید ہے کہ آپ اس سے واقف ہوں گے ، جو انڈسٹری میں زبردست استعمال ہورہا ہے کیونکہ یہ ہر طرح کا ڈیٹا اسٹور کرسکتا ہے۔ فلوم آسانی سے ہڈوپ کے ساتھ مربوط ہوسکتا ہے اور ایچ ڈی ایف ایس پر نیم ساختہ اعداد و شمار کے ساتھ ساتھ ہڈوپ کی طاقت کی تعریف کرتے ہوئے غیر ڈھانچے کو پھینک سکتا ہے۔ یہی وجہ ہے کہ اپاچی فلومیٹ ہڈوپ ایکو سسٹم کا ایک اہم حصہ ہے۔
اس اپاچی فلومیٹ ٹیوٹوریل بلاگ میں ، ہم اس کا احاطہ کریں گے:
- اپاچی فلوم کا تعارف
- اپاچی فلوم کے فوائد
- فلوم فن تعمیر
- Flume کا استعمال کرتے ہوئے ٹویٹر ڈیٹا کو اسٹریم کرنا
اپاچی فلایوم کیا ہے اس بارے میں گفتگو کرکے ہم اس فلوم ٹیوٹوریل کا آغاز کریں گے۔ پھر آگے بڑھتے ہوئے ، ہم فلایم کے استعمال کے فوائد کو سمجھیں گے۔
اپاچی فلاوم ٹیوٹوریل: اپاچی فلاوم کا تعارف
ایچ ڈی ایف ایس میں ڈیٹا لگانے کے ل Ap اپاچی فلیووم ایک آلہ ہے۔ یہ اسٹریمنگ ڈیٹا جیسے لاگ فائلز ، نیٹ ورک ٹریفک ، سوشل میڈیا ، ای میل پیغامات وغیرہ جیسے ایچ ڈی ایف ایس کو مختلف ذرائع سے آنے والے اعداد و شمار کو جمع کرتا ہے ، جمع کرتا ہے اور ٹرانسپورٹ کرتا ہے۔فلوم ایک انتہائی قابل اعتماد اور تقسیم ہے۔
فلاوم کے ڈیزائن کے پیچھے مرکزی خیال یہ ہے کہ مختلف ویب سرورز سے ایچ ڈی ایف ایس پر اسٹریمنگ ڈیٹا حاصل کیا جائے۔ اس میں اعداد و شمار کے بہاؤ پر مبنی سادہ اور لچکدار فن تعمیر ہے۔ یہ غلطی روادار ہے اور غلطی رواداری اور ناکامی کی بازیابی کے لئے قابل اعتماد طریقہ کار مہیا کرتا ہے۔
فلوم کیا ہے کو سمجھنے کے بعد ، اب آئیے ہم اس فلاؤم ٹیوٹوریل بلاگ میں آگے بڑھیں اور اپاچی فلاوم کے فوائد کو سمجھیں۔ پھر آگے بڑھتے ہوئے ، ہم فلوم کے فن تعمیر کو دیکھیں گے اور یہ سمجھنے کی کوشش کریں گے کہ یہ بنیادی طور پر کیسے کام کرتا ہے۔
جاوا میں چرت کا استعمال
اپاچی فلاوم ٹیوٹوریل: اپاچی فلوم کے فوائد
اپاچی فلاوم کے بہت سے فوائد ہیں جو اسے دوسروں پر بہتر انتخاب بناتا ہے۔ فوائد یہ ہیں:
- مختلف وسائل اور ڈوبوں کے لئے فلوم توسیع پزیر ، قابل اعتماد ، غلطی روادار اور حسب ضرورت ہے۔
- اپاچی فلایم ایچ بیس اور ایچ ڈی ایف ایس جیسے مرکزی اسٹورز (یعنی ڈیٹا ایک ہی اسٹور سے فراہم کیا جاتا ہے) میں ڈیٹا محفوظ کرسکتا ہے۔
- شعلہ افقی طور پر توسیع پزیر ہے۔
- اگر پڑھنے کی شرح تحریری شرح سے تجاوز کر جائے تو ، فلاوم پڑھنے اور لکھنے کے عمل کے مابین اعداد و شمار کا مستقل بہاؤ مہیا کرتا ہے۔
- Flume قابل اعتماد پیغام کی فراہمی فراہم کرتا ہے۔ فلوم میں لین دین چینل پر مبنی ہوتا ہے جہاں ہر پیغام کے ل two دو لین دین (ایک مرسل اور ایک وصول کنندہ) برقرار رکھا جاتا ہے۔
- فلایم کا استعمال کرتے ہوئے ، ہم ہڈوپ میں متعدد سرورز سے ڈیٹا کھا سکتے ہیں۔
- یہ ہمیں ایک ایسا حل فراہم کرتا ہے جو قابل اعتماد اور تقسیم ہوتا ہے اور فیس بک ، ٹویٹر اور ای کامرس ویب سائٹ جیسے ڈیٹا سیٹ کی ایک بڑی تعداد کو جمع کرنے ، جمع کرنے اور منتقل کرنے میں ہماری مدد کرتا ہے۔
- یہ ہمیں ایچ ڈی ایف ایس میں نیٹ ورک ٹریفک ، سوشل میڈیا ، ای میل پیغامات ، لاگ فائلوں وغیرہ جیسے مختلف ذرائع سے آن لائن اسٹریمنگ ڈیٹا ایجسٹ کرنے میں مدد کرتا ہے۔
- یہ ذرائع اور منزلوں کی اقسام کے ایک بڑے سیٹ کی حمایت کرتا ہے۔
فن تعمیر ایک ہے جو ان فوائد کے ساتھ اپاچی فلاوم کو بااختیار بنارہا ہے۔ اب ، جیسا کہ ہم اپاچی فلومیوم کے فوائد کو جانتے ہیں ، آپ کو آگے بڑھنے اور اپاچی فلیوم فن تعمیر کو سمجھنے دیتا ہے۔
اپاچی فلاوم ٹیوٹوریل: فلوم فن تعمیر
اب ، آئیے ذیل کے آراگرام سے فلوم کے فن تعمیر کو سمجھیں:
ایک فلایم ایجنٹ ہے جو مختلف اعداد و شمار کے ذرائع سے ایچ ڈی ایف ایس میں اسٹریمنگ ڈیٹا داخل کرتا ہے۔ آریھ سے ، آپ آسانی سے سمجھ سکتے ہیں کہ ویب سرور ڈیٹا ماخذ کی نشاندہی کرتا ہے۔ ٹویٹر محرومی اعداد و شمار کے مشہور وسائل میں شامل ہے۔
فلوم ایجنٹ کے 3 اجزاء ہوتے ہیں: منبع ، سنک اور چینل۔
- ذریعہ : یہ آنے والی اسٹریم لائن کے ڈیٹا کو قبول کرتا ہے اور چینل میں ڈیٹا کو اسٹور کرتا ہے۔
- چینل : عام طور پر ، پڑھنے کی رفتار تحریری رفتار سے تیز ہے۔ لہذا ، پڑھنے اور لکھنے کی رفتار کے فرق سے ہم آہنگ ہونے کے لئے ہمیں کچھ بفر کی ضرورت ہے۔ بنیادی طور پر ، بفر انٹرمیڈیری اسٹوریج کے طور پر کام کرتا ہے جو ڈیٹا کو عارضی طور پر منتقل کیا جاتا ہے اور اسی وجہ سے ڈیٹا کے نقصان کو روکتا ہے۔ اسی طرح ، ایچ ڈی ایف ایس میں ڈیٹا کے وسیلہ اور مستقل ڈیٹا کے درمیان چینل مقامی اسٹوریج یا عارضی اسٹوریج کا کام کرتا ہے۔
- ڈوبنا : پھر ، ہمارا آخری جزو یعنی سنک ، چینل سے ڈیٹا اکٹھا کرتا ہے اور ایچ ڈی ایف ایس میں ڈیٹا کو مستقل طور پر کمٹ یا لکھتا ہے۔
اب جیسا کہ ہم جانتے ہیں کہ اپاچی فلیوم کیسے کام کرتا ہے ، آئیے ایک عملی پر نگاہ ڈالیں جہاں ہم ٹویٹر ڈیٹا کو ڈوبیں گے اور اسے ایچ ڈی ایف ایس میں اسٹور کریں گے۔
اپاچی فلاوم ٹیوٹوریل: اسٹریمنگ ٹویٹر ڈیٹا
اس عملی طور پر ، ہم ٹویوئزنگ فلوم سے ڈیٹا کو اسٹریم کریں گے اور پھر ڈیٹا کو ایچ ڈی ایف ایس میں اسٹور کریں گے جیسا کہ نیچے کی تصویر میں دکھایا گیا ہے۔
پہلا مرحلہ ٹویٹر ایپلی کیشن بنانا ہے۔ اس کے ل you ، آپ کو سب سے پہلے اس یو آر ایل پر جانا پڑے گا: https://apps.twitter.com/ اور اپنے ٹویٹر اکاؤنٹ میں سائن ان کریں۔ نیچے دی گئی تصویر میں دکھایا گیا ہے کے طور پر درخواست ٹیب بنانے کے لئے جاؤ.
اس کے بعد ، ایک ایپلی کیشن بنائیں جیسا کہ نیچے کی تصویر میں دکھایا گیا ہے۔
اس ایپلی کیشن کو بنانے کے بعد ، آپ کو کلیدی اور رسا کا نشان مل جائے گا۔ کلید اور رسائی ٹوکن کاپی کریں۔ ہم اس ٹوکن کو اس اطلاق سے منسلک کرنے کے لئے اپنی فلاوم ترتیب فائل میں پاس کریں گے۔
اب نیچے کی شبیہہ میں دکھائے گئے مطابق ، فلایم کی روٹ ڈائرکٹری میں ایک فلاومکونف فائل بنائیں۔ جیسا کہ ہم نے تبادلہ خیال کیا ، فلاوم کے فن تعمیر میں ، ہم اپنے ماخذ ، سنک اور چینل کو تشکیل دیں گے۔ ہمارا ماخذ ٹویٹر ہے ، جہاں سے ہم ڈیٹا کو متحرک کررہے ہیں اور ہمارا سنک ایچ ڈی ایف ایس ہے ، جہاں سے ہم ڈیٹا لکھ رہے ہیں۔
ماخذ کی تشکیل میں ، ہم بطور ٹویٹر ماخذ کی قسم کو گزر رہے ہیں org.apache.flume.source.twitter.TwitterSource۔ پھر ، ہم ان چاروں ٹوکن کو گزر رہے ہیں جو ہمیں ٹویٹر سے موصول ہوئے ہیں۔ آخر میں ماخذ ترتیب میں ہم وہ کلیدی الفاظ گزر رہے ہیں جس پر ہم ٹویٹس لانے جارہے ہیں۔
سنک کنفگریشن میں ہم ایچ ڈی ایف ایس کی خصوصیات کو ترتیب دینے جارہے ہیں۔ ہم ایچ ڈی ایف ایس کا راستہ ، تحریری شکل ، فائل کی قسم ، بیچ سائز وغیرہ متعین کریں گے۔ آخر کار ہم میموری چینل مرتب کرنے جارہے ہیں جیسا کہ ذیل کی تصویر میں دکھایا گیا ہے۔
اب ہم سب پھانسی کے لئے تیار ہیں۔ آئیے ہم آگے بڑھ کر اس حکم کو نافذ کریں:
$ FLUME_Home / bin / flume-ng ایجنٹ --conf ./conf/ -f L FLUME_Home / flume.conf
اس کمانڈ کو تھوڑی دیر تک چلانے کے بعد ، اور پھر آپ CTRL + C کا استعمال کرتے ہوئے ٹرمینل سے باہر نکل سکتے ہیں۔ تب آپ اپنی ہڈوپ ڈائرکٹری میں آگے بڑھ سکتے ہیں اور مذکورہ راستہ چیک کرسکتے ہیں ، چاہے فائل بنائی گئی ہو یا نہیں۔
جاوا میں جمع کیا ہے؟
فائل ڈاؤن لوڈ کریں اور اسے کھولیں۔ نیچے کی تصویر میں دکھائے جانے کے مطابق آپ کو کچھ ملے گا۔
مجھے امید ہے کہ یہ بلاگ آپ کے لئے معلوماتی اور قابل قدر ہے۔ اگر آپ مزید جاننے میں دلچسپی رکھتے ہیں تو ، آپ اس سے گزر سکتے ہیں جو آپ کو بگ ڈیٹا کے بارے میں بتاتا ہے اور ہڈوپ بگ ڈیٹا سے متعلق چیلنجوں کو کس طرح حل کر رہا ہے۔
اب جب آپ اپاچی فلیم کو سمجھ گئے ہیں تو ، چیک کریں ایڈوریکا کے ذریعہ ، ایک قابل اعتماد آن لائن سیکھنے والی کمپنی جس کی دنیا بھر میں 250،000 سے زیادہ مطمئن سیکھنے والوں کے نیٹ ورک ہیں۔ ایڈورکا بگ ڈیٹا ہاڈوپ سرٹیفیکیشن ٹریننگ کورس سیکھنے والوں کو ایچ ڈی ایف ایس ، سوت ، میپریڈوسیس ، پگ ، ہائوی ، ایچ بیس ، اوزئی ، فلیوم اور سکوپ میں ماہر بننے میں مدد دیتا ہے جس کا استعمال خوردہ ، سوشل میڈیا ، ہوا بازی ، سیاحت ، فنانس ڈومین پر حقیقی وقت کے استعمال کے معاملات ہے۔
ہمارے لئے ایک سوال ہے؟ برائے کرم اس کا تذکرہ سیکشن میں ذکر کریں اور ہم آپ کو واپس ملیں گے۔