اسپارک اسٹریمنگ ٹیوٹوریل۔ اپاچی چنگاری کا استعمال کرتے ہوئے حساس تجزیہ

اسپارک اسٹریمنگ بنیادی اسپارک API کا ایک توسیع ہے جو لائق ڈیٹا اسٹریمز کی اسکیل ایبل ، ہائی تھرو پٹ ، فالٹ روادار اسٹریم پروسیسنگ کے قابل بناتا ہے۔ اسپارک اسٹریمنگ کا استعمال براہ راست اعداد و شمار کو اسٹریم کرنے کیلئے کیا جاسکتا ہے اور اصل وقت میں پروسیسنگ ہوسکتی ہے۔ اسپارک اسٹریمنگ کے ہمیشہ بڑھتے ہوئے صارف کی بنیاد میں گھریلو ناموں جیسے اوبر ، نیٹ فلکس اور پنٹیرسٹ شامل ہوتے ہیں۔

جب بات ریئل ٹائم ڈیٹا اینالیٹکس کی ہو تو ، اسپارک اسٹریمنگ تیز اور رواں عمل کے ل data اعداد و شمار کی نشست کے ل a ایک واحد پلیٹ فارم مہیا کرتی ہے اور اسی میں آپ کی مہارت کو بھی ثابت کرتا ہے۔اس بلاگ کے ذریعہ ، میں آپ کو اسپارک اسٹریمنگ کے اس نئے دلچسپ ڈومین سے متعارف کراؤں گا اور ہم ایک مکمل استعمال کے معاملے سے گزریں گے ، ٹویٹر حساس تجزیہ اسپارک اسٹریمنگ کا استعمال۔

مندرجہ ذیل عنوانات ہیں جو اس بلاگ میں شامل ہوں گے۔

1. کیا چل رہا ہے؟
2. چنگاری کیوں چل رہی ہے؟
3. چشمہ اسٹریمنگ کا عمومی جائزہ
4. سٹارکنگ کی خصوصیات
5. اسٹرامکنگ اسٹینڈنگ کے بنیادی اصول
   5.1 سلسلہ بندی کا سیاق و سباق
   5.2 ڈی ایس ٹریم
   5.3 کیچنگ / استقامت
   5.4 جمع کرنے والا ، براڈکاسٹ متغیرات اور چوکیاں
6. کیس سینٹر استعمال تجزیہ

کیا چل رہا ہے؟

ڈیٹا اسٹریمنگ اعداد و شمار کو منتقل کرنے کی ایک تکنیک ہے تاکہ اس پر عملدرآمد مستحکم اور مستقل سلسلہ کی حیثیت سے ہوسکے۔ انٹرنیٹ کی نشوونما کے ساتھ اسٹریمنگ ٹکنالوجی تیزی سے اہم ہوتی جارہی ہے۔

اعداد و شمار: کیا چل رہا ہے؟

چنگاری کیوں چل رہی ہے؟

ہم مختلف ذرائع جیسے ٹویٹر ، اسٹاک مارکیٹ اور جغرافیائی نظاموں سے اصل وقتی اعداد و شمار کو اسٹریم کرنے اور کاروباروں کی مدد کے لئے طاقتور تجزیات انجام دینے کے لئے اسپارک اسٹریمنگ کا استعمال کرسکتے ہیں۔

اعداد و شمار: چنگاری کیوں چل رہی ہے؟

c ++ نام کی جگہ کا استعمال کرتے ہوئے

چشمہ اسٹریمنگ کا عمومی جائزہ

چنگاری سٹریمنگ ریئل ٹائم اسٹریمنگ ڈیٹا پر کارروائی کرنے کے لئے استعمال کیا جاتا ہے۔ یہ کور اسپارک API میں ایک مفید اضافہ ہے۔ سپارک اسٹریمنگ رواں اعداد و شمار کے سلسلوں کو اعلی تر ذریعے پیداوار اور غلطی کو برداشت کرنے والے اسٹریم پروسیسنگ کے قابل بناتا ہے۔

اعداد و شمار: چنگاریوں میں سلسلہ بند

بنیادی اسٹریم یونٹ ڈی ایس ٹریم ہےجو اصل وقتی اعداد و شمار پر کارروائی کرنے کے لئے بنیادی طور پر آر ڈی ڈی کی ایک سیریز ہے۔

سٹارکنگ کی خصوصیات

1. اسکیلنگ: اسپارک اسٹریمنگ سیکڑوں نوڈس تک آسانی سے اسکیل ہوسکتی ہے۔
2. رفتار: یہ achives کم تاخیر.
3. غلطی رواداری: چنگاری میں ای کرنے کی صلاحیت ہےمشکل سے ناکامیوں سے بازیافت کریں۔
4. انضمام: چنگاری بیچ اور ریئل ٹائم پروسیسنگ کے ساتھ ضم ہوتی ہے۔
5. کاروباری تجزیہ: سپارک سٹریمنگ یوکاروباری تجزیہ میں استعمال کیا جا سکتا ہے جو گاہکوں کے سلوک کو ٹریک کرنے کے لئے.

چنگاری اسٹریمنگ ورک فلو

چنگاری سٹریمنگ کے ورک فلو میں چار اعلی سطح کے مراحل ہوتے ہیں۔ سب سے پہلے مختلف ذرائع سے ڈیٹا کو اسٹریم کرنا ہے۔ یہ ذرائع اصل وقت کی محرومی کے لئے اعداد و شمار کے ذرائع جیسے اکا ، کافکا ، فلیمی ، اے ڈبلیو ایس یا پارکیٹ کو اسٹریم کر سکتے ہیں۔ دوسرے قسم کے ذرائع میں جامد / بیچ کی محرومی کے لئے HBase ، MySQL ، PostgreSQL ، لچکدار تلاش ، مونگو DB اور کیسینڈرا شامل ہیں۔ ایک بار ایسا ہوجانے کے بعد ، اسپارک کو اس کے MLlib API کے ذریعے ڈیٹا پر مشین لرننگ انجام دینے کے لئے استعمال کیا جاسکتا ہے۔ مزید یہ کہ اس اعداد و شمار پر مزید کارروائیوں کے لئے اسپارک ایس کیو ایل کا استعمال کیا جاتا ہے۔ آخر میں ، محرومی آؤٹ پٹ کو مختلف ڈیٹا اسٹوریج سسٹمز میں محفوظ کیا جاسکتا ہے جیسے ایچ بیس ، کیسینڈرا ، میم ایس کیو ایل ، کافکا ، لچکدار تلاش ، ایچ ڈی ایف ایس اور مقامی فائل سسٹم۔

اعداد و شمار: چنگاری اسٹریمنگ کا جائزہ

اسٹرامکنگ اسٹینڈنگ کے بنیادی اصول

1. سلسلہ بندی کا سیاق و سباق
2. ڈی ایس ٹریم
3. کیچنگ
4. جمع کرنے والا ، براڈکاسٹ متغیرات اور چوکیاں

سلسلہ بندی کا سیاق و سباق

سلسلہ بندی کا سیاق و سباق سپارک میں ڈیٹا کا ایک سلسلہ استعمال کرتا ہے۔ یہ ایک رجسٹر ان پٹ DStream پیدا کرنا a وصول کرنے والا چیز. یہ سپارک فعالیت کے لئے اہم اندراج نقطہ ہے۔ سپارک ٹویٹر ، اکا اداکار اور زیرو ایم کیو جیسے ذرائع کی متعدد طے شدہ نفاذات فراہم کرتا ہے جو سیاق و سباق سے قابل رسائی ہیں۔

ایک اسپرنگکونسٹسٹ آبجیکٹ کو اسپارک کانٹیکسٹ آبجیکٹ سے بنایا جاسکتا ہے۔ ایک سپارک کانٹیکسٹ اسپرک کلسٹر سے تعلق کی نمائندگی کرتا ہے اور اس کلسٹر پر آر ڈی ڈی ، جمع کرنے اور متغیر متغیر بنانے کے لئے استعمال کیا جاسکتا ہے۔

org.apache.spark._ Import org.apache.spark.streaming._ var ssc = new StreamingContext (ایس سی ، سیکنڈ (1)) درآمد کریں

ڈی ایس ٹریم

متناسب سلسلہ (DStream) اسپرک اسٹریمنگ کے ذریعہ فراہم کردہ بنیادی خلاصہ ہے۔ یہ اعداد و شمار کا ایک مستقل سلسلہ ہے۔ یہ ان پٹ اسٹریم کو تبدیل کرکے ایک ڈیٹا سورس یا ایک پروسیس شدہ ڈیٹا اسٹریم سے حاصل کیا گیا ہے۔

اعداد و شمار: ان پٹ DStream سے الفاظ نکال رہے ہیں

اندرونی طور پر ، ڈی ایس ٹریم کی نمائندگی آر ڈی ڈی کی ایک مستقل سیریز سے ہوتی ہے اور ہر آر ڈی ڈی میں ایک خاص وقفہ سے ڈیٹا ہوتا ہے۔

ان پٹ DStreams: ان پٹ DStreams ڈی ایس ٹریمز اسٹریمنگ ذرائع سے موصول ہونے والے ان پٹ ڈیٹا کے سلسلہ کی نمائندگی کرتی ہیں۔

اعداد و شمار: وصول کنندہ ان پٹ ڈی ایس اسٹریم پر ڈیٹا بھیجتا ہے جہاں ہر بیچ میں آر ڈی ڈی شامل ہیں

ہر ان پٹ DStream ایک وصول کنندہ آبجیکٹ کے ساتھ وابستہ ہوتا ہے جو ایک ماخذ سے ڈیٹا وصول کرتا ہے اور پروسس کے ل Sp اسپرک کی میموری میں اسٹور کرتا ہے۔

DStreams پر تبدیلیاں:

ڈی ایس ٹریم پر لگایا جانے والا کوئی بھی آپریشن بنیادی آر ڈی ڈی پر کارروائیوں کا ترجمہ کرتا ہے۔ تبدیلیاں ان پٹ DStream کے ڈیٹا کو RDDs کی طرح ہی تبدیل کرنے کی اجازت دیتی ہیں۔ ڈی ایس اسٹریم عام اسپارک آر ڈی ڈی پر دستیاب بہت ساری تبدیلیوں کی تائید کرتی ہے۔

اعداد و شمار: DStream تبدیلیاں

ذیل میں DStreams پر کچھ مشہور تبدیلیاں ہیں۔

آؤٹ پٹ DStreams:

آؤٹ پٹ آپریشنز ڈی ایس ٹریم کے ڈیٹا کو بیرونی سسٹم جیسے ڈیٹا بیس یا فائل سسٹم میں آگے بڑھنے کی اجازت دیتا ہے۔ آؤٹ پٹ آپریشنز تمام ڈی ایس ٹریم تبدیلیوں کی اصل عمل درآمد کو متحرک کرتی ہے۔

اعداد و شمار: DStreams پر آؤٹ پٹ آپریشنز

کیچنگ

DStreams ڈویلپرز کو میموری میں اسٹریم کے ڈیٹا کو کیش کرنے / برقرار رکھنے کی اجازت دیں۔ یہ کارآمد ہے جب ڈی ایس ٹریم میں موجود ڈیٹا کی ایک سے زیادہ بار حساب کی جائے گی۔ اس کا استعمال کرتے ہوئے کیا جاسکتا ہے اصرار() DStream پر طریقہ۔

اعداد و شمار: 2 نوڈس میں کیچنگ

ان پٹ اسٹریمز کے ل that جو نیٹ ورک پر ڈیٹا وصول کرتے ہیں (جیسے کافکا ، فلیوم ، ساکٹس وغیرہ) ،پہلے سے طے شدہ استقامت کی سطح کو غلطی رواداری کے ل two اعداد و شمار کو دو نوڈس پر نقل کرنا ہے۔

جمع کرنے والا ، براڈکاسٹ متغیرات اور چوکیاں

جمع کرنے والے: جمع کرنے والا متغیرات ہیں جو صرف اور صرف ایک انجمن اور تجارتی آپریشن کے ذریعے شامل کیے جاتے ہیں۔ وہ کاؤنٹر یا رقم کو نفاذ کرنے کے لئے استعمال ہوتے ہیں۔ UI میں جمع کرنے والوں کا سراغ لگانا چلانے کے مراحل کی پیشرفت کو سمجھنے کے لئے مفید ثابت ہوسکتا ہے۔ مقامی طور پر چنگاری عددی جمع کرنے والوں کی حمایت کرتی ہے۔ ہم نامزد یا نامعلوم جمع کرنے والا بنا سکتے ہیں۔

براڈکاسٹ متغیرات: براڈکاسٹ متغیرات پروگرامر کو کاموں کے ساتھ اس کی ایک کاپی بھیجنے کے بجائے ہر مشین پر صرف پڑھنے کے قابل متغیر رکھنے کی اجازت دیں۔ ان کا استعمال ہر نوڈ کو موثر انداز میں بڑے ان پٹ ڈیٹاسیٹ کی کاپی دینے کے لئے کیا جاسکتا ہے۔ مواصلات کی لاگت کو کم کرنے کے ل Sp موثر نشریاتی الگورتھم کا استعمال کرتے ہوئے نشریاتی متغیرات کو تقسیم کرنے کی بھی کوشش کرتی ہے۔

چوکیاں: چوکیاں گیمنگ میں چوکیوں کی طرح ہیں۔ وہ اسے 24/7 چلاتے ہیں اور اس کو ناکامیوں سے متعلق لچک دیتے ہیں جو درخواست کی منطق سے وابستہ نہیں ہیں۔

اعداد و شمار: چیک پوائنٹس کی خصوصیات

کیس سینٹر استعمال تجزیہ

اب جب ہم اسپارک اسٹریمنگ کے بنیادی تصورات کو سمجھ چکے ہیں ، آئیے اسپرارک اسٹریمنگ کے استعمال سے حقیقی زندگی کا مسئلہ حل کریں۔

مسئلہ یہ بیان: ٹویٹر سینٹمنٹ انیلیسیس سسٹم ڈیزائن کرنے کے لئے جہاں ہم بحران کے انتظام ، خدمت کو ایڈجسٹ کرنے اور ٹارگٹ مارکیٹنگ کے لئے حقیقی وقت کے جذبات استوار کرتے ہیں۔

احساس تجزیہ کی درخواستیں:

• کسی فلم کی کامیابی کی پیش گوئی کریں
• سیاسی مہم کی کامیابی کی پیش گوئی کریں
• فیصلہ کریں کہ کسی خاص کمپنی میں سرمایہ کاری کی جائے
• ھدف بنائے گئے اشتہار
• مصنوعات اور خدمات کا جائزہ لیں

اسپرنگ اسٹریمنگ عمل:

نیچے چھدم کوڈ تلاش کریں:

// اسپورٹ پروگرام درآمد org.apache.spark.streaming میں ضروری پیکیجز درآمد کریں۔ s سیکنڈز ، اسٹریمنگکونسٹیکٹ} درآمد org.apache.spark.SparkContext._ ... java.io.File آبجیکٹ twitterSentiment {Def مین (آرگس : سرنی [اسٹرنگ]) {اگر (args.leight)<4) { System.err.println('Usage: TwitterPopularTags ' + ' []') System.exit(1) } StreamingExamples.setStreamingLogLevels() //Passing our Twitter keys and tokens as arguments for authorization val Array(consumerKey, consumerSecret, accessToken, accessTokenSecret) = args.take(4) val filters = args.takeRight(args.length - 4) // Set the system properties so that Twitter4j library used by twitter stream // Use them to generate OAuth credentials System.setProperty('twitter4j.oauth.consumerKey', consumerKey) ... System.setProperty('twitter4j.oauth.accessTokenSecret', accessTokenSecret) val sparkConf = new SparkConf().setAppName('twitterSentiment').setMaster('local[2]') val ssc = new Streaming Context val stream = TwitterUtils.createStream(ssc, None, filters) //Input DStream transformation using flatMap val tags = stream.flatMap { status =>ہاٹ ٹیگس Text // آر ڈی ڈی ٹرانسفارمیشن سے سورسٹ بائی کا استعمال کرتے ہوئے ٹیکسٹ حاصل کریں اور پھر فنکشن ٹیگس کوپینٹ بائٹ ویلیو () .forachRDD {rdd => ویل اب = ہر ٹویٹ کا موجودہ وقت حاصل کریں rdd .sortBy (_._ 2) .map (x =>) (x ، اب)) // ہمارے آؤٹ پٹ کو ~ / ٹویٹر / ڈائرکٹری پر محفوظ کرنا .saveAsTextFile (s '~ / twitter / $ now')} // فلٹر اور میپ فنکشنز کا استعمال کرتے ہوئے ڈی ایس ٹریم ٹرانسفارمیشن ویل ٹویٹس = اسٹریم فلٹر {t => ویل ٹیگس = ٹی۔ خالی جگہوں پر اسپلٹ کریں ۔فلٹر (_. شروع کے ساتھ ('#'))۔ تبدیل کریں لوئر کیس میں تبدیل کریں. (status.getText، sentiment.toString، tagss.toString ()). data.print () // twitters data.saveAsTextFiles ('~ / twitters'، '20000') ssc کی طرح شروع ہونے والے فائل ناموں سے ~ / پر ہمارے آؤٹ پٹ کو محفوظ کرنا۔ اسٹارٹ () ssc.await ٹرمینیشن ()}}

نتائج:

مندرجہ ذیل نتائج ہیں جو ایکلیپسی IDE میں دکھائے جاتے ہیں جبکہ ٹویٹر سینٹمنٹ اسٹریمنگ پروگرام چلاتے ہیں۔

اعداد و شمار: چاند اور سورج گرہن IDE میں حساس تجزیہ آؤٹ پٹ

جیسا کہ ہم اسکرین شاٹ میں دیکھ سکتے ہیں ، ٹویٹس کے مندرجات کے جذبات کے مطابق تمام ٹویٹس کو مثبت ، غیر جانبدار اور منفی میں درجہ بندی کیا گیا ہے۔

ٹویٹس کے سینٹیمنٹ کا آؤٹ پٹ فولڈرز اور فائلوں میں اس وقت کے مطابق اسٹور کیا جاتا ہے جس وقت وہ تشکیل دیا گیا تھا۔ یہ آؤٹ پٹ مقامی فائل سسٹم یا ایچ ڈی ایف ایس میں ضرورت کے مطابق محفوظ کیا جاسکتا ہے۔ آؤٹ پٹ ڈائرکٹری اس طرح دکھتی ہے:

اعداد و شمار: ہمارے ’ٹویٹر‘ پروجیکٹ فولڈر کے اندر آؤٹ پٹ فولڈر

یہاں ، ٹویٹر ڈائرکٹری کے اندر ، ہم ٹویٹر صارفین کے صارف نام تلاش کرسکتے ہیں ، جیسا کہ ذیل میں دکھایا گیا ہے۔

اعداد و شمار: ٹائم اسٹیمپ کے ساتھ ٹویٹر صارف ناموں پر مشتمل آؤٹ پٹ فائل

اب جب کہ ہمیں ٹویٹر کے صارف نام اور ٹائم اسٹیمپ مل گیا ہے ، آئیے مرکزی ڈائریکٹری میں موجود سینٹیمنٹ اور ٹویٹس کو دیکھیں۔ یہاں ، ہر ٹویٹ کے بعد جذباتیت کے جذبات ہوتے ہیں۔ ذخیرہ کرنے والا یہ احساس کمپنیوں کے ذریعہ بہت ساری بصیرت کا تجزیہ کرنے کے لئے استعمال ہوتا ہے۔

اعداد و شمار: جذبات کے ساتھ ٹویٹس پر مشتمل آؤٹ پٹ فائل

ٹوییک کوڈ:

اب ، ہم مخصوص ہیش ٹیگز (عنوانات) کے جذبات حاصل کرنے کے لئے اپنے کوڈ کو تھوڑی ترمیم کریں۔ اس وقت ، امریکہ کے صدر ڈونلڈ ٹرمپ نیوز چینلز اور آن لائن سوشل میڈیا میں ٹرینڈ کر رہے ہیں۔ آئیے ہم کلیدی لفظ کے ساتھ وابستہ جذبات کو دیکھیں۔ ٹرمپ ‘‘۔

اعداد و شمار: ’ٹرمپ‘ کی ورڈ کے ساتھ ٹویٹس پر حساس تجزیہ کرنا

آگے بڑھ رہا ہے:

جیسا کہ ہم اپنے احساس تجزیہ مظاہرے سے دیکھ چکے ہیں ، ہم خاص موضوعات کے جذبات نکال سکتے ہیں جیسے ہم نے ’ٹرمپ‘ کے لئے کیا تھا۔ اسی طرح ، سینٹمنٹ تجزیات کو دنیا بھر کی کمپنیوں کے ذریعہ بحران کے انتظام ، سروس ایڈجسٹ اور ٹارگٹ مارکیٹنگ میں استعمال کیا جاسکتا ہے۔

احساس تجزیہ کے لئے اسپارک اسٹریمنگ کا استعمال کرنے والی کمپنیوں نے درج ذیل کو حاصل کرنے کے لئے اسی طرز عمل کا استعمال کیا ہے۔

1. کسٹمر کے تجربے کو بڑھانا
2. مسابقتی فائدہ حاصل کرنا
3. بزنس انٹیلیجنس حاصل کرنا
4. کھوئے ہوئے برانڈ کو زندہ کرنا

اس کے ساتھ ، ہم اس کے اختتام کو پہنچے ہیں اسپرنگ اسٹریمنگ ٹیوٹوریل بلاگ اب تک ، آپ کو اسپارک اسٹریمنگ کیا ہے اس کی صحیح تفہیم حاصل ہوگئی ہے۔ ٹویٹر سینٹمنٹ تجزیہ استعمال کیس آپ کو آئندہ کسی بھی پروجیکٹس پر کام کرنے کا مطلوبہ اعتماد فراہم کرے گا جس کا آپ کو سپارک اسٹریمنگ اور اپاچی اسپارک میں سامنا کرنا پڑتا ہے۔ پریکٹس کسی بھی مضمون میں عبور حاصل کرنے کی کلید ہے اور میں امید کرتا ہوں کہ اس بلاگ نے آپ میں اپاچی اسپارک کو مزید تلاش کرنے کے ل to آپ میں کافی دلچسپی پیدا کردی ہے۔

ہم ایڈوریکا سے درج ذیل اسپارک اسٹریمنگ یوٹیوب ٹیوٹوریل کی سفارش کرتے ہیں۔

چنگاری سٹریمنگ | ٹویٹر حساس تجزیہ کی مثال | ایڈوریکا

اسپارک سبق پر یہ ویڈیو سیریز ریئل لائف استعمال کیسز جیسے اجزاء میں ایک مکمل پس منظر فراہم کرتی ہے ٹویٹر حساس تجزیہ ، NBA کھیل ہی کھیل میں پیشن گوئی تجزیہ ، زلزلے کا پتہ لگانے کا نظام ، فلائٹ ڈیٹا تجزیات اور مووی کی سفارش کے نظام . ہم نے ذاتی طور پر استعمال کے معاملات کو ڈیزائن کیا ہے تاکہ کوڈ چلانے والے کسی کو بھی ہر طرح کی مہارت فراہم ہوسکے۔

ہمارے لئے ایک سوال ہے؟ برائے کرم اس کا تذکرہ سیکشن میں ذکر کریں اور ہم جلد سے جلد آپ کو ملیں گے۔ اگر آپ اسپارک کو سیکھنا چاہتے ہیں اور اسپارک کے ڈومین میں کیریئر بنانا چاہتے ہیں اور آر ڈی ڈی ، اسپارک اسٹریمنگ ، اسپارک ایس کیو ایل ، ایم ایللیب ، گرافکس اور سکالہ کو ریئل لائف استعمال کیسز کے ذریعہ بڑے پیمانے پر ڈیٹا پروسیسنگ کا استعمال کرنے کے ل expert مہارت پیدا کرنا چاہتے ہیں تو ، ہمارے انٹرایکٹو کو دیکھیں ، براہ راست آن لائن یہاں ، جو آپ کے سیکھنے کی پوری مدت میں آپ کی رہنمائی کے لئے 24 * 7 سپورٹ کے ساتھ آتا ہے۔