چنگاری پر چھتے اور سوت کی مثالیں

ہم نے سیکھا ہے کہ کس طرح چنگاری پر چھتے اور سوت بنائیں . اب ہم چنگاری پر Hive اور سوت کی مثالیں آزمائیں۔

چنگاری پر چھتے کی مثال

ہم ہائوی آن اسپرارک کی مثال چلائیں گے۔ ہم اس جدول میں ایک ٹیبل بنائیں گے ، اعداد و شمار کو لوڈ کریں گے اور ایک آسان استفسار کریں گے۔ جب Hive کے ساتھ کام کر رہے ہیں تو ، ایک کو لازمی طور پر ایک بنانا چاہئے HiveContext جس سے میراث ملتا ہے SQLContext .

کمانڈ: سی ڈی چنگاری۔ 1.1.1

کمانڈ: ./bin/spark- شیل

ایک ان پٹ فائل بنائیں ‘نمونہ’ آپ کی ہوم ڈائریکٹری میں ذیل میں سنیپ شاٹ (ٹیب سے الگ)

طریقہ اوورلوڈنگ اور طریقہ اوور رائڈنگ کیا ہے؟

کمانڈ: ویل sqlContext = نیا org.apache.spark.sql.hive.HiveContext (sc)

کمانڈ: sqlContext.sql ('اگر ٹیسٹ موجود نہیں تو ٹیبل بنائیں (نام STRING ، رینک INT) قطار فارمیٹ محدود فیلڈز ٹرمینٹڈ بذریعہ' ‘لائنز ٹرمینیٹڈ بذریعہ’)
‘‘)

کمانڈ: sqlContext.sql ('لوٹا ڈیٹا لوکل انپٹ' / گھر / ایڈیورکا / نمونہ ’ان ٹیبل ٹیسٹ میں شامل ہوں۔)

کمانڈ: sqlContext.sql (جہاں سے درجہ بندی کیجیے * منتخب کریں<5”).collect().foreach(println)

چنگاری پر سوت کی مثال

ہم سوت پر SparkPi مثال چلائیں گے۔ ہم یارک کو دو مختلف طریقوں سے سپارارک پر تعینات کرسکتے ہیں: کلسٹر وضع اور موکل موڈ۔ سوت-کلسٹر موڈ میں ، اسپارک ڈرائیور کسی ایپلیکشن ماسٹر پروسیس کے اندر چلتا ہے جس کا انتظام یارن کے ذریعہ کلسٹر پر ہوتا ہے ، اور مؤکل درخواست کی شروعات کے بعد چلا جاسکتا ہے۔ سوت کلائنٹ وضع میں ، ڈرائیور کلائنٹ کے عمل میں چلتا ہے ، اور ایپلی کیشن ماسٹر صرف سوت سے وسائل کی درخواست کرنے کے لئے استعمال ہوتا ہے۔

کمانڈ: سی ڈی چنگاری۔ 1.1.1

کمانڈ: سپارک_جار =. / اسمبلی / ہدف / اسکالہ -2،10 / چنگاری اسمبلی -1.1.1-hadoop2.2.0.jar ./bin/spark-submit – ماسٹر سوت-ڈپلیو-موڈ کلسٹر lassclass org.apache.spark.ex مثالوں. SparkPi umnum-executors 1 1Adriver-میموری 2G –executor-મેમરી 1g – Executor-cores 1 مثالوں / ہدف / اسکالا -2،10 / چنگاری کی مثالوں -1.1.1-hadoop2.2.0.jar

مذکورہ کمانڈ پر عمل درآمد کرنے کے بعد ، براہ کرم کچھ دیر انتظار کریں جب تک کہ آپ اسے حاصل نہ کریں کامیاب پیغام

براؤز کریں لوکل ہوسٹ: 8088 / کلسٹر اور اسپارک ایپلی کیشن پر کلک کریں۔

انفارمیٹیکا میں فعال اور غیر فعال تبدیلیاں

پر کلک کریں نوشتہ جات .

پر کلک کریں stdout آؤٹ پٹ چیک کرنے کے ل.

کلائنٹ وضع میں چنگاری پر سوت کی تعیناتی کے لئے ، ابھی بنائیں ep ڈپلیو لائحہ عمل جیسے 'مؤکل'۔ اب ، آپ کو معلوم ہے کہ چنگاری پر چھتے اور سوت کیسے بنائے جاتے ہیں۔ ہم نے ان پر پریکٹس بھی کی۔

ہمارے لئے ایک سوال ہے؟ برائے کرم ان کا تذکرہ سیکشن میں ذکر کریں اور ہم آپ کو واپس ملیں گے۔

متعلقہ اشاعت

ہاڈوپ کے ساتھ اپاچی چنگاری - کیوں اس سے فرق پڑتا ہے؟

چھتے اور سوت سے چنگاری سے بجلی پیدا ہوجاتی ہے