اپاچی اسکوپ ٹیوٹوریل۔ ایچ ڈی ایف ایس اور آر ڈی بی ایم ایس کے مابین ڈیٹا درآمد / برآمد کریں

اس اپاچی اسکوپ سبق کے ساتھ شروع کرنے سے پہلے ، آئیے ہم ایک قدم پیچھے ہٹیں۔ کیا آپ کو اعداد و شمار کی ادائیگی کی اہمیت یاد آسکتی ہے ، جیسا کہ ہم نے اپنے پہلے بلاگ میں اس پر تبادلہ خیال کیا تھا اپاچی فلیم . اب ، جیسا کہ ہم جانتے ہیں کہ اپاچی فلایم غیر ساختہ وسائل کے ل data ڈیٹا انجشن ٹول ہے ، لیکن تنظیمیں اپنے آپریشنل ڈیٹا کو رشتہ دار ڈیٹا بیس میں اسٹور کرتی ہیں۔ لہذا ، ایسے آلے کی ضرورت تھی جو رشتہ دار ڈیٹا بیس سے ڈیٹا درآمد اور برآمد کرسکے۔ اسی وجہ سے اپاچی سکوپ پیدا ہوا۔ سکوپ آسانی سے ہڈوپ کے ساتھ مربوط ہوسکتا ہے اور ایچ ڈی ایف ایس پر رشتہ دار ڈیٹا بیس سے تشکیل شدہ ڈیٹا کو ہڈوپ کی طاقت کی تعریف کرتے ہوئے پھینک سکتا ہے۔ یہ کیوں ہے، اپاچی اسکوپ اور فلیوم کے بارے میں صحیح علم کا حکم دیتا ہے۔

ابتدائی طور پر ، سکوپ کو کلودیرا نے تیار کیا اور برقرار رکھا تھا۔ بعدازاں ، 23 جولائی 2011 کو ، اسے اپاچی نے انکیوٹ کیا۔ اپریل 2012 میں ، سکوپ پروجیکٹ کو اپاچی کے اعلی سطحی منصوبے کے طور پر ترقی دی گئی۔

اس اپاچی فلومیٹ ٹیوٹوریل بلاگ میں ، ہم اس کا احاطہ کریں گے:

• Sqoop تعارف
• کیوں Sqoop
• Sqoop خصوصیات
• آلودگی بمقابلہ سکوپ
• اسکوپ آرکیٹیکچر اور ورکنگ
• سکوپ کمانڈز

ہم اس اپاچی اسکوپ ٹیوٹوریل کا آغاز اپاچی اسکوپ کو متعارف کروا کر کریں گے۔ پھر آگے بڑھتے ہوئے ، ہم اپاچی اسکوپ کے استعمال کے فوائد کو سمجھیں گے۔

اپاچی اسکوپ ٹیوٹوریل: اسکوپ تعارف

عام طور پر ، درخواستیں RDBMS کا استعمال کرتے ہوئے رشتہ دار ڈیٹا بیس کے ساتھ بات چیت کرتی ہیں ، اور اس طرح یہ رشتہ دار ڈیٹا بیس کو ایک انتہائی اہم وسیلہ بناتا ہے جو بگ ڈیٹا تیار کرتا ہے۔ متعلقہ ڈھانچے میں اس طرح کے ڈیٹا کو RDB سرورز میں محفوظ کیا جاتا ہے۔ یہاں ، اپاچی اسکوپ ایک اہم کردار ادا کرتا ہے ، متعلقہ ڈیٹا بیس سرور اور ایچ ڈی ایف ایس کے مابین ممکنہ تعامل فراہم کرنا۔

تو ، اپاچی اسکوپ ایک ٹول ہے جس کے درمیان ڈیٹا کی منتقلی کے لئے ڈیزائن کیا گیا ہے ایچ ڈی ایف ایس (ہڈوپ اسٹوریج) اور رشتہ دار ڈیٹا بیس سرورز جیسے ایس کیو ایل ، اوریکل آر ڈی بی ، ایس کیو ایلائٹ ، ٹیراداٹا ، نیٹیزا ، پوسٹگریس وغیرہ۔ اپاچی سکوپ ایچ ڈی ایف ایس کو رشتہ دار ڈیٹا بیس سے ڈیٹا امپورٹ کرتا ہے ، اور ڈی ایچ ڈی ایف سے ڈیٹا کو رشتہ دار ڈیٹا بیس میں برآمد کرتا ہے۔ یہ ہڈوپ اور بیرونی ڈیٹا اسٹورز جیسے انٹرپرائز ڈیٹا گوداموں ، متعلقہ ڈیٹا بیس وغیرہ کے مابین بلک ڈیٹا کو مؤثر طریقے سے منتقل کرتا ہے۔

اس طرح اسکوپ کو اپنا نام ملا۔ SQ ایل ٹو تھا کھلا & ہڈوپ ٹو ایس کیو ایل '۔

اضافی طور پر ، سکوپ کو بیرونی ڈیٹا اسٹورز سے ڈیٹا کو ہڈوپ ماحولیاتی نظام جیسے ٹولز میں درآمد کرنے کے لئے استعمال کیا جاتا ہے چھتے اور HBase .

اب ، جیسا کہ ہم جانتے ہیں کہ اپاچی اسکائوپ کیا ہے؟ تو ، آئیے ہم اپنے اپاچی سکوپ ٹیوٹوریل کو آگے بڑھائیں اور سمجھیں کہ تنظیموں کے ذریعہ سکوپ کو بڑے پیمانے پر کیوں استعمال کیا جاتا ہے۔

اپاچی اسکوپ ٹیوٹوریل: کیوں؟

ہڈوپ ڈویلپر کے لئے ، ایچ ڈی ایف ایس میں ڈیٹا کو لوڈ کرنے کے بعد اصل کھیل شروع ہوتا ہے۔ وہ ایچ ڈی ایف ایس میں محفوظ ڈیٹا میں چھپی ہوئی مختلف بصیرت حاصل کرنے کے ل this اس اعداد و شمار کے آس پاس کھیل رہے ہیں۔

لہذا ، اس تجزیہ کے ل relation ، متعلقہ ڈیٹا بیس مینجمنٹ سسٹم میں رہنے والے ڈیٹا کو ایچ ڈی ایف ایس میں منتقل کرنے کی ضرورت ہے۔ لکھنے کا کام ایچ ڈی ایف ایس کو رشتہ دار ڈیٹا بیس سے ڈیٹا کی درآمد اور برآمد کرنے کا کوڈ دلچسپی اور پریشان کن نہیں ہے۔ یہیں سے اپاچی سکوپ بچانے کے لئے آتا ہے اور ان کے درد کو دور کرتا ہے۔ یہ ڈیٹا کی درآمد اور برآمد کے عمل کو خود کار بناتا ہے۔

سکوپ ڈیٹا کی درآمد اور برآمد کے لئے سی ایل آئی فراہم کرکے ڈویلپرز کی زندگی کو آسان بنا دیتا ہے۔ ان کو صرف بنیادی معلومات جیسے ڈیٹا بیس کی توثیق ، ​​ذریعہ ، منزل ، آپریشن وغیرہ فراہم کرنا ہے یہ باقی حصے کا خیال رکھتا ہے۔

سکوپ اندرونی طور پر کمانڈ کو میپریڈوسیس ٹاسک میں تبدیل کرتا ہے ، جو اس کے بعد ایچ ڈی ایف ایس پر عملدرآمد کیا جاتا ہے۔ یہ ڈیٹا کو درآمد اور برآمد کرنے کے لئے یاران فریم ورک کا استعمال کرتا ہے ، جو متوازی کے اوپری حصے میں غلطی رواداری فراہم کرتا ہے۔

سٹرنگ ازگر کو ریورس کرنے کا طریقہ

اس اسکئوپ ٹیوٹوریل بلاگ میں آگے بڑھتے ہوئے ، ہم اسکوپ کی کلیدی خصوصیات کو سمجھیں گے اور پھر ہم اپاچی سکوپ فن تعمیر کو آگے بڑھائیں گے۔

اپاچی اسکوپ ٹیوٹوریل: اسکوپ کی کلیدی خصوصیات

اسکوپ بہت سی نمایاں خصوصیات مہیا کرتا ہے جیسے:

1. مکمل بوجھ : اپاچی اسکوپ ایک ہی کمانڈ کے ذریعہ پوری میز کو لوڈ کرسکتا ہے۔ آپ ایک ہی کمانڈ کا استعمال کرتے ہوئے ڈیٹا بیس سے تمام ٹیبل بھی لوڈ کرسکتے ہیں۔
2. اضافی لوڈ : اپاچی اسکوپ انکریمنڈل بوجھ کی سہولت بھی مہیا کرتا ہے جہاں آپ جب بھی ٹیبل کے حصے کو اپ ڈیٹ کرتے ہیں تو اسے لوڈ کرسکتے ہیں۔
3. متوازی درآمد برآمد : سکوپ یاران فریم ورک کا استعمال ڈیٹا کو درآمد اور برآمد کرنے کے لئے کرتا ہے ، جو ہم آہنگی کے سب سے اوپر غلطی رواداری فراہم کرتا ہے۔
4. درآمد کریں نتائج کے ایس کیو ایل استفسار : آپ ایچ ڈی ایف ایس میں ایس کیو ایل کے استفسار سے موصولہ نتیجہ درآمد بھی کرسکتے ہیں۔
5. دباؤ : آپ ڈیفلیٹ (جیزپ) الگورتھم کوکمپریس دلیل کے ساتھ ، یا کمپریشن - کوڈیک دلیل کی وضاحت کرکے اپنے ڈیٹا کو کمپریس کرسکتے ہیں۔ آپ کمپریسڈ ٹیبل کو اندر بھی لوڈ کرسکتے ہیں اپاچی چھتے .
6. رابط کرنے والے کے لئے سب میجر آر ڈی بی ایم ایس ڈیٹا بیس : اپاچی اسکوپ متعدد آرڈی بی ایم ایس ڈیٹا بیس کے ل conn رابط فراہم کرتا ہے ، جس میں تقریبا the پورے فریم کا احاطہ ہوتا ہے۔
7. کریربوس سیکیورٹی انضمام : کریربوس ایک کمپیوٹر نیٹ ورک کا توثیق کرنے والا پروٹوکول ہے جو ’ٹکٹوں‘ کی بنیاد پر کام کرتا ہے تاکہ وہ غیر محفوظ نیٹ ورک پر بات چیت کرنے والے نوڈس کو ایک دوسرے سے محفوظ شناخت میں اپنی شناخت ثابت کرسکے۔ سکوپ کربروز کی توثیق کی حمایت کرتا ہے۔
8. لوڈ ڈیٹا براہ راست میں HIVE / HBase : آپ براہ راست اعداد و شمار کو لوڈ کرسکتے ہیں اپاچی چھتے تجزیہ کیلئے اور اپنے ڈیٹا کو HBase میں پھینک دیں ، جو NoSQL ڈیٹا بیس ہے۔
9. مدد کریں کے لئے جمع : آپ سکیوپ کو ایچ ڈی ایف ایس میں ڈائریکٹری کے بجائے ٹیبل کو اکومولو میں درآمد کرنے کی ہدایت بھی کرسکتے ہیں۔

فن تعمیر ایک وہ ہے جو اپاچی اسکائوپ کو ان فوائد کے ساتھ بااختیار بنا رہا ہے۔ اب ، جیسا کہ ہم اپاچی سکوپ کی خصوصیات کو جانتے ہیں ، آئیے ہم آگے بڑھیں اور اپاچی سکوپ کے فن تعمیر اور کام کو سمجھیں۔

اپاچی اسکوپ ٹیوٹوریل: اسکوپ آرکیٹیکچر اور ورکنگ

آئیے ہم سمجھتے ہیں کہ اپاچی اسکوپ نیچے دیئے گئے آریگرام کا استعمال کرکے کیسے کام کرتا ہے:

درآمد کا آلہ RDBMS سے ایچ ڈی ایف ایس میں انفرادی میزیں درآمد کرتا ہے۔ ٹیبل کی ہر صف کو ایچ ڈی ایف ایس میں ایک ریکارڈ کی طرح سمجھا جاتا ہے۔

جب ہم سکیوپ کمانڈ جمع کرواتے ہیں تو ، ہمارا بنیادی کام سب ٹاسکس میں تقسیم ہوجاتا ہے جو داخلی طور پر انفرادی میپ ٹاسک کے ذریعہ سنبھالا جاتا ہے۔ میپ ٹاسک سب ٹاسک ہے ، جو ہڈوپ ایکو سسٹم میں ڈیٹا کا ایک حصہ درآمد کرتا ہے۔ اجتماعی طور پر ، نقشہ کے تمام کام پورے ڈیٹا کو درآمد کرتے ہیں۔

برآمد بھی اسی طرح کام کرتا ہے۔

ایکسپورٹ ٹول ایچ ڈی ایف ایس سے فائلوں کا ایک سیٹ واپس آر ڈی بی ایم ایس میں برآمد کرتا ہے۔ اسکوپ کو ان پٹ کے بطور دی گئی فائلوں میں ریکارڈ موجود ہیں ، جنہیں ٹیبل میں قطاریں کہتے ہیں۔

جب ہم اپنا کام پیش کرتے ہیں تو ، اس کو نقشہ ٹاسکس میں نقشہ بنا دیا جاتا ہے جو ایچ ڈی ایف ایس سے ڈیٹا کا حصہ نکالتا ہے۔ یہ حصے ایک سنجیدہ ڈیٹا منزل تک برآمد کیے جاتے ہیں۔ ان تمام برآمد شدہ حصوں کے اعداد و شمار کو جوڑ کر ، ہم منزل پر پورا ڈیٹا وصول کرتے ہیں ، جو زیادہ تر معاملات میں آر ڈی بی ایم ایس (ایم وائی ایس کیو ایل / اوریکل / ایس کیو ایل سرور) ہوتا ہے۔

جمع کرنے کی صورت میں مرحلہ کو کم کرنا ضروری ہے۔ لیکن ، اپاچی اسکوپ صرف اس اعداد و شمار کی درآمد اور برآمد کرتا ہے جو اس سے کوئی جمع نہیں ہوتا ہے۔ صارف کی طرف سے بیان کردہ نمبر پر منحصر ہے میپ جاب ایک سے زیادہ میپرس لانچ کرے گا۔ سکوپ امپورٹ کے ل each ، ہر میپر ٹاسک کو ڈیٹا کے ایک حص withے کے ساتھ درآمد کیا جائے گا۔ اسکوپ اعلی کارکردگی حاصل کرنے کے ل equally یکساں طور پر نقشہ سازوں میں ان پٹ کو تقسیم کرتا ہے۔ پھر ہر میپر جے ڈی بی سی کا استعمال کرتے ہوئے ڈیٹا بیس کے ساتھ رابطہ پیدا کرتا ہے اور سکوپ کے ذریعہ تفویض کردہ ڈیٹا کا ایک حص theہ لے کر آتا ہے اور سی ایل آئی میں فراہم کردہ دلائل کی بنیاد پر اسے ایچ ڈی ایف ایس یا ہائیو یا ایچ بیس میں لکھتا ہے۔

اب جب ہم اپاچی اسکوپ کے فن تعمیر اور کام کو سمجھتے ہیں ، تو آئیے اپاچی فلیم اور اپاچی سکوپ کے درمیان فرق کو سمجھیں۔

اپاچی اسکوپ ٹیوٹوریل: فلوم بمقابلہ سکوپ

فلایوم اور سکوپ کے درمیان بڑا فرق یہ ہے کہ:

• فلوم صرف غیر ساختہ ڈیٹا یا نیم ساختہ ڈیٹا کو ایچ ڈی ایف ایس میں داخل کرتا ہے۔
• جبکہ سکوپ آرڈی بی ایم ایس یا انٹرپرائز ڈیٹا گوداموں سے ایچ ڈی ایف ایس یا اس کے برعکس آر ڈی بی ایم ایس یا اس کے برخلاف ساختی ڈیٹا برآمد کرنے کے ساتھ ساتھ برآمد بھی کرسکتا ہے۔

اب ، ہمارے اپاچی اسکوپ ٹیوٹوریل میں پیشرفت کرتے ہوئے اب وقت آگیا ہے کہ اپاچی سکوپ کمانڈز کو دیکھیں۔

اپاچی اسکوپ ٹیوٹوریل: سکوپ کمانڈز

• سکوپ - امپورٹ کمانڈ

امپورٹ کمانڈ کا استعمال ٹیبل کو رشتہ دار ڈیٹا بیس سے ایچ ڈی ایف ایس میں درآمد کرنے کے لئے کیا جاتا ہے۔ ہمارے معاملے میں ، ہم ایس کیو ایل ڈیٹا بیس سے ٹیبلز کو ایچ ڈی ایف ایس میں درآمد کرنے جارہے ہیں۔

جیسا کہ آپ نیچے کی تصویر میں دیکھ سکتے ہیں ، ہمارے پاس ملازمین کے ڈیٹا بیس میں ملازمین کی میز موجود ہے جسے ہم ایچ ڈی ایف ایس میں درآمد کریں گے۔

ٹیبل کی درآمد کے لئے کمانڈ یہ ہے:

sqoop درآمد - منسلک jdbc: mysql: // لوکل ہاسٹ / ملازمین - صارف نام edureka - ٹیبل ملازمین

جیسا کہ آپ نیچے دی گئی تصویر میں دیکھ سکتے ہیں ، اس کمانڈ کے نفاذ کے بعد نقشہ کے کاموں کو پچھلے سرے میں انجام دیا جائے گا۔

کوڈ کے نفاذ کے بعد ، آپ ایچ ڈی ایف ایس یعنی لوکل ہوسٹ: 50070 کے ویب UI کو چیک کرسکتے ہیں جہاں اعداد و شمار کی درآمد ہوتی ہے۔

• سکوپ - ہدف ڈائرکٹری کے ساتھ امپورٹ کمانڈ

آپ مندرجہ ذیل کمانڈ کا استعمال کرتے ہوئے ایچ ڈی ایف ایس میں ایک مخصوص ڈائریکٹری میں ٹیبل بھی درآمد کرسکتے ہیں۔

sqoop درآمد - منسلک jdbc: mysql: // لوکل ہاسٹ / ملازمین - صارف کا نام edureka - ٹیبل ملازمین - 1 1 --target-dir / ملازمین

سکوپ زیادہ تر ڈیٹا بیس ذرائع سے متوازی طور پر ڈیٹا کی درآمد کرتا ہے۔ -م پراپرٹی کو استعمال کرنے والے میپروں کی تعداد بتانے کے لئے استعمال ہوتا ہے۔

سکوپ زیادہ تر ڈیٹا بیس ذرائع سے متوازی طور پر ڈیٹا کی درآمد کرتا ہے۔ آپ درآمد کو انجام دینے کے ل map نقشہ کاموں کی تعداد (متوازی عمل) کی وضاحت کرسکتے ہیں -م یا -نم میپرز دلیل. ان دلائل میں سے ہر ایک انٹیجر ویلیو لیتا ہے جو ملازمت کرنے کے لئے ہم آہنگی کی ڈگری سے مساوی ہے۔

آپ ڈائریکٹری میں موجود فائلوں کی تعداد سے آزادانہ طور پر نقشہ سازوں کی تعداد کو کنٹرول کرسکتے ہیں۔ برآمدی کارکردگی متوازی کی ڈگری پر منحصر ہے۔ پہلے سے طے شدہ طور پر ، سکوپ برآمدی عمل کے متوازی طور پر چار کاموں کا استعمال کرے گا۔ یہ زیادہ سے زیادہ مناسب نہیں ہوسکتا ہے ، آپ کو اپنے مخصوص سیٹ اپ کے ساتھ تجربہ کرنے کی ضرورت ہوگی۔ اضافی کام بہتر ہم آہنگی کی پیش کش کرسکتے ہیں ، لیکن اگر ڈیٹا بیس پہلے ہی انڈیکس کو اپ ڈیٹ کرنے ، محرکات کو تبدیل کرنے ، اور اسی طرح کی روک تھام میں ناکام ہے تو اضافی بوجھ کارکردگی کو کم کرسکتا ہے۔

آپ نیچے کی تصویر میں دیکھ سکتے ہیں ، کہ میپر ٹاسک کی تعداد 1 ہے۔

ایس کیو ایل ٹیبلز کی درآمد کرتے وقت بنائی جانے والی فائلوں کی تعداد میکپر کی تخلیق کردہ تعداد کے برابر ہے۔

• سکوپ - جہاں شق کے ساتھ امپورٹ کمانڈ

آپ اسکوپ امپورٹ ٹول میں 'جہاں' شق کا استعمال کرتے ہوئے ٹیبل کا سبسیٹ درآمد کرسکتے ہیں۔ یہ متعلقہ ڈیٹا بیس سرور میں متعلقہ ایس کیو ایل کے استفسار پر عملدرآمد کرتا ہے اور نتیجہ کو ایچ ڈی ایف ایس میں ہدف ڈائرکٹری میں اسٹور کرتا ہے۔ آپ 'کے ساتھ ڈیٹا درآمد کرنے کے لئے درج ذیل کمانڈ کا استعمال کرسکتے ہیں کہاں ‘شق:

اسکوپ امپورٹ --کونیکٹ jdbc: mysql: // لوکل ہوسٹ / ملازمین - صارف کا نام ترمیم - ٹیبل ملازمین - ایم 3 - کہیں 'emp_no & gt 49000' --target-dir / Latest_Employees

• سکوپ - اضافی درآمد

سکوپ ایک امپورٹڈ امپورٹ موڈ فراہم کرتا ہے جس کا استعمال صفوں کے کچھ پہلے درآمد شدہ سیٹ کے مقابلے میں صرف نئی قطاریں حاصل کرنے کے لئے کیا جاسکتا ہے۔ سکوپ دو طرح کی اضافی درآمدات کی حمایت کرتا ہے: شامل کریں اور آخری ترمیم . انجام دینے کے لئے اضافی درآمد کی قسم کی وضاحت کرنے کے لئے آپ عمومی دلیل استعمال کرسکتے ہیں۔

آپ کی وضاحت کرنی چاہئے شامل کریں موڈ جب کسی ٹیبل کی درآمد کرتے ہو جہاں بڑھتی ہوئی صف کی قدروں کے ساتھ نئی قطاریں شامل کی جارہی ہوں۔ آپ کالم کی وضاحت کرتے ہیں جس کے ساتھ قطار کا ID ہوتا ہے چیک کالم . سکوپ قطاریں درآمد کرتا ہے جہاں چیک کالم کی قیمت ایک مخصوص قیمت سے کہیں زیادہ ہوتی ہے - قدر-قدر .

ایک متبادل ٹیبل اپڈیٹ حکمت عملی جس میں اسکوپ نے تعاون کیا ہے آخری ترمیم وضع آپ کو اس وقت استعمال کرنا چاہئے جب سورس ٹیبل کی قطاریں اپ ڈیٹ ہوسکتی ہیں ، اور اس طرح کی ہر تازہ کاری آخری ترمیم شدہ کالم کی قیمت کو موجودہ ٹائم اسٹیمپ پر متعین کرے گی۔

جب بعد میں درآمد چل رہا ہو تو ، آپ کو بیان کرنا چاہئے - قدر-قدر اس طرح سے یہ یقینی بنائیں کہ آپ صرف نیا یا تازہ کاری شدہ ڈیٹا درآمد کریں۔ بچت شدہ نوکری کے طور پر ایک اضافی درآمد پیدا کرکے یہ خود بخود سنبھال لیا جاتا ہے ، جو بار بار چلنے والی اضافی درآمد کو انجام دینے کے لئے ترجیحی طریقہ کار ہے۔

پہلے ، ہم ایک نئی قطار داخل کر رہے ہیں جو ہمارے ایچ ڈی ایف ایس میں تازہ کاری ہوگی۔

اضافی درآمد کے لئے کمانڈ یہ ہے:

sqoop درآمد - منسلک jdbc: mysql: // لوکل ہوسٹ / ملازمین - صارف کا نام edureka - ٹیبل ملازمین --target-dir / تازہ ترین_Employees - عمومی ضمیمہ - چیک کالم emp_no - قدر قیمت 499999

آپ نیچے کی تصویر میں دیکھ سکتے ہیں ، تازہ کاری کے اعداد و شمار کے ساتھ ایک نئی فائل بنائی گئی ہے۔

• سکوپ - تمام میزیں درآمد کریں

آپ آر ڈی بی ایم ایس ڈیٹا بیس سرور سے تمام ٹیبلز کو ایچ ڈی ایف ایس میں درآمد کرسکتے ہیں۔ ہر جدول کا ڈیٹا الگ ڈائرکٹری میں محفوظ ہوتا ہے اور ڈائریکٹری کا نام ٹیبل کے نام کی طرح ہوتا ہے۔ لازمی ہے کہ اس ڈیٹا بیس میں ہر ٹیبل میں بنیادی کلیدی فیلڈ ہونا ضروری ہے۔ ڈیٹا بیس سے تمام ٹیبل کو درآمد کرنے کا حکم یہ ہے:

sqoop Import-all-tables - कनेक्ट jdbc: mysql: // لوکل ہاسٹ / ملازمین - صارف کا نام ایوریکا

• Sqoop - فہرست ڈیٹا بیس

آپ Sqoop کا استعمال کرتے ہوئے رشتہ دار ڈیٹا بیس میں موجود ڈیٹا بیس کو درج کرسکتے ہیں۔ سکوپ لسٹ ڈیٹا بیس کا ٹول ڈیٹا بیس سرور کے خلاف 'شو ڈیٹا بیسز' استفسار کو تجزیہ کرتا ہے اور اس پر عمل درآمد کرتا ہے۔ ڈیٹا بیس کی فہرست کے لئے کمانڈ یہ ہے:

sqoop list-databases - कनेक्ट jdbc: mysql: // localhost / --username edureka

• سکوپ - فہرست میزیں

آپ ایس کیو ایل کا استعمال کرتے ہوئے ایس کیو ایل ڈیٹا بیس سرور میں کسی خاص ڈیٹا بیس کے جدول کی فہرست بھی دے سکتے ہیں۔ سکوپ لسٹ ٹیبل ٹول کا تجزیہ اور ‘ٹیبلز دکھائیں’ استفسار پر عمل درآمد ٹیبل کو درج کرنے کے لئے کمانڈ ایک ڈیٹا بیس ہے:

sqoop list-tables - कनेक्ट jdbc: mysql: // لوکل ہاسٹ / ملازمین - صارف کا نام ایوریکا

• سکوپ - ایکسپورٹ

جیسا کہ ہم نے اوپر تبادلہ خیال کیا ، آپ HDD سے RDBMS ڈیٹا بیس میں بھی ڈیٹا برآمد کرسکتے ہیں۔ ہدف کے جدول کو ہدف کے ڈیٹا بیس میں موجود ہونا چاہئے۔ڈیٹا کو ایچ ڈی ایف ایس میں ریکارڈ کے طور پر محفوظ کیا جاتا ہے۔ یہ ریکارڈ پڑھ اور تجزیہ اور صارف کے مخصوص ڈلییمٹر کے ساتھ دبے ہوئے ہیں۔پہلے سے طے شدہ کارروائی ان پٹ فائلوں سے لے کر ڈیٹا بیس ٹیبل میں INSERT کے بیان کو استعمال کرکے تمام ریکارڈ داخل کرنا ہے۔ اپڈیٹ موڈ میں ، سکوپ اپ ڈیٹ اسٹیٹ تیار کرتا ہے جو موجودہ ریکارڈ کو ڈیٹا بیس میں بدل دیتا ہے۔

لہذا ، پہلے ہم ایک خالی میز تیار کر رہے ہیں ، جہاں ہم اپنا ڈیٹا برآمد کریں گے۔

ایچ ڈی ایف ایس سے ڈیٹا کو متعلقہ ڈیٹا بیس میں ایکسپورٹ کرنے کی کمانڈ یہ ہے:

sqoop ایکسپورٹ - منسلک jdbc: mysql: // لوکل ہسٹ / ملازمین - صارف کا نام edureka - ٹیبل ایمپ - ایکسپورٹ-ڈیر / صارف / ایڈیورکا / ملازمین

• سکوپ - کوڈجن

آبجیکٹ پر مبنی ایپلیکیشن میں ، ہر ڈیٹا بیس ٹیبل میں ایک ڈیٹا ایکسیس آبجیکٹ کلاس ہوتا ہے جس میں آبجیکٹ کو شروع کرنے کے لئے 'گیٹر' اور 'سیٹر' طریقے ہوتے ہیں۔ کوڈجن خود بخود ڈی اے او کلاس تیار کرتا ہے۔ یہ ٹیبل اسکیما ڈھانچے کی بنیاد پر جاوا میں ڈی اے او کلاس تیار کرتا ہے۔

جاوا کوڈ تیار کرنے کا حکم یہ ہے:

sqoop codegen --condٹ jdbc: mysql: // لوکل ہوسٹ / ملازمین - صارف نام ایڈیورکا - ٹیبل ملازمین

آپ مندرجہ بالا تصویر میں راستہ دیکھ سکتے ہیں جہاں کوڈ تیار کیا گیا ہے۔ آئیے ہم چلتے ہیں اور بنائی گئی فائلوں کو چیک کرتے ہیں۔

مجھے امید ہے کہ یہ بلاگ آپ کے لئے معلوماتی اور قابل قدر ہے۔ اگر آپ مزید جاننے میں دلچسپی رکھتے ہیں تو ، آپ اس سے گزر سکتے ہیں جو آپ کو بگ ڈیٹا کے بارے میں بتاتا ہے اور ہڈوپ بگ ڈیٹا سے متعلق چیلنجوں کو کس طرح حل کر رہا ہے۔

اب جب آپ اپاچی اسکوپ کو سمجھ گئے ہیں تو ، چیک کریں ایڈوریکا کے ذریعہ ، ایک قابل اعتماد آن لائن سیکھنے والی کمپنی جس کی دنیا بھر میں 250،000 سے زیادہ مطمئن سیکھنے والوں کے نیٹ ورک ہیں۔ ایڈورکا بگ ڈیٹا ہاڈوپ سرٹیفیکیشن ٹریننگ کورس سیکھنے والوں کو ایچ ڈی ایف ایس ، سوت ، میپریڈوسیس ، پگ ، ہائوی ، ایچ بیس ، اوزی ، فلیوم اور سکوپ میں ماہر بننے میں مدد دیتا ہے جس کا استعمال خوردہ ، سوشل میڈیا ، ہوا بازی ، سیاحت ، فنانس ڈومین پر حقیقی وقت کے استعمال کے معاملات ہے۔

حوالہ جاوا کے ذریعہ ویل پاس سے گزرنا

ہمارے لئے ایک سوال ہے؟ برائے کرم اس کا تذکرہ سیکشن میں ذکر کریں اور ہم آپ کو واپس ملیں گے۔