اگر آپ پہلے ہی سے ہیں آئی ٹی انڈسٹری ، آپ کو اس سے آگاہ ہونا چاہئے بڑا ڈیٹا آج کی بات ہے۔ ہو ، جدید کاروباری ماڈلز کے ساتھ نئی شروعات ہو رہی ہے ، یا آپ کے ساتھی کسی وجہ سے ، آج کے دن ، ان اسٹارٹ اپز میں شامل ہونے کے لئے آگے بڑھ رہے ہیں سبز چراگاہوں لگتا ہے بڑا ڈیٹا صنعت.
اگر آپ سوچ رہے ہیں کہ کیوں ، تو پھر میں آپ کو سفارش کرتا ہوں کہ اسے آخر تک پڑھیں کیونکہ یہ خود سے تلاش کرنے والا بلاگ ہوسکتا ہے ، جس کی مدد سے آپ اپنی منزل مقصود ہیں۔
تو ، کیوں یہ سبHYPEآس پاس بڑا ڈیٹا؟
کیا یہ صرف ایک اور ڈومین ہے جو عارضی بنیاد پر دوسرے تمام ڈومینز سے آنے والے مہاجروں کو ہے؟ یا ، کیا یہ طویل سفر کے لئے یہاں ہوگا؟
اگر میں نے اندازہ لگایا تو ، میں یہ کہوں گا کہ ، نہ صرف یہ کہ یہاں طویل سفر طے ہوگا ، بلکہ بگ ڈیٹا انڈسٹری تکنیکی ترقی کے مرکز کی حیثیت اختیار کر رہی ہے۔
کیونکہ سب کچھ قریب ہی ہےڈیٹا!
بالکل اتوار کی طرحطلوعسےمشرقاورسیٹمیںمغرب، کمپیوٹنگ / نان کمپیوٹنگ آلات کے مستقل استعمال کے نتیجے میں ناقابل انتظام ڈیٹا پھیل جائے گا۔
جب یہ اعداد و شمار ایکسل یا کسی بھی ڈیٹا بیس مینجمنٹ سسٹم کے ذریعہ سنبھالنے کی دہلیز کو عبور کرتا ہے تو ، ہم اسے اصطلاح دیتے ہیں بڑا ڈیٹا .
سوچو ، آپ نے ایمیزون سے خریداری کی آخری پروڈکٹ کون سی تھی؟ پچھلی سرگرمی کی بنیاد پر اگلا کون سا پروڈکٹ آپ خرید سکتے ہو؟ اس طرح کے سوالات کے جوابات بگ ڈیٹا میں محفوظ کیے جاتے ہیں۔
کیا کسی مصنوع کے پیچھے بڑھتا ہوا رجحان ہے؟ یا ، کیا اس میں کمی کا رجحان ہے؟ کیا کوئی صارف جب 'جوتے' خریدتا ہے تو وہ 'جرابیں' خریدے گا؟ یہ کاروباری مسئلہ حل کرنے والے سوالات ہیں۔
اور ، یہ سوالات آسانی سے ہوسکتے ہیں جواب دیا کا استعمال کرتے ہوئے بگ ڈیٹا تجزیات .
بہرحال ، جب آپ نہیں ہو تو اعداد و شمار کا استعمال کیا ہے تجزیہ کرنا یہ؟
تو ، ہے بگ ڈیٹامکمل طور پر کے بارے میںتجزیات؟مکمل طور پر نہیں ، لیکن تجزیات کا حتمی انعام ہے۔
بگ ڈیٹا میں دیگر اہم دھارے ہیںذخیرہاورمینجمنٹ.
یہ وہ جگہ ہے جہاں آپ بطور پیشہ ور شراکت کرسکتے ہیں۔ آپ یا تو اس کا کردار سنبھال سکتے ہیں:
- بگ ڈیٹا انجینئر
- بگ ڈیٹا سولیشن آرکیٹیکٹ
اور یہ یقینی بنائیں کہ جو بڑا ڈیٹا تیار کیا جاتا ہے وہ اب بھی دستیاب ہے اور اسے تجزیہ کاروں کے لئے بعد کے وقت پر بھی استعمال کیا جاسکتا ہے۔ تو یہ ہمارے لئے سوال اور نارائپ پر لاتا ہے
بگ ڈیٹا کو کہاں محفوظ کیا جاتا ہے؟
یہ ایک میں محفوظ کیا جا سکتا ہےایکسل فائل؟ کیا اس میں ذخیرہ کیا جاسکتا ہے؟متعلقہ ڈیٹا بیس سسٹم؟
کبھی بھی نہیں!
اگر یہ ہوسکتا تھا ، تو ہوتا!
اور سب کو ایک ساتھ کچھ مختلف کہا جائے۔ شاید کچھ ایسا ہی ہوایکسل ڈیٹایاRDBMS - ڈیٹا: ڈی
اور یہ ہمیں واپس لے جائے گا مرحلہ نمبر 1 : - ایکسل کا استعمال کرتے ہوئے بگ ڈیٹا کا انتظام کیوں نہیں کیا جاسکتا ہے؟ کیونکہایکسل کو سنبھالنے کے لئے بڑا ڈیٹا بہت گرم ہے. اور یہاں تک کہ حقیقت کے لئے دوسرے ڈیٹا بیس کے انتظام کے نظام.
تو ، متبادل کیا ہے؟
بگ ڈیٹا کو سنبھالنے کے لئے ، ہمارے پاس ہے HADOOP . شاید آپ بھی اس لفظ سے واقف ہوں گے۔ لیکن ، آپ سوچ رہے ہو گے ، کہ یہ کس طرح کام کرتا ہے؟
شروع کرنے والوں کے لئے ، HADOOP ایک مصنوع ہےاپاکی فاؤنڈیشن. اپاچی ایک امریکی غیر منفعتی تنظیم ہے جو اوپن سورس سافٹ ویئر کی ترقی کی حمایت کرتی ہے۔
ہڈوپ کو اوپن سورس جاوا پر مبنی پروگرامنگ فریم ورک کے طور پر بیان کیا گیا ہے جو تقسیم شدہ کمپیوٹنگ ماحول میں انتہائی بڑے ڈیٹا سیٹوں کی پروسیسنگ اور اسٹوریج کی حمایت کرتا ہے۔
ہڈوپ کیا کرسکتا ہے ، لیکن ایکسل نہیں کرسکتا؟
غیر ساختہ ڈیٹا پر کارروائی اور سمجھنا!ساختی ڈیٹا جو ٹیبلر فارمیٹ میں ہے یا دوسری صورت میں آسانی سے نمٹا جاسکتا ہے۔ ایکسل یہ کرسکتا ہے ، اور اسی طرح کوئی دوسرا RDBMS بھی کرسکتا ہے۔
لیکن جب پڑھنے کی اہلیت کم ہوجاتی ہے ، اور ڈیٹا غیر منظم ہوتا ہے ، تو وہیں پر بگ ڈیٹا ہوتا ہےہڈوپ جیسے اوزاراسکور. غیر ساختہ اعداد و شمار کی ایک مثال ہے syslog . ایک نمونہ کی تصویر نیچے ہے۔
اس طرح کے نوشتہ ایکسل کے استعمال سے یقینی طور پر قابل سوال نہیں ہیں۔
ہڈوپ ، بگ ڈیٹا ٹولز کی طرح ، اعداد و شمار کو ویسے ہی سمجھ سکتا ہے ، جیسے نمونوں کا پتہ لگانے اور مختلف شعبوں کے مابین تعلقات تشکیل دے کر۔ اور ایک بار جب اعداد و شمار کے ایک رشتہ دار رابطہ ہے ، یہ ہےتجزیات کے لئے تیار ہے.
تجزیات وہی ہے جو ایک تنظیم پر کاروباری اثرات مرتب کرے گی۔ اس بڑے ڈیٹا ڈومین میں شامل ہونے سے آپ کے کیریئر کو بڑے پیمانے پر فائدہ ہوگا۔
' کیا میں اسے ہڈوپ ایر بنا سکتا ہوں؟ '
… آپ کے ذہن میں اگلا سوال ہوسکتا ہے۔ اور بجا طور پر سوچا ، بگ ڈیٹا ایک مارکیٹ ہے جو ہمیشہ کی طرح گرم ہے ، اور جتنا پہلے کی طرح اہم ہے۔
ہڈوپ کے بغیر ، کمپنیوں کو بگ ڈیٹا سے نمٹنے کے لئے سخت وقت گزارنا پڑے گا۔ اور آپ جیسے ہنر مند پیشہ ور افراد کے بغیر ، کمپنیوں کو ہڈوپ کے ساتھ معاملات کرنے میں سخت وقت ہوگا۔
ایک رپورٹ ہے جس میں کہا گیا ہے کہ ، اس ڈومین میں قابلیت کا خسارہ ہے ۔تقریب کے خسارے کا مطلب ، کم پیشہ ور لیکن اعلی طلب ہے۔ اور یہ عالمی سطح پر ہے اور کسی خاص جغرافیہ تک ہی محدود نہیں ہے۔
کیا آپ نمبر چاہتے ہیں؟
TO مک کینسی گلوبل انسٹی ٹیوٹ مطالعہ میں کہا گیا ہے کہ امریکہ کو تقریبا 190 190،000 ڈیٹا سائنسدانوں اور 1.5 ملین مینیجرز اور تجزیہ کاروں کی کمی کا سامنا کرنا پڑے گا جو 2018 تک بگ ڈیٹا کو سمجھتے اور فیصلے کرسکتے ہیں۔
آپ کو کیریئر کا مشورہ؟ جوار کم ہونے پر سرف!
لیکن تم ہو محدود صرف کرنے کے لئے ہڈوپ ؟
واقعی نہیں۔ بگ ڈیٹا پر کارروائی کرنے کے لئے بہت سارے ٹولز موجود ہیں ، اور ہڈوپ کو بہترین میں سے ایک سمجھا جاتا ہے۔ لیکن ، ہر بار نہیں!
ایسے اوقات ہوتے ہیں جب ہڈوپ بہترین فٹ نہیں ہوتے ہیں۔ مثال کے طور پر ، اگر آپ غیر ٹیکنیکل فرد ہیں جو میپریڈس پروگرام لکھنے میں بہت اچھا نہیں ہے۔
ایسے معاملات میں ، آپ استعمال کرسکتے ہیںبتائیں، جو آپ کو ایک گرافیکل یوزر انٹرفیس فراہم کرتا ہے جو آپ جو کچھ بھی کرتے ہو اسے کرنے کے لئے دیتا ہے بصورت دیگر آپ نے میپریڈس کے ساتھ کیا ہوگا۔
الگورتھم کو ترتیب دیں سی ++
آسان جاوا کوڈ لکھنے کے ل For ، آپ استعمال کرسکتے ہیںسور.
اگر آپ بگ ڈیٹا پر ایس کیو ایل جیسے سوالات چلانا چاہتے ہیں تو ، پھرHIVEاستعمال کیا جا سکتا ہے.
اگر آپ NoSQL ڈیٹا بیس میں موجود ڈیٹا کو استعمال کرنا چاہتے ہیں توHBaseاستعمال کیا جا سکتا ہے.
ریئل ٹائم میں تجزیات انجام دینے کے ل you ، آپ استعمال کرسکتے ہیںچنگاری.
یہ بگ ڈیٹا ٹولز ہیں ، جو ہڈوپ کے ساتھ ہاتھ جوڑتے ہیں ، پھر بھی وہ ہڈوپ کی جگہ نہیں لیتے ہیں۔ وہ بگ ڈیٹا کے لئے ہڈوپ ایڈونس ہیں۔
اس کے علاوہ ، اسکیوپ ، فلئم ، اوزائئ ، وغیرہ جیسے مزید کئی ٹولز موجود ہیں جن کو مختلف کاروباری مسائل کو حل کرنے کے لئے ہڈوپ فریم ورک کے ساتھ مربوط کیا جاسکتا ہے۔
بگ ڈیٹا ماہر کی حیثیت سے انڈسٹری آپ سے کیا توقع رکھتی ہے؟
اس صنعت کی اشد ضرورت ہے بڑے اعداد و شمار کے مضامین جو ان کی تنظیموں کے لئے ایک اعداد و شمار سے آخر تک ایک بڑا ڈیٹا حل تیار کرسکتا ہے۔ بگ ڈیٹا آرکیٹیکٹس وہ ہیں جن کا تذکرہ کرنے سے پہلے تمام ٹولز میں مہارت حاصل ہے۔
یہاں پر ایک ایڈورکا سیکھنے والے کی گواہی ہے کورس:
بننا a ایڈوریکا کے بگ ڈیٹا اور ہڈوپ سرٹیفیکیشن ٹریننگ سے شروع کرنا جو سیکھنے والوں کو ایچ ڈی ایف ایس ، سوت ، میپریڈوسیس ، پگ ، ہائیو ، ایچ بیس ، اوزئی ، فلایوم اور سکوپ میں ماہر بننے میں مدد دیتا ہے جس کا استعمال خوردہ ، سوشل میڈیا ، ہوا بازی ، سیاحت ، فنانس ڈومین پر حقیقی وقت کے استعمال کے معاملات ہے۔ .