خصوصیات بیگ دیتا یا کلان داده چیست؟ و جایگاه هدوپ کجاست

کلان‌داده (Big Data) اصطلاحی است که برای تعریف داده‌ها در حجم انبوه استفاده می‌شود: حجم بزرگ یا پیچیده‌ای از داده‌ها که ابزارهای متداول پردازش داده‌ها برای تحلیل و کاوش آن ناتوان باشد. «کلان‌داده دارایی‌های اطلاعاتی را شامل می‌شود که ویژگی‌هایی همچون حجم بسیار زیاد و سرعت و تنوع دارد و نیازمند روش‌های متمایز داده‌کاوی برای حصول به ارزش است.» (گارتنر)

تعریف کلان داده

متداول شدن استفاده از اینترنت و تسلط فناوری اطلاعات و ارتباطات در دو دهه اخیر باعث شده امکان جمع‌آوری اطلاعات و ذخیره‌سازی آن در حجم شگفت‌آوری افزایش یابد. همچنین امکان تولید اطلاعات و به اشتراک گذاشتن آن بسیار بیشتر شده است. آنچه اکنون اهمیت یافته این است که داده‌ی درست، در زمان درست، در اختیار افراد مناسب قرار گیرد. بدین ترتیب «دانش کلان‌داده» یک الگوی عمل‌گرایانه از مطالعات ترکیبی در فضای سیاست، کسب و کار، ورزش و… است که به ویژه از ابزارهای فناورانه استفاده می‌کند و در نهایت این هدف را دنبال می‌کند که «چه اطلاعاتی را در زمان مناسب در اختیار چه کسی قرار دهیم تا درست‌ترین تصمیم را بگیرد» (Stanier,2017).

خصوصیات کلان داده

 تعاریف متعددی در رابطه با کلان داده وجود دارد ولی جامع ترین تعریف را موسسه گارتنر از داده های حجیم ارائه داده است . این تعریف میگوید که داده های حجیم باید سه شرط داشته باشند که به تئوری سه V  معروف است. (البته تئوری چهار V یا اصل 4V و 8V هم وجود دارد که اهمیتی ندارد و در اصل لوس بازی های دانشمندان علم داده است. ضمنا به علت اینکه اکثر افراد کلمه 4V را جستجو میکنند، برای عنوان مطب عبارت 3V انتخاب نشده است)

1.  Volume (حجم خیلی زیاد داده)
2. Variety (تنوع داده و عدم ساختار)
3. Velocity (شتاب ذخیره و بازیابی داده)

نکته با اهمیت: برخی از NOSQL ها هر سه V را  پشتیبانی نمی کنند. به عنوان مثال MongoDB شرط  Variety را  به خوبی پشتیبانی میکند و شرط Volume را ناقص و شرط  Velocity را اصلا پشتیبانی نمیکند و پایگاه داده Neo4j فقط شرط Variety  را پشتیبانی میکند و پایگاه داده کاساندرا هر سه شرط را به خوبی پشتیبانی میکند.

Volume یا حجم داده ها: از سال 2012، تقریبا روزانه 2.5 اگزابایت داده تولید می­شود و این مقدار، هر 40ماه، دوبرابر می­شود. این امر سبب می­شود تا شرکت­ها با چندین پتابایت داده در یک مجموعه داده­ای واحد سروکار داشته باشند. برای نمونه، تخمین زده می­شود که والمارت، هر ساعت 2.5 پتابایت داده از تراکنش­های مشتریانش، جمع­آوری می­کند. همچنین، موفقیت شبکه­های اجتماعی، موجب تولید حجم عظیمی از محتوا شده است؛ برای نمونه، توییتر، روزانه به تنهایی 12ترابایت داده تولید می­کند.

Variety یا تنوع داده ها: (دوره داده­های غیرساخت ­یافته)– منابع داده­های عظیم می­تواند از چندین مبدا و در شکل­های ناهمگون مانند، پیام­ها، بهنگام­سازی­ها و تصاویر ارسال­شده در شبکه­های اجتماعی، سیگنال­های GPS از گوشی­های سلولی و غیره باشد. بعلاوه این داده­ها فاقد شِما هستند .

Velocity یا  سرعت رشد داده ها: در بسیاری از کاربردها، سرعت تولید داده­ها، از حجم داده­ها مهم­تر است. اطلاعات بی­درنگ یا نزدیک به بی­درنگ، موجب می­شود تا سرعت عمل، عامل سوددهی یک شرکت و سبقت از شرکت­های رقیب باشد. بدین منظور، تمرکز از مجموعه­ های داده­ ای(دسته­ ای) به داده­ های جریانی سوق پیدا می­کند .عبارت جریان، به معنای پردازش برخط و ادامه­ دار است که دو رویکرد جهت پیاد­سازی تحلیل داده­ های جریانی وجود دارد:

1. شکستن داده­ جریانی ورودی به دسته­­ های کوچکی از داده ورودی که در کتابخانه Spark Streaming   این تکنیک استفاده می­شود.
2. بارِکاری رویدادگرا که در Storm این تکنیک بکارگرفته می­شود.

Value یا ارزش داده: پیش از تصمیم­گیری برای ذخیره داده­ه ای عظیم، باید مشخص گردد که آیا این داده­ ها ارزشمند هستند و پردازش، تحلیل یا حتی فروش آن­ها بصورت خام، موجب درآمدزایی برای شرکت می­شود یا خیر.

نکته مهم: البته این V و سایر Vهای بعد از آن از اهمیت سه V اول برخوردار نیست و صرفا بر اساس سلقه اشخاص مختلف اضافه شده است. برای همین تعریف گارتنر از 3V همچنان در سطح وسیعی مورد استفاده قرار می‌گیرد، و در توافقات یک تعریف پذیرفته شده وجود دارد که بیانگر این است که ” کلان‌داده بیانگر دارایی‌های اطلاعاتی است که دارای خصوصیاتی از قبیل حجم بالا، فناوری و سرعت و تنوع نیاز به روشهای آناکاوی‌ی مخصوص برای اطلاعات مربوط به ارزش، می‌باشد.

گاهی از V پنجمی و بیشتری نام برده میشود که در ادامه به توضح آن ها میپردازیم و البته گاهی این خاصیت به عنوان خاصیت قبلی یعنی ارزش مطرح می شود.

Veracity یا صحت داد ها: با رشد سریع داده­ها از نظر حجم و تنوع، احتمال وجود داده­های نادرست در آن­ها نیز افزایش می­یابد. در نتیجه اگر ورودی قابل اعتماد نباشد، نمی­توان به اطلاعات استخراج شده از آن اعتماد کرد. در دنیای کسب­ و­کار نیز، مدیران بطور کامل به اطلاعات اسخراج شده از داده­های عظیم، اعتماد نمی­کنند.

اعتبار (Validity): با فرض اینکه دیتا صحیح باشد، ممکن است برای برخی کاربردها مناسب نباشد یا به عبارت دیگر از اعتبار کافی برای استفاده در برخی از کاربردها برخوردار نباشد.

نوسان (Volatility): سرعت تغییر ارزش داده های مختلف در طول زمان میتواند متفاوت باشد. در یک سیستم معمولی تجارت الکترونیک، سرعت نوسان داده ها زیاد نیست و ممکن است داده های موجود مثلا برای یک سال ارزش خود را حفظ کنند، اما در کاربردهایی نظیر تحلیل ارز و بورس، داده با نوسان زیادی مواجه هستند و داده ها به سرعت ارزش خود را از دست میدهند و مقادیر جدیدی به خود می گیرند. اگرچه نگهداری اطلاعات در زمان طولانی به منظور تحلیل تغییرات و نوسان داده ها حائز اهمیت است. افزایش دوره نگهداری اطلاعات، مسلما هزینه های پیاده سازی زیادی را دربر خواهد داشت که باید در نظر گرفته شود.

نمایش (Visualization): یکی از کارهای مشکل در حوزه کلان داده، نمایش اطلاعات است. اینکه بخواهیم کاری کنیم که حجم عظیم اطلاعات با ارتباطات پیچیده، به خوبی قابل فهم و قابل مطالعه باشد از طریق روش های تحلیلی و بصری سازی مناسب اطلاعات امکان پذیری است.

چالش های حوزه کلان داده

در بحث کلان داده، ما نیاز داریم که داده ها را به منظور استخراج اطلاعات، کشف دانش و در نهایت تصمیم گیری در خصوص مسائل مختلف کاربردی به صورت صحیح مدیریت کنیم. مدیریت داده ها عموما شامل 5 فعالیت اصلی میباشد.

1. جمع آوری
2. ذخیره سازی
3. جستجو
4. به اشتراک گذاری
5. تحلیل

تا کنون چالشهای زیادی در حوزه کلان داده مطرح شده است که تا حدودی از جنبه تئوری ابعاد مختلفی از مشکلات این حوزه را بیان میکنند.

انواع داده‌ در حوزه کلان داده

داده‌های موجود  در دنیای امروز را می‌توان به ۳ بخش تقسیم کرد:

• داده‌های ساختاریافته
• داده‌های نیمه ساخت‌یافته
• داده‌های بدون ساختار

داده‌های ساختاریافته: داده‌ها می‌توانند در فرمت ثابتی که “داده‌های ساختاریافته” نامیده می‌شوند، ذخیره و پردازش شوند. یک نمونه از داده‌های ساختاریافته، داده‌هایی هستند که در سیستم مدیریت پایگاه داده رابطه‌ای (RDBMS)، ذخیره می‌شوند. پردازش داده‌های ساختاریافته آسان است، چرا که این نوع داده‌ها دارای شِمای ثابتی هستند. اغلب اوقات از زبان پرس و جوی SQL برای مدیریت این نوع داده‌ها استفاده می‌شود.

داده‌های نیمه ساخت‌یافته: داده‌های نیمه ساخت‌یافته، داده‌هایی هستند که ساختار رسمی “مدل داده‌” را ندارند، یعنی فاقد تعریف جدول در یک پایگاه داده رابطه‌ای هستند. با این وجود، این نوع داده‌ها از برخی ویژگی‌های سازمانی، هم‌چون تگ‌ها و برخی نشان گذارهای دیگر که برای جدا کردن عناصر معنایی، که تجزیه و تحلیل داده‌ها را ساده‌تر می‌کند، بهره می‌برند. فرمت‌های داده XML و مستندات JSON دو نوع از متداول‌ترین داده‌های نمیه ساختاریافته هستند

داده‌های بدون ساختار: داده‌هایی هستند که شکل و ساختاری مشخصی ندارند و به همین جهت RDBMSها راه‌حل مناسبی برای ذخیره، تجزیه و تحلیل این داده‌ها نیستند. فایل‌های متنی و محتویات چندرسانه‌ای هم‌چون تصاویر، فایل‌های صوتی و ویدئوها، نمونه‌هایی از داده‌های بدون ساختار هستند. سرعت رشد داده‌های بدون ساختار بیشتر از دیگر داده‌ها است و طبق نظر کارشناسان ۸۰% داده‌های یک سازمان، بدون ساختار هستند. پایگاه داده‌های غیر رابطه‌ایی(NoSql) یکی از دسته ابزارهایی هستند که می‌توانند برای ذخیره و پردازش این نوع از داده‌ها بکار روند.

هدوپ به عنوان اولین انتخاب سامانه های عمومی پردازش کلان داده

بعد از حدود 20 سال از معرفی هدوپ به عنوان اولین سامانه عمومی پردازش کلان داده، این اکوسیستم به بلوغ رسیده است به گونه‌ای که امروز با معرفی نسخه ۳ هدوپ، بسیاری از اشکالات و نواقص آن برطرف شده است. در این بین، نحوه ذخیره فایلها در اکوسیستم هدوپ هم بسیار متنوع شده است و برای سامانه های تحلیلی امروزی، آشنایی با قالب فایلهای موجود و معایب و مزایای هر کدام، یک ضرورت است. توضیح اینکه برای پردازش انبوه داده‌ها (batch)، هدوپ از سه مولفه اصلی زیر تشکیل شده است:

• سیستم فایل توزیع شده (HDFS)
• مدیریت تخصیص و پایش مداوم منابع مانند پردازنده، هارد، حافظه و مانند آنکه باید به صورت توزیع شده مدیریت شود (YARN)
• بخش پردازش و تحلیل اطلاعات (توزیع و تجمیع – Map/Reduce)

سطوح بلوغ بیگ دیتا

توسعه و اجرای استراتژی کلان داده برای سازمان ها کار آسانی نیست، به خصوص اگر فرهنگ داده محور نداشته باشند. چنین فرهنگی یک پیش نیاز برای اجرای موفقیت آمیز یک استراتژی کلان داده است و قبلاً نقشه راه Big Data را برای رسیدن به چنین فرهنگی به اشتراک گذاشته ام.
بر اساس این نقشه راه، راه درست برای شروع با Big Data این است که درک روشنی داشته باشید که چیست و چه کاری می تواند برای سازمان شما انجام دهد و از آنجا به بعد شروع به توسعه Proof of Concepts با یک تیم چند رشته ای کنید. این اولین اثبات مفاهیم برای شرکت شما و داده محور شدن حیاتی است و بنابراین باید بین همه کارکنان به اشتراک گذاشته شود. از آنجا به بعد، به آرامی می توانید داده محورتر شوید.

اینفوگرافیک زیر که توسط Knowledgent ایجاد شده است، پنج سطح بلوغ کلان داده را در یک سازمان نشان می دهد. سطح اول را مرحله نوزادی می نامند، مرحله ای که در آن فرد شروع به درک داده های بزرگ و توسعه اثبات مفاهیم می کند. سطح دومی که آنها شناسایی کرده اند، مرحله پذیرش فنی است، به این معنی که شرکت برای پیاده سازی فناوری های مختلف Big Data آماده می شود. این فناوری‌ها، چه در محل و چه در فضای ابری، سازمان را قادر می‌سازد تا Proof of Concepts / محصولات یا خدمات کلان داده جدید را سریع‌تر و بهتر توسعه دهد.

هنگامی که بخش فناوری اطلاعات قادر به کار با فناوری‌های کلان داده باشد و کسب‌وکار بفهمد که داده‌های بزرگ می‌تواند برای سازمان انجام دهد، یک سازمان وارد سطح 3 شاخص بلوغ کلان داده می‌شود. پذیرش کسب و کار منجر به تجزیه و تحلیل عمیق تر داده های ساختاریافته و بدون ساختار موجود در شرکت می شود که منجر به بینش بیشتر و تصمیم گیری بهتر می شود.

سطح 4 پذیرش کلان داده در سراسر سازمان است و منجر به بینش پیش بینی یکپارچه در مورد عملیات تجاری می شود و جایی که تجزیه و تحلیل داده های بزرگ به بخشی جدایی ناپذیر از فرهنگ شرکت تبدیل شده است. این سطح آخرین سطح قبل از یک سازمان کاملاً مبتنی بر داده است که به عنوان “ارائه دهنده خدمات داده” عمل می کند. شرکت‌هایی که به سطح 5 شاخص بلوغ کلان داده‌ها رسیده‌اند، تجزیه و تحلیل داده‌های بزرگ را در تمام سطوح سازمان خود ادغام کرده‌اند، واقعاً داده‌محور هستند و صرف‌نظر از محصول یا خدماتی که ارائه می‌دهند، می‌توانند به عنوان «شرکت‌های داده» دیده شوند. آنها بر اساس بینش Big Data خود به طور قابل توجهی از رقبای خود بهتر عمل خواهند کرد.

همه شرکت ها باید برای سطح 5 از شاخص بلوغ کلان داده تلاش کنند زیرا این امر منجر به تصمیم گیری بهتر، محصولات بهتر و خدمات بهتر می شود.

منابع:

 http://spark.apache.org/docs/latest/streaming-programming-guide.html

 http://storm.apache.org

bigdata.ir

آدرس کانال تلگرام سایت بیگ دیتا:

t.me/bigdata_channel

آدرس کانال سروش ما:
https://sapp.ir/bigdata_channel

جهت دیدن سرفصل های دوره های آموزشی بر روی اینجا کلیک کنید.

جهت ثبت نام در دوره های آموزشی بر روی اینجا کلیک کنید.

بازدیدها: 11487