مدل مرجع معماری بیگ دیتا NBDRA (ISO 20547-3)

معماری بیگ دیتا یا معماري مرجع NBDRA براي كلان داده ها در شکل 1 نشان داده شده است. اين مدل توسط گروه كاري عمومي كلان داده  NBD-PWG مؤسسه ملي فناوري و استانداردها (NIST) كه يك گروه معتبر استانداردسازي در آمريكا است، ارائه شده است. اين مدل بعد از دريافت و مقايسه 9 معماري مرجع براي كلان داده ها از سازمان ها، شركت ها و دانشگاه هاي مختلف زير پيشنهاد شده است:

  • – ET Strategies
  • – Microsoft
  • – University of Amsterdam
  • – IBM
  • – Oracle
  • – EMC/Pivotal
  • – SAP
  • – 9sight Consulting
  • – LexisNexis

نكته قابل توجه اين است كه معماري مرجع NBDRA وابسته به يك فناوري يا سازنده خاص يا يك زيرساخت خاص نيست. همانطور كه در شکل 1نشان داده شده است، NBDRA  از لحاظ منطقي از پنج جزء كاركردي اصلي تشكيل شده است كه بوسيله روابط تعاملي با يكديگر در ارتباط هستند. همچنين دو نقش مهم مديريت و همچنين امنيت و شخصي سازي با تمام اجزاء اصلي ديگر در اين مدل عجين بوده و با آنها در ارتباط هستند. معماري مرجع NBDRA طوري طراحي شده است كه افراد مختلف شامل مهندسان سيستم، دانشمندان داده، توسعه دهندگان نرم افزار، معماران داده و تصميم گيران بتوانند راهكارهاي مورد نظر خود را براي مواجهه با مسائلي كه روش هاي بسيار متفاوتي براي حل آنها در زيست بوم كلان داده وجود دارد، توسعه دهند. همچنين اين معماري مرجع طوري طراحي شده است كه بتواند در حوزه هاي مختلف با مدل هاي مختلف كسب و كار و طرح هاي تجاري مختلف مورد استفاده قرار گيرد.

معماری بیگ دیتا ISO 20547-3
شکل 1: مدل مرجع كلان داده ها ارائه شده توسط NIST (NBDRA) و معماری مرجع بیگ دیتا ISO 20547-3

 

معماري مرجع NBDRA در راستاي دو محور ترسيم شده است: زنجيره ارزش اطلاعات (محور افقي) و زنجيره ارزش فناوري اطلاعات (محور عمودي). زنجيره ارزش در راستاي محور افقي، با جمع آوري، يكپارچه سازي، آناليز و اعمال نتايج حاصل مي شود. زنجيره ارزش در راستاي محور عمودي، با فراهم كردن شبكه، زيرساخت­ها، بسترها، ابزارهاي كاربردي و سرويس هاي ديگر فناوري اطلاعات جهت ميزباني و عملياتي كردن كلان داده ها شكل         مي گيرد. در محل تلاقي دو محور موجوديت فراهم كننده كاربردهاي داده هاي عظيم است كه نشان مي دهد آناليز داده و پياده سازي آن براي متوليان كلان داده ايجاد ارزش مي كند. دليل استفاده از واژه «فراهم كننده» در دو جزء فراهم كننده چارچوب و فراهم كننده كاربردها به اين دليل است كه نشان دهد كه اين دو موجوديت، وظيفه فني خاصي را در سيستم پياده سازي يا از آن پشتيباني مي كنند.

بازيگران و متوليان حوزه كلان داده ها در معماري مرجع NBDRA به هفت گروه تقسيم بندي شده اند كه عبارتند از:

  • -هماهنگ کننده سیستم
  • -فراهم كننده داده
  • -فراهم كننده كاربردهاي كلان داده ها
  • -فراهم كننده چارچوب­هاي كلان داده ها
  • -مصرف كننده­هاي داده
  • -موجوديت امنيت و شخصي سازي
  • -موجوديت مديريت

سه نوع ارتباط ميان اجزاي معماري مي تواند وجود داشته باشد: انتقال و ارتباط داده، انتقال و ارتباط نرم افزار، انتقال و ارتباط سرويس. فلش هاي با عنوان داده (Data) نشان دهنده جريان داده ميان اجزاء اصلي مدل است. داده ها يا به صورت فيزيكي (يعني مقادير آن) يا بوسيله فراهم كردن مكان آن و مشخص كردن روش دسترسي به آن (يعني به كمك مرجع آن) ميان اجزاء مدل جابجا شده و در جريان قرار مي گيرد. فلش هاي با عنوان         نرم افزار (SW) نشان دهنده جابجايي و انتقال ابزارهاي نرم افزاري جهت پردازش كلان داده ها است. فلش هاي با عنوان استفاده از سرويس (Service Use) نشان­دهنده روابط تعاملي قابل برنامه ريزي با نرم افزار مي باشد. اگرچه توجه اصلي معماري مرجع NBDRA ارائه زيست بومي از كلان داده هاست كه زنده بوده و ارتباطات در داخل آن در حال اجرا است، تمامي سه نوع ارتباط يا تعامل مذكور مي تواند در مرحله پيكربندي زيست بوم نيز صورت پذيرد. در اين مدل، توافقات دستي (نظير توافقات سطح سرويس (SLA))و تعاملات انساني كه ممكن است در تمام سيستم وجود داشته باشد، ‌نشان داده نشده است.

اجزاء اصلي نشان داده شده در معماري مرجع NBDRA نشان دهنده نقش هاي كاركردي در زيست بوم كلان داده مي باشند. براي توسعه سيستم، ارتباط ميان بازيگران و نقش ها، مانند ارتباط آنها در يك فيلم است ولي بازيگران توسعه سيستم مي توانند نماينده افراد، شركت ها، نرم افزار و يا سخت افزار باشند. بر اساس گونه شناسي كلان داده، يك بازيگر مي تواند چندين نقش را در زيست بوم كلان داده داشته باشد و همچنين چندين بازيگر مي توانند يك نقش واحد را در زيست بوم كلان داده ايفا كنند. معماري مرجع NBDRA مرزهاي تجاري و اقتصادي ميان بازيگران و متوليان زيست بوم را مشخص نمي كند. در نتيجه نقش هاي مختلف تعريف شده در مدل مرجع مي تواند در يك موجوديت تجاري قرار گيرد يا مي تواند توسط چندين موجوديت تجاري مختلف پياده سازي شود. در نتيجه، معماري مرجع NBDRA مي تواند در بسياري از محيط هاي تجاري از جمله        سيستم هاي تجاري كه يكپارچگي و ارتباط تنگانگي دارند، تا محيط هاي با صنايع عمودي كه بر همكاري متوليان مستقل استوار است، اعمال شود. در نتيجه، تفكر نقش ها يا اجزاي كاركردي خارجي در مقابل داخلي بر معماري مرجع NBDRA قابل اعمال نيست. با اين وجود، براي يك نمونه عملي مشخص، زماني كه نقش ها به متوليان تجاري مشخص نگاشت يافتند، اجزاي كاركردي به صورت داخلي يا خارجي در نظر گرفته مي شوند.

معماري مرجع NBDRA از ارائه زنجيره­اي يا پشته سازي شده سيستم هاي كلان داده پشتيباني مي كند. به عنوان نمونه، مصرف كننده داده يك سيستم مي تواند به عنوان فراهم كننده داده براي سيستم بعدي در زنجيره يا پشته عمل كند.

در ادامه هر يك از مؤلفه هاي مدل مرجع كلان داده ها توضيح داده مي شود.

  • هماهنگ كننده سيستم
  • فراهم كننده داده
  • فراهم كننده كاربردهاي كلان داده ها
  • فراهم كننده چارچوب­هاي كلان داده ها
  • مصرف كننده­هاي داده
  • موجوديت امنيت و شخصي سازي
  • موجوديت مديريت
  • متولیان و نقش آفرینان در معماری مرجع کلان داده

هماهنگ كننده سيستم

اين موجوديت وظيفه فراهم كردن نيازمنديهاي فراگيري كه مي بايست توسط سيستم برآورده شود را دارد. اين نيازمنديها عبارتند از: سياست، حكومت، ساختار، منابع و نيازمنديهاي تجاري و همچنين نيازمنديهاي حسابرسي و نظارت بر فعاليت ها جهت تضمين فراهم شدن نيازمنديها توسط سيستم.  هماهنگ كننده سيستم، نيازمنديهاي سيستم، طراحي هاي سطح بالا و نظارت سيستم داده اي را فراهم مي كند. اگر چه نقش هماهنگ كننده سيستم قبل از سيستم هاي كلان داده نيز وجود داشته است، ولي برخي از فعاليت هاي طراحي مرتبط با آن، در حوزه كلان داده تغيير يافته است.

هماهنگ كننده سيستم، تعريف و يكپارچه سازي فعاليت هاي كاربردهاي داده مورد نياز در يك سيستم عمودي قابل استفاده را به عهده دارد. معمولا هماهنگ كننده سيستم، نقش هاي ويژه بيشتري نسبت به يك يا چند بازيگر دارد و عمليات سيستم كلان داده را مديريت و تنظيم مي كند. اين بازيگران مي توانند اجزاي بشري، اجزاي       نرم افزاري يا تركيبي از هر دو باشند. وظيفه هماهنگ كننده سيستم، پيكربندي و مديريت اجزاي ديگر معماري كلان داده است به نحوي كه بتواند يك يا چند باركاري، كه معماري براي اجراي آن طراحي شده است را            پياده سازي كند. باركاري كه توسط هماهنگ كننده سيستم مديريت مي شود ممكن است فراهم كردن يا تخصيص دادن اجزاء چارچوب براي گره هاي مجازي يا فيزيكي در لايه هاي پايين تر يا فراهم كردن يك رابط تعاملي گرافيكي باشد كه از ويژگي هاي بارهاي كاري پشتيباني كرده و چندين كاربرد و جزء را در لايه بالاتر مرتبط مي­كند.

علاوه بر آن، ممكن است كه هماهنگ كننده سيستم از طريق موجوديت مديريت، بارهاي كاري و كل سيستم را پايش كند تا تضيمن كند كه نيازمنديهاي كيفيت سرويس مشخص شده براي هر بار كاري ارائه مي شود. در حقيقت ممكن است هماهنگ كننده سيستم به صورت پويا منابع فيزيكي يا مجازي اضافي مورد نياز را فراهم كرده و تخصيص دهد تا به نيازمنديهاي بار كاري كه ناشي از تغييرات يا افزايش هاي ناگهاني در داده ها يا تعداد تعاملات يا تعداد كاربران است، پاسخ دهد.

نقش هماهنگ كننده سيستم در يك شركت واحد معمولا به صورت متمركز پياده مي شود و مي تواند به نقش سنتي هدايت كننده سيستم نگاشت يابد. نقش سنتي هدايت كننده سيستم، نيازمنديها و محدوديت هاي فراگيري نظير سياست، معماري، منابع، يا نيازمنديهاي تجاري كه سيستم بايد فراهم كند را مشخص مي كند. هدايت كننده سيستم با مجموعه اي از نقش هاي ديگر (به عنوان نمونه مدير داده، امنيت داده و مدير سيستم)جهت پياده سازي نيازمنديها و كاركردهاي سيستم كار مي كند. در يك سيستم عمودي كه به صورت تنگانگي با يكديگر در ارتباط نيستند، نقش هماهنگ كننده سيستم معمولا به صورت غيرمتمركز است و هر متولي علاوه بر يكپارچه سازي خود با سيستم توزيع شده كلان داده با استفاده از رابط هاي تعاملي فراهم شده توسط متوليان ديگر، به صورت مستقل مسئول مديريت، امنيت و يكپارچگي سيستم خودش نيز مي باشد.

 

فراهم كننده داده

موجوديت فراهم كننده داده، داده را در دسترس خود يا ديگران قرار مي دهد. اين موجوديت در جهت انجام رسالت خود، تجريدي از انواع مختلف منابع داده (نظير داده خام يا داده هايي كه توسط سيستم هاي ديگر تبديل شده است) را ايجاد مي كند و از طريق رابط هاي تعاملي كاربردي مختلفي آنها را در دسترس قرار مي دهد. موجوديتي كه اين نقش را ايفا مي كند، مي تواند بخشي از سيستم كلان داده ها باشد، بخش داخلي يك سازمان در سيستم ديگري باشد و يا خارج از سازماني باشد كه سيستم را هماهنگ مي كند.

فراهم كننده داده، داده يا اطلاعات جديدي را معرفي مي كند كه به عنوان ورودي به سيستم كلان داده تزريق مي شود تا جهت كشف، دسترسي و تبديل توسط سيستم كلان داده استفاده شود. خوراك هاي داده جديد متفاوت از داده هايي هستند كه در سيستم موجود هستند و سيستم در حال استفاده از آنهاست. جهت دسترسي به داده هاي جديد و داده هاي موجود در سيستم مي توان از فناوري هاي مشابهي استفاده كرد. بازيگري كه نقش فراهم كننده داده را ايفا مي كند مي تواند يك سنسور باشد يا حتي يك انسان باشد كه داده ها را به صورت دستي وارد سيستم كلان داده مي كند.

فراهم كننده داده مي تواند تجريدي از داده هايي را فراهم كند كه قبلا توسط يك سيستم ديگر (يعني سيستم سنتي يا يك سيستم كلان داده ديگر) تبديل شده است. در اين حالت، فراهم كننده داده به عنوان مصرف كننده داده يك سيستم ديگر نيز ايفاي نقش مي كند. به عنوان مثال، فراهم كننده داده 1 مي تواند يك منبعي از       داده هاي جاري را از عمليات اجراشده توسط فراهم كننده داده 2 بر روي داده هاي مانا توليد كند. فعاليت هاي اصلي فراهم كننده داده شامل موارد زير است:

  • جمع آوري داده
  • تداوم دادن به داده
  • فراهم كردن توابع تبديل براي اجراي تميزسازي داده بر روي اطلاعات حساس نظير اطلاعات شناسايي شخصي.
  • ايجاد فراداده هايي جهت توصيف منابع داده، سياست هاي استفاده يا حقوق دسترسي و ديگر ويژگي هاي مرتبط
  • اعمال حقوق دسترسي بر دسترسي به داده ها
  • ايجاد قراردادهاي رسمي و غيررسمي جهت مجوز دسترسي به داده
  • ايجاد قابليت دسترسي به داده از طريق تحويل قابل برنامه ريزي مناسب يا رابط هاي تعاملي اخذ مناسب
  • فراهم كردن مكانيزم هاي دسترسي تحويل يا اخذ
  • منتشر كردن ميزان در دسترس بودن اطلاعات و روش هاي دسترسي به آنها

مبتني بر ويژگي هاي كلان داده (يعني حجم، تنوع، سرعت و تغييرپذيري) و ملاحظات طراحي سيستم، پيچيدگي رابط هاي تعاملي جهت ارائه و دسترسي به داده تغيير مي كند و ممكن است شامل مكانيزم هاي تحويل و دريافت نرم افزار باشد.

معمولا تعامل ميان فراهم كننده داده و فراهم كننده كاربردهاي كلان داده در سه مرحله صورت مي پذيرد: ايجاد ارتباط، انتقال داده و قطع ارتباط. مرحله ايجاد ارتباط مي­تواند توسط هر يك از طرفين آغاز شود و معمولا شامل سطوحي از تشخيص هويت و اعتبارسنجي مي باشد. البته اين مراحل مي تواند بسيار ساده بوده و به اين صورت انجام شود كه يك طرف ارتباط، سوكت خود را براي يك پورت شناخته شده در طرف مقابل باز كند و ارتباط برقرار شود.

فراهم كننده كاربردهاي كلان داده ها

موجوديت فراهم كننده كاربردهاي كلان داده ها، تغييرات مربوط به چرخه عمر داده ها را اجرا مي كند تا نيازمنديهايي كه توسط هماهنگ كننده سيستم ايجاد شده است، پاسخ داده شود. در اين موجوديت، توانمنديهاي عمومي موجود در چارچوب هاي كلان داده ها با يكديگر تركيب مي شود تا يك سيستم داده اي مشخص ايجاد شود.

فراهم كننده كاربرد كلان داده، وظيفه اجراي مجموعه اي از عمليات در راستاي چرخه عمر داده ها را به عهده دارد به نحوي كه بتواند پاسخگوي نيازمنديهاي امنيت و شخصي سازي علاوه بر نيازمنديهاي تعيين شده توسط هماهنگ كننده سيستم باشد. فراهم كننده كاربردهاي كلان داده در واقع جزئي از معماري است كه منطق تجاري و كاركردهايي كه مي بايست توسط معماري اجرا شود را در هم مي آميزد. فعاليت هاي اصلي فراهم كننده كاربرد عبارت است از:

  • جمع آوري
  • آماده سازي
  • تحليل
  • بصري سازي
  • دسترسي

اجراي فعاليت هاي فوق براي هر كاربرد متفاوت بوده و در نتيجه گزينه مناسبي براي استانداردسازي نيستند. با اين وجود، زماني كه كاربرد متعلق به يك صنعت عمودي خاص است، فراداده ها و سياست هايي كه تعريف شده اند و ميان زيراجزاي كاربردها جابجا مي شوند مي­توانند استاندارد شوند.

اگرچه بسياري از فعاليت هاي مذكور در سيستم هاي پردازش داده سنتي نيز وجود دارد، ولي ويژگي هاي حجم، تنوع، سرعت و تغييرپذيري كه در سيستم هاي كلان داده وجود دارد باعث مي شود كه پياده سازي اين فعاليتها نياز به تغييرات اساسي داشته باشد. الگوريتم ها و مكانيزم هاي موجود در پياده سازي هاي پردازش داده سنتي مي بايست تنظيم شده و براي مواجهه با كلان داده ها بهينه شود تا كاربردهايي ساخته شود كه پاسخگو بوده و بتواند به سرعت رشد يافته و پاسخگوي مجموعه هاي داده هايي كه هر روز نيز بزرگتر مي شوند، باشد.

داده ها همزمان با توزيع و جريان يافتن در زيست بوم، پردازش مي شوند و به روش هاي مختلفي تبديل مي شوند تا ارزش از درون اطلاعات استخراج شود. هر فعاليت مربوط به فراهم كننده كاربردهاي كلان داده مي تواند توسط متوليان مختلف پياده سازي شود و به عنوان سرويس هاي جداگانه به كار گرفته شوند.

فراهم كننده داده مي تواند يك نمونه يا مجموعه اي از تعدادي فراهم كننده كاربردهاي كلان داده باشد كه هر يك مراحل مختلفي از چرخه عمر داده را پياده سازي مي كند. هر يك از فعاليت هاي فراهم كننده كاربردها       مي تواند به صورت يك سرويس عمومي باشد كه توسط هماهنگ كننده سيستم، فراهم كننده داده يا مصرف كننده داده فراخواني مي شود نظير وب سرور ، فايل سرور، مجموعه اي از يك يا تعدادي برنامه كاربردي يا تركيبي از آنها. ممكن است چندين نمونه متفاوت از هر فعاليت وجود داشته باشد يا ممكن است يك برنامه واحد چندين فعاليت را به تنهايي انجام دهد. هر يك از فعاليت هاي مذكور مي تواند با فراهم كننده چارچوب در لايه پاييني يا با فراهم كننده و مصرف كننده داده در ارتباط باشد. علاوه بر آن، اين فعاليت ها ممكن است به صورت موازي با  يكديگر يا با هر ترتيبي اجرا شوند و اغلب از طريق اجزاء پيام يا ارتباطات مربوط به فراهم كننده چارچوب كلان داده با يكديگر ارتباط برقرار مي كنند. همچنين كاركردهاي فراهم كننده كاربرد، مخصوصا فعاليت هاي  جمع آوري و دسترسي، جهت تصديق هويت و اعتبارسنجي و همچنين ذخيره و نگهداري منشأ داده ها با موجوديت شخصي سازي و امنيت تعامل مي كنند.

هر يك از فعاليت ها و كاركردهاي تعريف شده مي تواند بر روي يك فراهم كننده چارچوب مجزا اجرا شود يا تمام آنها مي تواند بر روي يك فراهم كننده چارچوب واحد اجرا شود. ملاحظاتي كه منجر به اتخاذ روش هاي سيستمي مختلف مي شود به اختلاف احتمالي در نيازمنديهاي فناوري، محدوديت هاي تجاري و يا محدوديت هاي بكارگيري (شامل شخصي سازي)و ملاحظات سياستي ديگر مرتبط مي باشد.

جمع آوری:

به صورت كلي، فعاليت جمع آوري در فراهم كننده كاربردهاي كلان داده، ايجاد ارتباط با فراهم كننده داده و برقراري رابط تعاملي با وي را مديريت مي كند. ممكن است اين فعاليت يك سرويس عمومي نظير فايل سرور يا وب سرور باشد كه توسط هماهنگ كننده سيستم پيكربندي شده است تا جمع آوري هاي خاص داده ها را پذيرش كرده و اجرا كند يا ممكن است يك سرويس خاص كاربردي باشد كه براي اخذ و كشيدن داده يا دريافت داده­هاي تحويل شده از سمت فراهم كننده داده، طراحي شده است. از آنجايي كه اين فعاليت دريافت حداقل داده است، بايد داده هاي دريافت شده را بافر يا ذخيره كند تا زماني كه اين داده ها بتوانند از طريق فراهم كننده چارچوب ادامه يابند.

آماده سازی:

فعاليت آماده سازي زماني اجرا مي شود كه قسمت تبديل در چرخه ETL/ELTاجرا شده باشد. وظايفي كه در اين فعاليت انجام شود مي تواند شامل اعتبارسنجي (به عنوان نمونه بررسي فرمت، جمع­هاي كنترلي يا درهم­ سازی) تميزسازي (به عنوان مثال حذف فيلدها يا نمونه هاي بد) حذف داده هاي خارج از محدوده، استانداردسازي،  فرمت بندي مجدد و يا بسته بندي باشد. اين فعاليت نيز در جايي اجرا مي شود كه داده هاي مبدأ به صورت مكرر در فضاي ذخيره سازي موجود در فراهم كننده چارچوب قرار گرفته و داده هاي منشأ، اعتبارسنجي شده باشند.

تحلیل:

فعاليت تحليل در فراهم كننده كاربرد كلان داده شامل كدكردن منطق تجاري سطح پايين سيستم كلان داده با استفاده از منطق فرآيند تجاري سطح بالايي كه توسط هماهنگ كننده سيستم مشخص مي شود، مي باشد. اين فعاليت بر اساس نيازمنديهاي كاربردهاي عمودي، تكنيك هايي را جهت استخراج دانش از داده، پياده سازي       مي كند. اين نيازمنديها است كه الگوريتم هاي پردازش داده را كه براي پردازش داده جهت ايجاد ادراكات جديد براي رسيدن به هدف فني مورد انتظار است را مشخص مي كند. فعاليت تحليل از چارچوب پردازشي جهت پياده سازي منطق محول شده به آن استفاده مي كند. ممكن است منطق تحليل به چندين ماژول جهت اجرا توسط چارچوب پردازشي شكسته شود كه اين ماژول ها از طريق چارچوب ارسال پيام با يكديگر و همچنين با            فعاليت هاي ديگري كه توسط فراهم كننده كاربرد كلان داده ايجاد شده اند، ارتباط برقرار مي كنند.

بصری سازی:

فعاليت بصري سازي فراهم كننده كاربردهاي كلان داده، اجزاء داده پردازش شده و خروجي فعاليت تحليل را جهت ارائه به مصرف كننده داده آماده مي كند. هدف اين فعاليت اين است داده را به نحوي فرمت دهي و ارائه كند كه به صورت بهينه دانش و معاني را منتقل كند. آماده سازي بصري سازي ممكن است شامل ايجاد يك گزارش متني يا تفسير نتايج تحليل به هر صورت گرافيكي باشد. نتايج خروجي ممكن است يك بصري سازي ايستا باشد و ممكن است به صورت ساده از طريق فراهم كننده چارچوب كلان داده براي استفاده هاي بعدي ذخيره شود. به هر حال، فعاليت بصري سازي به صورت مكرر با فعاليت دسترسي، فعاليت تحليل و فراهم كننده چارچوب كلان داده (پردازش و سكو) تعامل مي كند تا مبتني بر پارامترهايي كه توسط مصرف كننده داده براي فعاليت دسترسي تعريف شده است، يك بصري سازي تعاملي از داده ها را براي مصرف كننده داده فراهم كند.

دسترسی:

فعاليت دسترسي در فراهم كننده كاربرد، بر ارتباط يا تعامل با مصرف كننده داده متمركز است. مشابه با فعاليت جمع آوري، ممكن است فعاليت دسترسي نيز يك سرويس عمومي نظير يك وب سرور يا سرور كاربرد باشد كه بوسيله هماهنگ كننده سيستم، پيكربندي شده است تا درخواست هاي ويژه از مصرف كننده داده را مديريت كند. اين فعاليت با فعاليت هاي تحليل و بصري سازي تعامل مي كند و همچنين از چارچوب هاي پردازشي و بستر جهت بازيابي داده ها استفاده مي كند تا به درخواست هاي مصرف كننده داده (كه ممكن است يك شخص باشد) پاسخ دهد. علاوه بر آن، فعاليت دسترسي تضمين مي كند كه فراداده اجرايي و روش هاي فراداده، اخذ   شده اند و براي دسترسي توسط مصرف كننده داده حفظ مي شوند. رابط تعاملي با مصرف كننده داده ممكن است به صورت سنكرون يا آسنكرون باشد و يا از مفاهيم تحويل و اخذ براي جابجايي داده استفاده كند.

 

فراهم كننده چارچوب­هاي كلان داده ها

اين موجوديت، سرويس ها يا منابع عمومي كه قرار است توسط فراهم كننده كاربردهاي كلان داده ها جهت ساختن يك كاربرد مشخص مورد استفاده قرار گيرد را دارا است. تعداد زيادي از اجزاي جديدي وجود دارد كه فراهم كننده كاربردهاي كلان داده ها مي تواند از بين آنها جهت ساختن يك سيستم مشخص انتخاب كند. فراهم كننده چارچوب كلان داده ها از يك يا تعداد بيشتري از نمونه هايي متشكل از سه زيرجزء تشكيل شده است:

  • چارچوب هاي زيرساختي
  • چارچوب هاي بستر داده
  • چارچوب هاي پردازشي

بسياري از پيشرفت هاي اخير در حوزه كلان داده مرتبط با حوزه چارچوب هاي كلان داده بوده است كه جهت پاسخگويي به نيازمنديهاي كلان داده ها (نظير حجم، تنوع، سرعت و تغييرپذيري) طراحي شده است. اين   پيشرفت ها قسمت اعظم تحريك هاي فناوري در حوزه كلان داده ها را توليد كرده است. به همين ترتيب، در حوزه چارچوب هاي كلان داده اطلاعات بسيار بيشتري نسبت به حوزه ها و اجزاي ديگر كلان داده ها وجود دارد.

چارچوب های زیرساختی:

فراهم كننده چارچوب كلان داده، تمامي منابعي كه براي اجراي فعاليت هاي اجزاي ديگر موجود در زيست بوم كلان داده نياز است را فراهم مي كند. اين منابع معمولا به چهار دسته زير تقسيم بندي مي شوند:

  • منابع شبكه: منابعي است كه داده ها را از يك جزء از چارچوب زيرساختي به ديگري منتقل مي كند.
  • منابع پردازشي: پردازنده ها و حافظه هايي هستند كه نرم افزارهاي اجزاء ديگر سيستم كلان داده را اجرا و نگهداري مي كند.
  • منابع ذخيره سازي: منابعي هستند كه ذخيره سازي و تداوم داده در سيستم كلان داده را فراهم               مي كنند.
  • منابع محيطي: منابع فيزيكي نظير سيستم هاي خنك كنندگي و توزيع توان هستند كه زمان ايجاد هر نمونه اي از سيستم كلان داده بايد در نظر گرفته شوند.

 

چارچوب های بستر داده:

چارچوب هاي بستر داده، فراهم كننده مديريت و توزيع منطقي داده مي باشند كه با روش ها يا رابط هاي تعاملي برنامه نويسي كاربردي دسترسي تركيب شده اند. اين چارچوب ها ممكن است شامل اطلاعات ثبت داده و    سرويس هاي فراداده به همراه توصيفات معنايي داده نظير گونه شناسي ها يا آنتولوژي هاي رسمي باشند. سازماندهي منطقي داده ها ممكن است از فايل هاي تخت با محدوده مشخص گرفته تا انباره هاي داده ستوني يا رابطه اي كاملا توزيع شده باشند.

چارچوب های پردازشی:

چارچوب هاي پردازشي كلان داده، نرم افزارهاي زيرساختي مورد نياز جهت پشتيباني از پياده سازي كاربردهايي كه مي توانند با ويژگي هاي حجم، سرعت، تنوع و تغييرپذيري داده ها مواجه شوند را فراهم مي كند.           چارچوب هاي پردازشي مشخص مي كنند كه چگونه محاسبات و پردازش داده ها ساماندهي و مديريت شود. كاربردهاي كلان داده بر بسترها و فناوري هاي متنوعي وابسته هستند تا بتوانند پاسخگوي چالش هاي عمليات و تحليل هاي داده مقياس پذير باشند.

چارچوب هاي پردازشي معمولا بر دستكاري داده متمركز هستند كه همواره ميان پردازش هاي دسته اي و جاري قرار مي گيرند. به صورت كلي بسياري از معماري هاي كلان داده شامل چندين چارچوب مختلف هستند تا بتوانند نيازمنديهاي وسيعي را پوشش دهند. چارچوب هاي پردازشي كلان داده در واقع از سه فاز پردازشي تشكيل       شده اند: هضم داده، آناليز داده و توزيع داده. فراهم كننده كاربرد كلان داده، فرآيند اعمال توانمنديهاي موجود در يك چارچوب خاص بر روي اين فازهاي پردازشي را كنترل مي كند.

چارچوب های پیام/ارتباطات:

ريشه هاي چارچوب هاي پيام و ارتباطات به محيط هاي پردازش فوق سريع (HPC) برمي گردد كه درمحيط هاي تحقيقاتي و علمي بسيار معروف است. چارچوب هاي پيام / ارتباطات جهت فراهم سازي رابط هاي تعاملي كاربردي (API) براي صف بندي قابل اعتماد، انتقال و دريافت داده ها ميان گره هاي مختلف در يك كلاستر كه به صورت افقي مقياس شده است، توسعه داده شده اند. معمولا اين چارچوب ها يك مدل انتقال نقطه به نقطه يا يك مدل ذخيره و ارسال رو به جلودر معماري خود پياده سازي مي كنند.

 

چارچوب های مدیریت منابع:

نظر به تكامل و پيچيده تر شدن سيستم هاي كلان داده و از آنجايي كه صنايع مختلف به دنبال استفاده بهينه تر از منابع پردازشي و ذخيره سازي جهت پاسخ دهي به گستره وسيع تري از كاربردها و چالش هاي تجاري بودند، استفاده مؤثر و بهينه از منابع بسيار اهميت پيدا كرده است. در حالي كه ابزارهاي مديريت منابع و پردازش    مقياس پذير بسيار گسترش يافته است و در پاسخ به نيازمنديهاي فراهم كننده هاي ابري و فناوري هاي مجازي سازي ابزارهاي مديريت منابع پخته تر شده است، اما كلان داده نيازمنديهاي منحصربفرد و جديدي را در اين ابزارها معرفي كرده است. به هر حال، چارچوب هاي كلان داده معمولا در زمره موضوعات پردازش توزيع شده قرار مي گيرند كه چالش هاي بيشتري را معرفي مي كنند.

مصرف كننده­ هاي داده

مصرف كننده­هاي داده، خروجي با ارزش سيستم كلان داده ها را دريافت مي كنند. اين واحد در بسياري از    زمينه ها همان رابط هاي تعاملي كاربردي را دريافت مي كند كه فراهم كننده داده در اختيار فراهم كننده كاربردهاي كلان داده ها قرار مي دهد. علاوه بر آن، مصرف كننده­ داده مشابه نقش فراهم كننده داده، مي تواند يك كاربر انتهايي واقعي يا يك سيستم ديگر باشد. فعاليت هايي كه براي نقش مصرف كننده داده تعريف شده است شامل موارد زير مي باشد:

  • جستجو و بازيابي
  • آناليز كردن به صورت محلي
  • گزارش گيري
  • بصري سازي داده جهت استفاده از فرآيندهاي خود آنها

مصرف كننده از رابط هاي تعاملي يا سرويس هايي كه توسط فراهم كننده كاربرد كلان داده فراهم مي شود استفاده مي كند تا به اطلاعات مورد علاقه خود دست پيدا كند. اين تعاملات مي تواند شامل گزارش گيري داده، بازيابي داده و تفسير داده باشد.

اين نقش معمولا از طريق تابع دسترسي خود با فراهم كننده كاربرد كلان داده جهت اجراي تحليل ها و            بصري سازي هايي كه توسط فراهم كننده كاربرد پياده سازي شده است، تعامل مي كند. اين تعامل مي تواند مبتني بر درخواست باشد كه طي آن مصرف كننده داده تعامل يا دستور را آغاز مي كند و فراهم كننده كابرد كلان داده پاسخ او را مي دهد. اين تعامل مي تواند شامل بصري سازي هاي تعاملي، ايجاد گزارش ها يا حركت در مسير بطن داده ها با استفاده از توابع هوش تجاري كه توسط فراهم كننده كاربرد كلان داده فراهم شده است، باشد. در يك روش جايگزين، تعامل مي تواند مبتني بر جريان باشد كه به صورت ساده اي مصرف كننده داده به يك يا تعداد بيشتري از خروجي هاي فراهم كننده كاربرد گوش فرا مي دهد. تقريبا در تمامي موارد موجوديت امنيت و شخصي سازي در معماري كلان داده از هويت سنجي و اعتبارسنجي ميان مصرف كننده داده و معماري پشتيباني مي كند. مشابه تعامل ميان معماري كلان داده و فراهم كننده داده، تعامل ميان مصرف كننده داده و فراهم كننده كاربرد كلان داده شامل سه فاز شروع ارتباط، انتقال داده و قطع ارتباط مي باشد.

موجوديت امنيت و شخصي سازي

مباحث امنيت و شخصي سازي، تمامي اجزاي معماري مرجع NBDRA را تحت تأثير خود قرار مي دهد. اين واحد با واحد هماهنگ كننده سيستم جهت دريافت سياست، نيازمنديها و نظارت ها تعامل مي كند. در معماري مرجع NBDRA  نقش امنيت و شخصي سازي به صورت بسيار كلي ارائه شده است و جزئيات آن ارائه نشده است و خود نيازمند يك معماري مرجع جداگانه است.

موجوديت مديريت

ويژگي هاي كلان داده ها نظير حجم زياد، سرعت توليد زياد، تنوع داده ها و تغيير داده ها نيازمند يك بستر مديريت تطبيق پذير جهت ذخيره سازي، پردازش و مديريت كردن داده در سيستم هاي پيچيده كلان داده است كه بتواند هر دو جنبه سيستم و مباحث داده اي مرتبط با محيط هاي كلان داده را مديريت كند. به بيان ديگر، با توجه به ويژگي هاي كلان داده ها نظير حجم زياد، سرعت توليد زياد، تنوع داده ها و تغييرپذيري داده ها، ناگزير نيازمند يك سيستم و بستر نرم افزار مديريتي تطبيق پذير هستيم تا پايش، تنظيم كردن و مديريت نرم افزارها و بسته هاي نرم افزاري و همچنين مديريت منابع و پايش كارآيي را به صورت اتوماتيك انجام دهد. مديريت كلان داده ها شامل برخي ملاحظات در سيستم، داده، امنيت و شخصي سازي مي باشد تا بتواند كيفيت بالاي داده و دسترسي امن را نيز فراهم كند. موجوديت مديريت در معماري مرجع NBDRA دو گروه از فعاليت هاي اصلي را شامل مي شود: مديريت سيستم و مديريت چرخه عمر كلان داده. مديريت سيستم شامل فعاليت هايي نظير فراهم كردن، پيكربندي، مديريت بسته، مديريت نرم افزاري، مديريت نسخه پشتيبان، مديريت توانمندي، مديريت منابع و مديريت كارآيي مي باشد. مديريت چرخه عمر كلان داده شامل فعاليت هايي مرتبط با چرخه عمر از جمله جمع آوري، آماده سازي، انتخاب، تحليل، بصري سازي و دسترسي است. از آنجايي كه معماري مرجع NBDRA بسيار عمومي و كلي است و مختص يك محصول يا مدل كسب و كار ويژه نيست، ملاحظات مختلف و راهكارهاي متفاوتي مي تواند در موارد مختلف مبتني بر آن پياده سازي شود.

 

متولیان و نقش آفرینان در معماری مرجع کلان داده

شکل 2 متوليان و نقش آفرينان مربوط به هر كدام از بازيگران در حوزه كلان داده ها را نشان مي دهد كه عبارتند از:

  1. متوليان و نقش آفرينان هماهنگ كننده سيستم – سردمداران اقتصادي – مشاوران – دانشمندان داده
    • معماران اطلاعات
    • معماران نرم افزار
    • معماران امنيت
    • معماران شخصي سازي
    • معماران شبكه
  2. متوليان و نقش آفرينان فراهم كننده داده – شركت هاي تجاري – بنگاه هاي عمومي – پژوهشگران و دانشمندان
    • موتورهاي جستجو
    • Web، FTP و كاربردهاي مشابه
    • اپراتورهاي شبكه
    • كاربران انتهايي
  3. متوليان و نقش آفرينان فراهم كننده كاربردهاي كلان داده ها – متخصصان كاربرد – متخصصان بستر – مشاوران
  4. متوليان و نقش آفرينان فراهم كننده چارچوب­هاي كلان داده ها – كلاسترهاي داخلي – مراكز داده – فراهم كننده هاي ابر
  5. متوليان و نقش آفرينان مصرف كننده­هاي داده – كاربران انتهايي – پژوهشگران – كاربردها
    • سيستم
  6. متوليان و نقش آفرينان موجوديت امنيت و شخصي سازي – افسر امنيت شركت – متخصص امنيت
  7. متوليان و نقش آفرينان موجوديت مديريت – كاركنان داخلي – مديريت مركز داده – فراهم كنندگان ابري

مرجع:

http://bigdata.itrc.ac.ir.com

ISO 20547-3

 

آدرس کانال تلگرام سایت بیگ دیتا:

t.me/bigdata_channel

آدرس کانال سروش ما:
https://sapp.ir/bigdata_channel

جهت دیدن سرفصل های دوره های آموزشی بر روی اینجا کلیک کنید.

پاسخی بگذارید

نشانی ایمیل شما منتشر نخواهد شد. بخش‌های موردنیاز علامت‌گذاری شده‌اند *