طراحی انبار داده و هوش تجاری دو مولفه اصلی برای هوشمندسازی سامانه ها

3,412 تعداد نمایش

هدف از ارائه این مبحث آشنایی خواننده با مفاهیم انبار داده Data wareHouse و فن آوری های مرتبط  در هوش تجاری (BI) می باشد. انباره های داده، پایه گذار فن آوری لازم برای ساخت و بهره برداری از برنامه های هوشمند هستند.

انبار داده قلب هوش تجاری است. بدون انبار داده، جریان اطلاعات در سیستم های عملیاتی متوقف میشود. در این شرایط کسب و کار فقط نوک بینی خود را میتواند ببیند. داده ها در سیستم های عملیاتی متولد میشوند اما پرورش و بلوغ آن ها در انبار داده و در لایه بعد از آن روی میدهد. بدون انبار داده، یک کسب و کار فقط سیستم مکانیزه دارد نه هوش تجاری، هوش تجاری بدون انبار داده یک شوخی با ریسک بالا است.

ویژگی های انبار داده چیست؟

تکنولوژی انبار داده‌ها شامل مجموعه‌ای مفاهیم و ابزارهای جدیدی است که با فراهم آوردن اطلاعات از دانشگران (افراد اجرایی، مدیر و تحلیلگر) در تصمیم گیری پشتیبانی می‌نماید. دلیل اصلی ساخت انبار داده ها، بهبود کیفیت اطلاعات در سازمان است، در واقع دسترسی به داده‌ها از هر جا درون سازمان داده‌ها از منابع داخلی و خارجی تهیه می‌شوند و به اشکال گوناگون از داده‌های ساختاری گرفته تا داده‌های ساخت نیافته مانند فایل‌های متنی یا چند رسانه‌ای، در مخزنی مجتمع می‌شوند. انبار داده‌ها یا DWH مخزنی از این داده‌هاست که به صورتی قابل درک در دسترس کاربران نهایی کسب و کار قرار می‌گیرد. Billinmon ، از اولین کاربرهای این مبحث ، یک انبار داده (DataWarehouse) را با واژه های زیر تعریف کرده است:

انباره داده یک مجموعه‌ از داده‌های موضوع‌گرا (Subject Oriented)، مجتمع (Integrated)،نگهدار زمان‌های مختلف (Timevariying) و غیر فرَار (none-volatile) است که پشتیبان فرآیندهای تصمیم سازی مدیریتی است.

 

  • موضوع‌گرا (Subject Oriented)

داده ها در یک انبار داده (DataWarehouse) به نحوی سازمان دهی می شوند که تمام اجزای داده که با همان واقعه یا موضوع مرتبط هستند،به هم متصل باشند. انبار داده برای پاسخ‌گویی به پرسش‌های مختلف در مورد یک موضوع خاص بهینه‌سازی می‌شود.

مثلا یک فروشگاه می‌خواهد رفتار خریداران خود را بررسی کند. پس موضوع در این‌جا رفتار خریداران است. پس باید داده‌های مرتبط با رفتار مشتریان را در خود نگاه دارد و این داده‌ها را به منظور استخراج مفاهیم و نتایج خاصی به شکلی ویژه سازماندهی ‌کند.

  

  • مجتمع یا منسجم  (Integrated)

انبار داده ها (DataWarehouse) حاوی داده هایی از همه یا اکثریت فعالیت های اجزای سازمان می باشد و این داده ها پایدار است. در سیستم‌های مختلف داده‌ها ممکن است از جنبه‌های مختلفی با هم نامتناسب باشند در واقع اطلاعات در انبار داده به صورت تکه تکه در جاهای مختلف نیست و به صورت مجتمع در یک منبع ذخیره شده است.

مثلاً ممکن است دیتا بیس های یک شرگت در کشورهای مختلف باشند و موجودیت های داده ای با زمان و تاریخ‌های مختلف ذخیره شده‌اند. با توجه به مختلف بودن منابع، قبل از ذخیره سازی آن‌ها در انبار داده برای تأمین یکپارچگی تکنیک‌های پاکسازی داده‌ها و مجتمع‌سازی به کار می‌رود.

  • نگهدار زمان‌های مختلف یا متغیر با زمان(Timevariying)

تغییرات داده ها در یک انبار داده (DataWarehouse) ، ردیابی و ثبت می شوند تا امکان تهیه ی گزارش هایی که تغییرات را در طول زمان نشان می دهند، فراهم شود. هر ساختار کلیدی در انبار داده شامل عنصر زمان یا همان مهر زمانی است. این مهر زمانی به عنوان کلیدی به سایر جداول عمل می‌کند. به این معنا که در انبار داده، داده‌های قدیمی‌تر نیز ذخیره می‌شوند. به عبارتی عنصر زمان، از ابعاد ثابت هر موضوع از داده ها در انبار است.

به عنوان مثال اگر اطلاعات فروش یک ماه یا یک فصل یا یک سال اخیر را خواستیم می‌توانیم از DataWarehouse پیدا کنیم. سیستم انبار داده داده‌ها هرگز به روز آوری‌ نمی‌شوند. بلکه داده‌های جدید و یا تغییر یافته با مهرهای زمانی جدید به انبار اضافه می‌شوند. به همین علت در انبار داده عملیات حذف و به روز رسانی اطلاعات وجود ندارد.

  • غیر فرَار (none-volatile)

داده های موجود در انبار داده (DataWarehouse) ، هیچگاه دوباره نویسی یا پاک نمی شوند ، داده ثابت و بدون تغییر است و برای گزارش های آینده حفظ می شود. داده‌های انبار‌داده همیشه از لحاظ فیزیکی مجزا هستند، و هیچگاه نیازی به تغییر و به روز درآوری نخواهند داشت. به این معنا که اگر داده‌ای در انبار داده ثبت شد، دیگر امکان تغییر آن وجود ندارد. در یک انبار داده صرفا قابل خواندن است و تغییر پیدا نمی‌کند تا زمانی که ETL بعدی رخ دهد. 

برای مثال در یک پایگاه داده عادی (غیر انبار داده‌ای) اگر یک شخص آدرس خود را عوض کرد، آدرس جدید جایگزین آدرس قبلی می‌شود، ولی در انبار داده سابقه آدرس‌های شخص ذخیره می‌شود و تغییرات آدرس یک شخص به صورت جدید‌تر در انبار داده ثبت می‌شود و آدرس‌های قبلی نیز در انبار داده جهت بررسی موجود می‌باشد. به علت ساختار داده ای چند بعدی انبار داده این موضوع به راحتی پشتیبانی می شود.

فرا داده Meta Data چیست؟

فرا داده،اطلاعاتی در رابطه با انتقال و تبدیل داده­ ها، عملکرد انبار داده، تناظر منابع اطلاعاتی و جداول پایگاه­ داده که در آنها مشخص شده است و همچنین اطلاعاتی در مورد منابع داده ای اولیه و این که به چه قسمت ­هایی از انبار داده نگاشت شده اند می باشد.

از اطلاعات موجود در فرا داده می­توان در مواردی مانند نظارت خودکار، پیش­ بینی گرایش­ های سازمان و استفاده مجدد از اطلاعات استفاده کرد.

 

فرصت های تکنیکال با ایجاد انبار داده

انبار داده شامل یک کپی از اطلاعات است که از سیستم‌های تبادل داده‌ای به دست می‌آید. درک این نکته حائز اهمیت هست که انبار داده محل اصلی نگهداری از داده های سازمان نیست بلکه صرفا یک کپی هدفمند از داده های سازمان به منظور تحلیل در آن نگهداری می شود.  این رویکرد فرصتی برای موارد زیر به دست می‌دهد:

  • یکپارچه‌سازی داده‌ها از چند منبع در یک پایگاه داده و مدل داده‌ای واحد/ تجمیع بیشتر داده‌ها در یک پایگاه داده منفرد به طوری که با یک موتور کوئری بتوان داده‌ها را در یک ODS عرضه کرد.
  • رفع مشکل رقابت بر سر قفل در سطح ایزولاسیون پایگاه داده در سیستم‌های پردازش تراکنش که ناشی از کوئری‌های تحلیلی بزرگی است که به مدتی طولانی در پایگاه‌های داده پردازش تراکنش اجرا می‌شوند.
  • نگهداری سابقه داده حتی در مواردی که سیستم‌های تراکتش منبع این کار را انجام نمی‌دهند.
  • یکپارچه‌سازی داده‌ها از سیستم‌های منبع چندگانه و ایجاد امکان مشاهده مرکزی در کل سطح سازمان. این مزیت همواره ارزشمند است؛ اما زمانی که سازمان از طریق ادغام با شرکت یا سازمانی دیگر بزرگ می‌شود، اهمیتی دوچندان می‌یابد.
  • بهبود کیفیت داده از طریق ارائه کدها و توصیف‌های مداوم و رفع مشکل داده‌های نامناسب
  • ارائه مداوم اطلاعات سازمان
  • ارائه یک مدل داده ستون مفرد برای همه داده‌های مورد نظر صرف‌نظر از منبع داده
  • بازسازی داده‌ها به طرزی که برای کاربران تجاری معنی‌دار باشد.
  • بازسازی داده‌ها به طوری که عملکرد کوئری حتی برای کوئری‌های تحلیلی بدون تأثیر بر سیستم‌های عملیاتی بهبود یابد.
  • افزودن ارزش به برنامه‌های تجاری عملیاتی و به طور قابل توجه به سیستم‌های مدیریت رابطه مشتری (CRM)
  • آسان‌تر ساختن نوشتن کوئری‌های پشتیبان تصمیم
  • سازمان‌دهی و ابهام‌زدایی از بازاریابی داده‌ها

معماری سه لایه انبار داده

این معماری پرکاربرد است. از طبقه بالا ، میانه و پایین تشکیل شده است. منابع داده در مرحله اول جمع آوری می شوند. این منابع می تواند داده های انواع پایگاه داده یا اطلاعات نرم افزارهای موجود را در بر بگیرد.  اطلاعات جمع آوری شده طی فرایند ETL در پایگاه داده تحلیلی یا همان انبار داده DW) WareHouse) بارگذاری می شود. داده در پایگاه داده تحلیلی در بخش های مجزایی به نام داده گاه (Data Mart) قرار می گیرد. در مرحله بعد هوش تجاری وارد عمل شده و روی اطلاعات طبقه بندی شده تجزیه و تحلیل انجام می دهد. در نهایت اطلاعات جهت انتشار به ابزارهای سطح بالا تحویل داده می شود.

لايه زيرين (Bottom Tier):

بانک اطلاعاتی سرورهای Datawarehouse به عنوان سطح پایین. این معمولاً یک سیستم پایگاه داده رابطه است. داده ها با استفاده از ابزارهای back-end در این لایه پاک ، تبدیل و بارگذاری می شوند.

لایه میانی(Middle tire):

ردیف میانی در انبار داده یک سرور OLAP است که با استفاده از مدل ROLAP یا MOLAP پیاده سازی می شود.

الف) (Relational OLAP (ROLAP: یک سیستم مدیریت پایگاه داده رابطه‌ای گسترده است. ROLAP عملیات بر روی داده‌های چند بعدی را به عملیات‌های رابطه‌ای استاندارد تبدیل می‌کند.

ب) (Multidimensional OLAP (MOLAP: که به طور مستقیم داده‌های چند بعدی و عملیات را اجرا می کند.

(ONLINE ANALYTICAL PROCESSING (OLAP چیست ؟

OLAP در واقع نرم افزاری برای دستکاری داده های چند بعدی از منابع مختلف است. داده ها اغلب در یک Data Warehouse ذخیره می شوند. نرم افزار OLAP  به کاربر در ایجاد query ها ، نما ها و گزارشات کمک می کنند.

لايه بالايي (Top-Tier):

لایه بالایی، لایه client یا front-end است. این می تواند ابزار پرس و جو ، ابزار گزارش ، ابزار پرس و جو مدیریت شده ، ابزار تجزیه و تحلیل و ابزار کاوی باشد.

طراحی انبار داده

روش های طراحی انبارداده‌ها امکان پردازش کارآمد query را برروی حجم  عظیمی از داده‌ها فراهم می‌آورند. نوع ویژه‌ای از الگوی پایگاه داده‌ها به نام star برای مدل سازی انبارداده‌های چند بعدی به کار می‌رود. در این حالت، پایگاه داده‌ها از یک جدول مرکزی واقعیت یا fact و جداول چند بعدی تشکیل شده است. جدول واقعیت حاوی tuple هایی است که بیانگر واقعیت‌های کسب و کار مانند فروش یا عرضه هستند. هر tuple جدول واقعیت بهtupleهای جدول چند بعدی اشاره دارد. هرtuple جدول چند بعدی مواردی نظیر محصولات، مشتریان، زمان و فروشنده را نشان می‌دهد.

مراحل و نحوه ساخت انبار داده

سیستم انبار داده‌ها (DWS) شامل انبار داده‌ها و همه مولفه‌هایی است که برای ساخت، دستیابی و نگهداری DWH به کار می‌روند. انبار داده‌ها بخش مرکزی سیستم انبار داده‌ها را تشکیل می‌دهد. گاهی اوقات انبار داده‌ها حجم عظیمی از اطلاعات را در واحدهای منطقی کوچکتر به نام Data Mart نگهداری می‌کند. مولفه آماده سازی، مسئولیت کسب یا دریافت داده‌ها را بر عهده دارد. این مولفه شامل همه برنامه‌ها و‌برنامه‌های کاربردی‌هایی است که مسئول استخراج داده‌ها از منابع عملیاتی هستند. مولفه دستیابی شامل برنامه‌های کاربردی مختلف (OLAP یا برنامه‌های کاربردی داده کاوی) است که امکان استفاده از اطلاعات ذخیره شده در انبار داده‌ها را فراهم می‌آورند.

1- استخراج داده های تراکنشی از پایگاه های داده ها و منابع داده ای دیگر

استخراج داده های تراکنشی از پایگاه های داده، شناخت منابع داده های سازمان و استخراج داده های ارزشمند از آنها یکی از اصلی ترین مراحل ایجاد انبار داده می باشد.

2- تبدیل داده ها

تبدیل داده ها از آنجائیکه سیستمهای اطلاعاتی و برنامه های کاربردی یک سازمان غالبا توسط افراد و پروژه های مختلف به مـرور زمان در مواجهـه با نیـازهای جدید سـاخته یا تغییر شـکل داده می شـوند، یکسـان سـازی آنها امری ضروری می باشد. در بسیاری از موارد نیز سیستمهای اطلاعاتی در بستر های مختلف پایگاه داده مانند Microsoft SQL Server ،Oracle ، Sybase ، MicrosoftAccess و غیره طراحی گردیده اند. بررسی جداول، برقراری ارتباط بین فیلدها و یک شکل سازی داده ها در این مرحله صورت می پذیرد.

3- بارگذاری داده های تبدیل شده به یک پایگاه داده چند بعدی

بارگذاری داده های تبدیل شده به یک پایگاه داده چند بعدی بر خلاف پایگاه داده سیستمهای عملیاتی (OLTP) که دارای معماری رابطه ای می باشند و از اصول نرمالیزه استفاده می کنند، طراحی انبار داده به شکلی ویژه بدون بهره گیری از اصول نرمالیزاسیون می باشد. درانبار داده فیلدها در جاهای مختلفی تکرار می شوند و روابط بین جداول کمتر به چشم می خورند. علت آن هم افزایش سرعت پردازش اطلاعات هنگام گزارشات و عملیات آماری می باشد.

4- تولید مقادیر از پیش محاسبه شده جهت افزایش سرعت گزارش گیری

تولید مقادیر از پیش محاسبه شده جهت افزایش سرعت گزارش گیری مـقادیر از پیـش محاسـبه شده را تراکـم نیـز مـی نامـند. ایـن مرحلــه توســط سیستـم هایی نظــیر MicrosoftSQL Server Analysis Services بسیار ساده تر شده است. ایـن تراکم ها کـه در ابـعاد مختلـف انبار داده سـاخته می شوند، موجب می شوند که سرعت انجام عملیات گزارش گیری به شکل محسوسی افزایش یابد. باید توجه داشت که عملیات ساخت این مقادیر بسیار زمان گیر بوده و نیازمند حافظه زیادی بر روی سروراست.

5- ساخت ( یا خرید ) یک ابزار گزارش گیری: 

ساخت (یا خرید) یک ابزار گزارش گیری پس از انجام مراحل فوق، شـما می توانـید نسبـت به ساخت یا خـرید یـک نرم افزار گزارش گیـری تصمیم گیری نمایید. به طور معمـول هزینه سـاخت یک نرم افزار گزارش گـیری، بالاتـر از هزینـه خریـد آن از یک شرکت خارجـی می شود.

ابزارهای ایجاد انبار داده

با توجه به اینکه انتخاب ابزار جهت ایجاد انباره داده وابستگی زیادی به نوع فعالیت سازمان و وابستگی فرآیندها با یکدیگر دارد، به همین دلیل پس از شناخت (Feasibility Study) نسبت به انتخاب ابزار برای ایجاد انباره داده اقدام می شود. ولی عموماً یکی از دو ابزار SQL Server و یا Oracle برای این بخش مناسب می باشند.

1) QuerySurge

2) CloverDX

3) Xplenty

4) Skyvia

5) Panoply

6) Oracle

7) Amazon RedShift

8) Domo

9) Teradata Corporation

10) SAP

11) SAS

12) IBM – DataStage

13) Informatica

14) MS SSIS

15) Talend Open Studio

16) The Ab Initio software

17) Dundas

18) Sisense:

19) TabLeau

20) MicroStrategy

21) Pentaho

22) BigQuery

23) Numetric

24) Solver BI360 Suite

25) MarkLogic

رابطه انبار داده با هوش تجاری

از اواسط سال های 1980 نیاز به انبار داده‌ها در هوش تجاری (BI) به وجود آمد و دریافتند که سیستم های اطلاعاتی باید به صورت سیستم‌های عملیاتی و اطلاعاتی مشخص شوند. سیستم‌های عملیاتی از فعالیت‌های روزانه کسب و کار پشتیبانی می‌نمایند و برای پاسخگویی سریع به ارتباطات از پیش تعریف شده مناسب هستند.

داده‌های عملیاتی ارائه بی‌درنگ و فعلی وضعیت کسب و کار می‌باشند. اما سیستم‌های اطلاعاتی برای مدیریت و کنترل کسب وکار به کار می‌روند. این سیستم‌ها از تجزیه و تحلیل داده‌ها برای اتخاذ تصمیم درباره عملکرد آنی و آتی سازمان پشتیبانی می‌کنند و برای در خواست‌های موردی، پیچیده و به طور عمده فقط خواندنی طراحی شده‌اند. داده‌های اطلاعاتی تاریخی هستند، به عبارتی بیانگر دیدگاه ثابتی از کسب وکار در یک دوره زمانی می‌باشند.

در هوش تجاری (BI) یک انبار داده Data Warehouse ، مخزن اصلی داده های تاریخی یک سازمان یا حافظه‌ی مشترک و گروهی ( Corporate memory ) آن است.این انبار شامل مواد خام برای سیستم حمایت تصمیم گیری مدیریتی یا DSS(decision support systems) می باشد.فاکتور اصلی ای که منجر به استفاده از یک انبار داده (Data Warehouse) می شود این است که یک تحلیل گر میتواند آنالیزها و جستجو های پیچیده ای مثل استخراج داده (Data Mining) را روی اطلاعات انجام دهد بدون اینکه سیستم های اجرائی (Operational System)‌کند شوند.

از آنجائیکه انجام عملیات آماری و گزارشات پیچیده دارای بارکاری بسیار سنگینی برای سرورهای پایگاه داده می باشند، وجود انبار داده سبب می گردد که اینگونه عملیات تاثیری بر فعالیت برنامه های کاربردی سازمان (OLTP) نداشته باشد.

همانگونه که پایگاه داده سیستمهای عملیاتی سازمان (برنامه های کاربردی) به گونه ای طراحی می شوند که انجام تغییر و حذف و اضافه داده به سرعت صورت پذیرد، در مقابل انبار داده ها دارای معماری ویژه ای می باشند که موجب تسریع انجام عملیات آماری و گزارش گیری می شود(OLAP).

 

معماری داده موفق

فراتر از کیفیت داده چگونگی ذخیره‌سازی و مدل کرده داده در انباره داده می‌باشد که بسیار حائز اهمیت است. بیل اینمون (Bill Inmon) و رالف کیمبال (Ralph Kimball) که از آن‌ها به‌عنوان پدران انباره داده یاد می‌شود در این زمینه نظریه‌های خود را بیان کرده‌اند. اینمون طرفدار انبارش داده به روش ریزدانه (Granular) و نرمال شده است.

زمانی که دیتا مارت های مربوطه، مدل دادهِ نرمال شده را پیکربندی می‌کنند. رویکرد اینمون اغلب به رویکرد «کارخانه اطلاعات شرکت» (Corporate Information Factory) یا «توپ و محور» (Hub and spoke) اطلاق می‌شود. کیم بال، از الگوهای ستاره‌ای به‌عنوان لایه نمایش کسب‌وکار که «معماری دیتا مارت باس» اطلاق می‌شود، حمایت کرد. این الگو احتمال دارد و یا احتمال ندارد که مستقیم از داده‌های استخراج‌شده از سیستم‌های منبع ساخته‌شده باشند. تحقیقات نشان می‌دهد که هر دو رویکرد پیاده‌سازی میزان موفقیت برابری دارند.

 

تکنیک های مورد استفاده در هوش تجاری

در عصری که زمان، کلید اصلی در تجارت است، شرکت ها به استفاده از ابزارهای اطلاعاتی روی آورده اند تا بتوانند اطلاعات مورد نظر را به سرعت از منابع استخراج کنند. هوش تجاری در امر تصمیم گیری در سطوح مختلف سازمان به ویژه سطوح مدیران ارشد با تحلیل اطلاعات و روش های پرس و جو تسهیلات زیادی را فراهم می کند که متداول ترین این روش ها به قرار زیر است:

  • On-Line Analytical Processing (OLAP) 
  • On-Line Transaction Processing (OLTP)
  • Data Warehousing (DW)
  • Data Mining (DM)
  • Intelligent Decision Support System (IDSS)
  • Intelligent Agent (IA)
  • Knowledge Management System (KMS)
  • Supply Chain Management (SCM)
  • Customer Relationship Management (CRM)
  • Enterprise Resource Planning (ERP)
  • Enterprise Information Management (EIM)

لازم به ذکر است، صرف وجود تمام این تکنیک ها در سطح سازمان بدون در نظر داشتن فرهنگ سازمان و رویکرد سیستمی موجود بین کارکنان نمی‌تواند اثبات کننده هوشمندی کسب و کار آن سازمان باشد.

منابع:

www.researchyar.ir
https://data-flair.training/blogs/business-intelligence-and-data-warehousing/
www.researchyar.ir/انبار-داده-ها/

برای دیدن فلیم های سینماییِ مهیج و جذاب”در حوزه فناوری اطلاعات، اوسینت و هوش مصنوعی“، بر روی اینجا کلیک کنید.

آدرس کانال تلگرام سایت بیگ دیتا:

t.me/bigdata_channel

آدرس کانال سروش ما:
https://sapp.ir/bigdata_channel

جهت دیدن سرفصل های دوره های آموزشی بر روی اینجا کلیک کنید.

جهت ثبت نام در دوره های آموزشی بر روی اینجا کلیک کنید.

بازدیدها: 1890

برچسب

دیدگاهتان را بنویسید