توسعه و اجرای استراتژی کلان داده برای سازمان ها کار آسانی نیست، به خصوص اگر فرهنگ داده محور نداشته باشند. چنین فرهنگی یک پیش نیاز برای اجرای موفقیت آمیز یک استراتژی کلان داده است. ایجاد نقشه راه Big Data برای رسیدن چنین فرهنگی ناگزیر …
ادامه مطلببایگانی برچسب: کلان داده
دریاچه داده (Data Lake) چيست و چه تفاوتی با باتلاق داده (Data Swamp) دارد
دریاچه داده (Data Lake) و مفهوم بیگ دیتا دو واژه ناگسستنی هستند به عبارتی Data Lake ظرفی برای نگهداری بیگ دیتا یا کلان داده است که با توجه به گذر زمان ویژگیهای فنی زیادی برای آن شمارده شده است که در ادامه به آن …
ادامه مطلبپايگاه داده کاساندرا، روش نصب و بررسی نقاط ضعف و قوت
پايگاه داده کاساندرا یک سیستم انباره داده ی توزیعشده و کاملاً متن باز و رایگان است که برای مدیریت داده های عظیم تولید شده است. کاساندرا این داده ها را در بین سرورهای بسیاری گسترش داده و انعطافپذیری زیادی را برای توزیع داده به …
ادامه مطلبخصوصیات بیگ دیتا یا کلان داده چیست؟ و جایگاه هدوپ کجاست
کلانداده (Big Data) اصطلاحی است که برای تعریف دادهها در حجم انبوه استفاده میشود: حجم بزرگ یا پیچیدهای از دادهها که ابزارهای متداول پردازش دادهها برای تحلیل و کاوش آن ناتوان باشد. «کلانداده داراییهای اطلاعاتی را شامل میشود که ویژگیهایی همچون حجم بسیار زیاد …
ادامه مطلبمعماری لامبدا در مقابل معماری کاپا برای بیگ دیتا و پردازش سريع درData Lake
تولید بیوقفه دادهها در دنیای امروز، نیاز به پایش لحظهای و سریع اطلاعات در کنار ذخیره آنها برای پردازشهای تحلیلی، ما را به سمت ساختاری هدایت میکند که بتواند هر دو وجه از این نیازمندی یعنی پردازش جریانهای داده به صورت لحظهای و بدون تاخیر وپردازشهای …
ادامه مطلبمدل داده ای ستون گرا و تعریف شِمای مبتنی بر ستون در کاساندرا
پایگاه داده های ستون گرا به طور بالقوه می توانند به عنوان یک انبار داده استفاده شوند که قادر است به طور طبیعی پرس و جوهای OLAP را اداره کند. این روش در سال 2012 در مطالعات مختلف ارائه شده است و اکنون محبوبیت …
ادامه مطلبآغاز کلان داده در میکروسافت با پشتیبانی پایگاه داده MS-SQLServer از بیگ دیتا
جایگاه کلان داده در میکروسافت استفاده از Big Data Cluster در SQL Server 2019 باعث هوشمندسازی تمام دادههای کاربر شده و با تلفیق دادههای ساختاریافته و ساختارنیافته در سراسر منطقه داده، به از میان بردن Siloهای داده کمک میکند. این کلاستر، Microsoft SQL Server …
ادامه مطلبامکانات و ویژگیهای جدید SQL Server در نسخه های مختلف
Microsoft SQL Server یا MSSQL چیست؟ در پاسخ نرم افزار sql server چیست بایستی گفت که یک بانک اطلاعاتی از نوع دیتابیسهای رابطهای یا Relational Database است که توسط کمپانی Microsoft ارایه شده، و وظیفه اصلی آن ذخیره و بازیابی اطلاعات براساس درخواست نرمافزارهای …
ادامه مطلبمعماری سقراط و مقايسه آن با معماری HADR در حوزه کلان داده
سقراط یک معماری جدید در پایگاه داده ها میباشد که توسط شرکت مایکروسافت بوجود آمده و تحت عنوان sql hyper scale در محصولات مایکروسافت همچون windows AZURE در حال استفاده میباشد. معماری HADR پیش از اینکه به تشریح معماری سقراط بپردازیم بهتر است که …
ادامه مطلباوضاع و آمار بیگ دیتا در سال 2023 و 2024
اوضاع و آمار بیگ دیتا در سال 2023 در یک دقیقه در پست های قبل خواص بیگ دیتا را بررسی نمودیم. در این پست به آمار بیگ دیتا تولید شده در دنیا میپردزیم. حجم اطلاعاتی که تا سال ۲۰۰۳ توسط انسان ایجاد شد تنها …
ادامه مطلبفیلم آموزش آپاچی اسپارک به زبان ساده از شرکت لیندا
معرفی آپاچی اسپارک در پست های قبلی با معماری آپاچی اسپارک آشنا شدیم. اسپارک یک سکوی متن باز برای پردازش کلان داده است و در حال حاضر یکی از پروژههای موفق در بنیاد نرمافزار آپاچی میباشد. آپاچی اسپارک در ابتدا در سال 2009 در …
ادامه مطلبمدل مرجع معماری بیگ دیتا NBDRA (ISO 20547-3)
به بیان ساده، بیگ دیتا مجموعه داده های بزرگ و پیچیده تری هستند، که از منابع جدید داده ها استخراج می شوند. این مجموعه داده ها آنقدر حجیم و غیر ساخت یافته هستند که نرم افزارهای قدیمی پردازش داده، نمی توانند آنها را مدیریت کنند. …
ادامه مطلبمعرفی کامل صف پیشرفته کافکا (Kafka) همراه با نصب و راه اندازی در داکر
در مباحث قبل به ActiveMQ به عنوان یک سیستم صف و کارگزار پیام پرداختیم. آپاچی کافکا نیز پلت فرم متن باز به منظور پردازش جریانی اطلاعات توسعه یافته است که توسط بنیاد نرم افزار آپاچی نوشته شده و با اسکالا و جاوا است. این …
ادامه مطلبمحصولات و تکنولوژی های آپاچی (Apache) در حوزه کلان داده و داده کاوی
یکی از موسسات مطرح در زمینه پشتیبانی از داده های حجیم، بنیاد آپاچی می باشد. لذا شناخت محصولات و تکنولوژی های نرم افزاری آپاچی بسیار لازم است. معمولا از مجموعه ی این تکنولوژی ها تحت عنوان اکوسیستم هدوپ یاد میشود. در این مبحث تکنولوژی …
ادامه مطلبنحوه کار و پرسوجو با Neo4j
در این بخش به نحوه کار و پرسوجو با بانک اطلاعات مبتنی بر گراف Neo4j میپردازیم. بعد از اجرا Neo4j در ویندوز یا در سیستم عامل لینوکس، در کاوشگر خود آدرس http://localhost:7474 را وارد میکنیم تا رابط کاربری برنامه نمایش داده شود. برای کاربرانی …
ادامه مطلببصری سازی گراف شبکه های اجتماعی به روش الگوریتم OO یا (OpenOrd)
یکی از مسائل مهم حوزه گراف کاوی، ترسیم گراف یا بصری سازی است. یک گراف، یک شکل هندسی چندبعدی است که به خاطر همین خاصیت چندبعدی بودن آن بینهایت ترسیم مختلف میتوان از آن به وجود آورد که فقط تعداد معدودی از این ترسیمها …
ادامه مطلبدرآمدی بر بانک های اطلاعاتی غیر رابطه ای (NoSql)
پایگاه داده های NoSQL ها در واقع همان بانک های اطلاعاتی غیر رابطه ای و توزیع شده هستند که لزوما برای نگهداری داده ها نیازی به ساختار جدول ندارد و میتواند به سادگی عملیات Replication را انجام دهد. البته ایده پایگاه داده NoSQL تقریبا بیش …
ادامه مطلبخصوصیات سیستم های مدیریت پایگاه داده غیر رابطه ای یا بانک های اطلاعاتی NoSQL
در سالهای اخیر سیستم های نوینی تحت اصطلاح سیستم های مدیریت پایگاه داده غیر رابطه ای یا NoSQL به معنی “Not Only SQL” یا ” نه تنها SQL” جهت ارائه مقیاسپذیری افقی برای عملیات توزیعشدهی خواندن/نوشتن پایگاه داده برروی چند سرویسدهنده، طراحی شده است. …
ادامه مطلب