بایگانی برچسب: کلان داده

سطح بلوغ بیگ دیتا یا کلان داده حرکتی به سمت شرکت های داده محور

سطح بلوغ کلان داده یا بیگ دیتا

توسعه و اجرای استراتژی کلان داده برای سازمان ها کار آسانی نیست، به خصوص اگر فرهنگ داده محور نداشته باشند. چنین فرهنگی یک پیش نیاز برای اجرای موفقیت آمیز یک استراتژی کلان داده است. ایجاد نقشه راه Big Data برای رسیدن چنین فرهنگی ناگزیر …

ادامه مطلب

دریاچه داده (Data Lake) چيست و چه تفاوتی با باتلاق داده (Data Swamp) دارد

دریاچه داده (Data Lake)

دریاچه داده (Data Lake) و مفهوم بیگ دیتا دو واژه ناگسستنی هستند به عبارتی Data Lake ظرفی برای نگهداری بیگ دیتا یا کلان داده است که با توجه به گذر زمان ویژگیهای فنی زیادی برای آن شمارده شده است که در ادامه به آن …

ادامه مطلب

پايگاه داده کاساندرا، روش نصب و بررسی نقاط ضعف و قوت

پايگاه داده کاساندرا

پايگاه داده کاساندرا یک سیستم انبار‌ه داده ی توزیع‌شده و کاملاً متن باز و رایگان است که برای مدیریت داده های عظیم تولید شده است. کاساندرا این داده ها را در بین سرورهای بسیاری گسترش‌ داده و انعطاف‌پذیری زیادی را برای توزیع داده به …

ادامه مطلب

خصوصیات بیگ دیتا یا کلان داده چیست؟ و جایگاه هدوپ کجاست

کلان داده

کلان‌داده (Big Data) اصطلاحی است که برای تعریف داده‌ها در حجم انبوه استفاده می‌شود: حجم بزرگ یا پیچیده‌ای از داده‌ها که ابزارهای متداول پردازش داده‌ها برای تحلیل و کاوش آن ناتوان باشد. «کلان‌داده دارایی‌های اطلاعاتی را شامل می‌شود که ویژگی‌هایی همچون حجم بسیار زیاد …

ادامه مطلب

معماری لامبدا در مقابل معماری کاپا برای بیگ دیتا و پردازش سريع درData Lake

معماری لامبدا

تولید بی‌­وقفه داده­‌ها در دنیای امروز، نیاز به پایش لحظه­‌ای و سریع اطلاعات در کنار ذخیره آنها برای پردازش­های تحلیلی، ما را به سمت ساختاری هدایت می­کند که بتواند هر دو وجه از این نیازمندی یعنی پردازش جریان­‌های داده به صورت لحظه­‌ای و بدون تاخیر وپردازش­های …

ادامه مطلب

مدل داده ای ستون گرا و تعریف شِمای مبتنی بر ستون در کاساندرا

مدل داده ای ستون گرا در کسندرا

پایگاه داده های ستون گرا به طور بالقوه می توانند به عنوان یک انبار داده استفاده شوند که قادر است به طور طبیعی پرس و جوهای OLAP را اداره کند. این روش در سال 2012 در مطالعات مختلف ارائه شده است و اکنون محبوبیت …

ادامه مطلب

آغاز کلان داده در میکروسافت با پشتیبانی پایگاه داده MS-SQLServer از بیگ دیتا

کلان داده در میکروسافت

جایگاه کلان داده در میکروسافت استفاده از Big Data Cluster در SQL Server 2019 باعث هوشمندسازی تمام داده‌های کاربر شده و با تلفیق داده‌های ساختاریافته و ساختارنیافته در سراسر منطقه داده، به از میان بردن Siloهای داده کمک می‌کند. این کلاستر، Microsoft SQL Server …

ادامه مطلب

امکانات و ویژگیهای جدید SQL Server در نسخه های مختلف

امکانات جدید SQL Server

Microsoft SQL Server یا MSSQL چیست؟ در پاسخ نرم افزار sql server چیست بایستی گفت که یک بانک اطلاعاتی از نوع دیتابیس‌های رابطه‌ای یا Relational Database است که توسط کمپانی Microsoft ارایه شده، و وظیفه اصلی آن ذخیره و بازیابی اطلاعات براساس درخواست نرم‌افزارهای …

ادامه مطلب

معماری سقراط و مقايسه آن با معماری HADR در حوزه کلان داده

معماری-سقراط

سقراط یک معماری جدید در پایگاه داده ها میباشد که توسط شرکت مایکروسافت بوجود آمده و تحت عنوان sql hyper scale در محصولات مایکروسافت همچون windows AZURE در حال استفاده میباشد. معماری HADR پیش از اینکه به تشریح معماری سقراط بپردازیم بهتر است که …

ادامه مطلب

اوضاع و آمار بیگ دیتا در سال 2023 و 2024

آمار بیگ دیتا

اوضاع و آمار بیگ دیتا در سال 2023 در یک دقیقه در پست های قبل خواص بیگ دیتا را بررسی نمودیم. در این پست به آمار بیگ دیتا تولید شده در دنیا میپردزیم. حجم اطلاعاتی که تا سال ۲۰۰۳ توسط انسان ایجاد شد تنها …

ادامه مطلب

فیلم آموزش آپاچی اسپارک به زبان ساده از شرکت لیندا

آپاچی اسپارک

معرفی آپاچی اسپارک  در پست های قبلی با معماری آپاچی اسپارک آشنا شدیم. اسپارک یک سکوی متن باز برای پردازش کلان داده است و در حال حاضر یکی از پروژه‌های موفق در بنیاد نرم‌افزار آپاچی می‌باشد. آپاچی اسپارک در ابتدا در سال 2009 در …

ادامه مطلب

مدل مرجع معماری بیگ دیتا NBDRA (ISO 20547-3)

معماری بیگ دیتا ISO 20547-3

به بیان ساده، بیگ دیتا مجموعه داده های بزرگ و پیچیده تری هستند، که از منابع جدید داده ها استخراج می شوند. این مجموعه داده ها آنقدر حجیم و غیر ساخت یافته هستند که نرم افزارهای قدیمی پردازش داده، نمی توانند آنها را مدیریت کنند. …

ادامه مطلب

معرفی کامل صف پیشرفته کافکا (Kafka) همراه با نصب و راه اندازی در داکر

عملکرد کافکا

در مباحث قبل به ActiveMQ به عنوان یک سیستم صف و کارگزار پیام پرداختیم. آپاچی کافکا نیز پلت فرم متن باز به منظور پردازش جریانی اطلاعات توسعه یافته است که توسط بنیاد نرم افزار آپاچی نوشته شده و با اسکالا و جاوا است. این …

ادامه مطلب

محصولات و تکنولوژی های آپاچی (Apache) در حوزه کلان داده و داده کاوی

تکنولوژی های آپاچی

یکی از موسسات مطرح در زمینه پشتیبانی از داده های حجیم، بنیاد آپاچی می باشد. لذا شناخت محصولات و تکنولوژی های نرم افزاری آپاچی بسیار لازم است. معمولا از مجموعه ی این تکنولوژی ها تحت عنوان اکوسیستم هدوپ یاد میشود. در این مبحث تکنولوژی …

ادامه مطلب

نحوه کار و پرسوجو با Neo4j

neo4j GUI

در این بخش به نحوه کار و پرسوجو با بانک اطلاعات مبتنی بر گراف Neo4j میپردازیم. بعد از اجرا Neo4j در ویندوز یا در سیستم عامل لینوکس، در کاوشگر خود آدرس http://localhost:7474 را وارد میکنیم تا رابط کاربری برنامه نمایش داده شود. برای کاربرانی …

ادامه مطلب

بصری سازی گراف شبکه های اجتماعی به روش الگوریتم OO یا (OpenOrd)

OO visualization

یکی از مسائل مهم حوزه گراف کاوی، ترسیم گراف یا بصری سازی است. یک گراف، یک شکل هندسی چندبعدی است که به خاطر همین خاصیت چندبعدی بودن آن بی‌نهایت ترسیم مختلف می‌توان از آن به وجود آورد که فقط تعداد معدودی از این ترسیم‌ها …

ادامه مطلب

درآمدی بر بانک های اطلاعاتی غیر رابطه ای (NoSql)

بانک های اطلاعاتی غیر رابطه ای

پایگاه داده های NoSQL ها در واقع همان بانک های اطلاعاتی غیر رابطه ای و توزیع شده هستند که لزوما برای نگهداری داده ها نیازی به ساختار جدول ندارد و میتواند به سادگی عملیات Replication را انجام دهد. البته ایده پایگاه داده NoSQL تقریبا بیش …

ادامه مطلب

خصوصیات سیستم های مدیریت پایگاه داده غیر رابطه ای یا بانک های اطلاعاتی NoSQL

مقایسه کاساندرا با HBase, MongoDB, CouchDB, Neo4j

در سال­های اخیر سیستم ­های نوینی تحت اصطلاح سیستم های مدیریت پایگاه داده غیر رابطه ای یا NoSQL به معنی  “Not Only SQL” یا ” نه تنها SQL” جهت ارائه مقیاس­پذیری افقی برای عملیات توزیع­شده­ی خواندن/نوشتن پایگاه داده برروی چند سرویس­دهنده­، طراحی شده است. …

ادامه مطلب