بایگانی برچسب: کلان داده

معرفی آپاچی اسپارک  در پست های قبلی با معماری آپاچی اسپارک آشنا شدیم. اسپارک یک سکوی متن باز برای پردازش کلان داده است و در حال حاضر یکی از پروژه‌های موفق در بنیاد نرم‌افزار آپاچی می‌باشد. آپاچی اسپارک در ابتدا در سال ۲۰۰۹ در آزمایشگاه AMPLab شهر UC Berkeley توسعه داده شد و در سال …

اوضاع و آمار بیگ دیتا در سال ۲۰۱۷ در یک دقیقه در پست های قبل خواص بیگ دیتا را بررسی نمودیم. در این پست به آمار بیگ دیتا تولید شده در دنیا میپردزیم. حجم اطلاعاتی که تا سال ۲۰۰۳ توسط انسان ایجاد شد تنها ۵ اگزابایت است. امروزه این حجم از اطلاعات تنها در عرض …

یکی از موسسات مطرح در زمینه پشتیبانی از داده های حجیم، بنیاد آپاچی می باشد. لذا شناخت محصولات و تکنولوژی های نرم افزاری آپاچی بسیار لازم است. معمولا از مجموعه ی این تکنولوژی ها تحت عنوان اکوسیستم هدوپ یاد میشود. در این مبحث تکنولوژی های آپاچی بررسی خواهد. ActiveMQ این نرم افزار محبوب و قدرتمند …

در این بخش به نحوه کار و پرسوجو با بانک اطلاعات مبتنی بر گراف Neo4j میپردازیم. بعد از اجرا Neo4j در ویندوز یا در سیستم عامل لینوکس، در کاوشگر خود آدرس http://localhost:7474 را وارد میکنیم تا رابط کاربری برنامه نمایش داده شود. برای کاربرانی که تازه میخواهند با آن کار کنند سندی جهت آشنایی با …

یکی از مسائل مهم حوزه گراف کاوی، ترسیم گراف یا بصری سازی است. یک گراف، یک شکل هندسی چندبعدی است که به خاطر همین خاصیت چندبعدی بودن آن بی‌نهایت ترسیم مختلف می‌توان از آن به وجود آورد که فقط تعداد معدودی از این ترسیم‌ها باارزش هستند. رسم گراف از این منظر اهمیت خاصی دارد که …

پایگاه داده های NoSQL ها در واقع همان بانک های اطلاعاتی غیر رابطه ای و توزیع شده هستند که لزوما برای نگهداری داده ها نیازی به ساختار جدول ندارد و میتواند به سادگی عملیات Replication را انجام دهد. البته ایده پایگاه داده NoSQL تقریبا بیش از ۱۰سال است که در محافل اینترنتی بوجود آمده است. این …

برای آشنایی با مدل داده‌ای کاساندرا، بهتر است از مفاهیم ساده و ابتدایی برای ذخیره‌سازی داده‌ها شروع شود. ساده‌ترین حالت ذخیره‌سازی داده‌ای با استفاده از یک آرایه یا لیست قابل پیاده‌سازی است. در این حالت، برای فهمیدن این‌که هر عنصر ذخیره کننده چیست، باید اسناد و دانشی درباره آن به‌صورت خارجی نگه‌داری شود. همچنین،  برای …

کاساندرا یک سیستم انبار‌ه داده ی توزیع‌شده و کاملاً متن باز و رایگان است که برای مدیریت داده های عظیم تولید شده است. کاساندرا این داده ها را در بین سرورهای بسیاری گسترش‌ داده و انعطاف‌پذیری زیادی را برای توزیع داده به شما می‌دهد. همچنین شما می‌توانید ظرفیت نگهدارنده داده‌ی خود را به راحتی وارد کنید …

در سال­های اخیر سیستم ­های نوینی تحت اصطلاح سیستم های مدیریت پایگاه داده غیر رابطه ای یا NoSQL به معنی  “Not Only SQL” یا ” نه تنها SQL” جهت ارائه مقیاس­پذیری افقی برای عملیات توزیع­شده­ی خواندن/نوشتن پایگاه داده برروی چند سرویس­دهنده­، طراحی شده است. در مقابل، محصولات پایگاه­ داده­ی سنتی، قابلیت مقیاس­پذیری نسبتا کمتری(یا فاقد …

کلان داده : تعاریف متعددی در رابطه با کلان داده وجود دارد ولی جامع ترین تعریف را موسسه گارتنر از داده های حجیم ارائه داده است . این تعریف میگوید که داده های حجیم باید سه شرط داشته باشند که به تئوری سه V  معروف است. (البته تئوری چهار V یا اصل ۴V و ۸V …