خانه --> داده های حجیم (کلان داده)

داده های حجیم (کلان داده)

داده های حجیم (کلان داده)
big data

معماری لامبدا در مقابل معماری کاپا برای بیگ دیتا

معماری لامبدا

معماری لامبدا تولید بی‌­وقفه داده­‌ها در دنیای امروز، نیاز به پایش لحظه­‌ای و سریع اطلاعات در کنار ذخیره آنها برای پردازش­های تحلیلی، ما را به سمت ساختاری هدایت می­کند که بتواند هر دو وجه از این نیازمندی یعنی پردازش جریان­‌های داده به صورت لحظه­‌ای و بدون تاخیر وپردازش­های انبوه و زمان‌مند را پاسخگو باشد. توییتر مثال خوبی از …

ادامه نوشته »

مدل مرجع معماری بیگ دیتا NBDRA (ISO 20547-3)

معماری بیگ دیتا ISO 20547-3

معماری بیگ دیتا یا معماری مرجع NBDRA برای کلان داده ها در شکل ۱ نشان داده شده است. این مدل توسط گروه کاری عمومی کلان داده  NBD-PWG مؤسسه ملی فناوری و استانداردها (NIST) که یک گروه معتبر استانداردسازی در آمریکا است، ارائه شده است. این مدل بعد از دریافت و مقایسه ۹ معماری مرجع برای …

ادامه نوشته »

۱۰ معیار خرید برای امنیت کلان داده

معیار خرید برای امنیت کلان داده

در این پست موارد زیر در رابطه با معیار خرید برای امنیت کلان داده ، بررسی خواهد شد. ▶▶ پرهیز از پیشنهادات امنیت ابرداده ای سطح پایین ▶▶ ایجاد یک چک لیست از معیار های خرید ▶▶ بفهمیم که در یک راه حل به دنبال چه باشیم همه ی راه حل های امنیتی کلان داده ها …

ادامه نوشته »

اوضاع و آمار بیگ دیتا در سال ۲۰۱۷

آمار بیگ دیتا

اوضاع و آمار بیگ دیتا در سال ۲۰۱۷ در یک دقیقه در پست های قبل خواص بیگ دیتا را بررسی نمودیم. در این پست به آمار بیگ دیتا تولید شده در دنیا میپردزیم. حجم اطلاعاتی که تا سال ۲۰۰۳ توسط انسان ایجاد شد تنها ۵ اگزابایت است. امروزه این حجم از اطلاعات تنها در عرض …

ادامه نوشته »

مقایسه Neo4j با OrientDB با Titan

مقایسه Neo4j با OrientDB با Titan

 در رابطه با مقایسه سه پایگاه داده معروف مبنی بر گراف  Neo4j و  OrientDB و Titan خصیصه های زیر مورد بررسی قرار گرفته است. هدف کلی این مقایسه بررسی کارایی آن ها است. خصیصه های زیv برای مقایسه انتخاب شده و هر کدام از آنها بر روی هر سه بانک اطلاعاتی بررسی شده و زمان …

ادامه نوشته »

محصولات و تکنولوژی های آپاچی در حوزه کلان داده و داده کاوی

تکنولوژی های آپاچی

یکی از موسسات مطرح در زمینه پشتیبانی از داده های حجیم، بنیاد آپاچی می باشد. لذا شناخت محصولات و تکنولوژی های نرم افزاری آپاچی بسیار لازم است. معمولا از مجموعه ی این تکنولوژی ها تحت عنوان اکوسیستم هدوپ یاد میشود. در این مبحث تکنولوژی های آپاچی بررسی خواهد. ActiveMQ این نرم افزار محبوب و قدرتمند …

ادامه نوشته »

روش تحلیل و پردازش گراف های بزرگ

پردازش گراف های بزرگ با مپ ردیوس

در قسمت های پیشین با تئوری گراف و تئوری شبکه اجتماعی آشنا شدیم. در این قسمت به روشهای معمول که در پردازش گراف های بزرگ مورد استفاده قرار میگیرد میپردازیم. این موارد را برای این بررسی میکنیم تا در زمان بررسی ابزار ها و فناوری های پردازش گراف های بزرگ مانند گرافچی و تایتان با …

ادامه نوشته »

گرافچی (GraphChi) روشی برای پردازش و تحلیل گرافهای بزرگ

گرافچی (GraphChi)

گرافچی (GraphChi) روشی برای پردازش و تحلیل گراف های بزرگ بر روی یک کامپیوتر است. این پروژه با سه زبان C, java و Scala بازنویسی شده است. که پروژه اصلی به زبان C است. سیستم های امروزی محاسبات بر روی گراف برای برخورد با  مسائل واقعی (Real World Problems)، نیاز به یک خوشه محاسبتی توزیع …

ادامه نوشته »

مقایسه داکر (Docker) با VServer و OpenVZ و LXC

مجازی سازی با کانتینر داکر

این روزها، توسعه­ دهندگان نرم ­افزار، شاهد ارز اندام مقتدرانه تکنولوژی کانتینرها هستند. در این بخش، ابتدا مجازی سازی مبتنی بر کانتینر و پیاده ­سازی های آن شرح داده می­شود و سپس، سکوی محبوب داکر (Docker) بصورت ویژه مورد توجه قرار می­گیرد تا بتوانیم با مفاهیم مجازی سازی با کانتینر داکر بیشتر آشنا شویم. در …

ادامه نوشته »

نصب و راه اندازی و پیکربندی داکر (Docker)

لایه های داکر

نصب و راه اندازی داکر Docker در مبحث معرفی داکر با این تکنولوژی آشنا شدیم حال به نحوع نصب و راه اندازی آن می پردازیم. این نوع مجازی‌سازی برخلاف مجازی‌سازی معمولی، سربار (Overhead) بسیار کمی دارد و برخلاف تکنیک chroot، دو سیستم‌عامل کاملا از هم جدا هستند و همدیگر را مثل دو ماشین مجزا در …

ادامه نوشته »

نحوه کار و پرسوجو با Neo4j

neo4j GUI

در این بخش به نحوه کار و پرسوجو با بانک اطلاعات مبتنی بر گراف Neo4j میپردازیم. بعد از اجرا Neo4j در ویندوز یا در سیستم عامل لینوکس، در کاوشگر خود آدرس http://localhost:7474 را وارد میکنیم تا رابط کاربری برنامه نمایش داده شود. برای کاربرانی که تازه میخواهند با آن کار کنند سندی جهت آشنایی با …

ادامه نوشته »

نصب و راه اندازی Neo4j (پایگاه داده مبتنی بر گراف ) در سیستم عامل های دبین و ابونتو

neo4j installation

نحوه نصب و راه اندازی Neo4j همانطوره که در پست های قبل اشاره کردم neo4j یک پایگاه داده غیر رابطه ای مبتنی برگراف، برای انجام امور گراف کاوی و داده کاوی است. در این پست به روش نصب و راه اندازی Neo4j خواهیم پرداخت. Neo4j معروف­ترین DBMS متن باز گرافی است که کارایی و مستندسازی …

ادامه نوشته »

معیار modularity یا پیمانگی Louvain جهت خوشه بندی یا Clustering گراف شبکه های اجتماعی

خوشه بندی

پیمانگی Louvain جهت خوشه بندی: پیمانگی (modularity) ابتدا به عنوان معیاری جهت تعیین مرحله توقف الگوریتم گیروان و نیومن مورد توجه بود، ولی به سرعت به جزء پر اهمیت تعداد زیادی از الگوریتم‎های تشخیص انجمن تبدیل شد. این معیار فرمولی برای محاسبه کیفیت تقسیم نودها به انجمنهای مختلف ارایه می‌کند که به دلیل ساده و …

ادامه نوشته »

مقایسه کاساندرا با پایگاه داده های غیر رابطه ای HBase, MongoDB, CouchDB, Neo4j

مقایسه کاساندرا با HBase, MongoDB, CouchDB, Neo4j

مقایسه کاساندرا با HBase, MongoDB, CouchDB, Neo4j در این مطالعه در دانشگاه Coimbra پایگاه داده‌های Neo4j، Cassandra، Hbase، MongoDB، OrientDB، و Redis مورد ارزیابی قرار گرفته‌اند. همچنین محققان دانشگاه تورنتو مطالعه‌ای در جهت بررسی عمکرد چندین پایگاه داده NoSQL یک سری آزمایش انجام داده اند که در این آزمایش‌ها برتری Cassandra نسبت به پایگاه داده …

ادامه نوشته »

درآمدی بر بانک های اطلاعاتی غیر رابطه ای (NoSql)

بانک های اطلاعاتی غیر رابطه ای

پایگاه داده های NoSQL ها در واقع همان بانک های اطلاعاتی غیر رابطه ای و توزیع شده هستند که لزوما برای نگهداری داده ها نیازی به ساختار جدول ندارد و میتواند به سادگی عملیات Replication را انجام دهد. البته ایده پایگاه داده NoSQL تقریبا بیش از ۱۰سال است که در محافل اینترنتی بوجود آمده است. این …

ادامه نوشته »