داده های حجیم (کلان داده)

اوضاع و آمار بیگ دیتا در سال 2019 در یک دقیقه در پست های قبل خواص بیگ دیتا را بررسی نمودیم. در این پست به آمار بیگ دیتا تولید شده در دنیا میپردزیم. حجم اطلاعاتی که تا سال ۲۰۰۳ توسط انسان ایجاد شد تنها ۵ اگزابایت است. امروزه این حجم از اطلاعات تنها در عرض …

معماری لامبدا تولید بی‌­وقفه داده­‌ها در دنیای امروز، نیاز به پایش لحظه­‌ای و سریع اطلاعات در کنار ذخیره آنها برای پردازش­های تحلیلی، ما را به سمت ساختاری هدایت می­کند که بتواند هر دو وجه از این نیازمندی یعنی پردازش جریان­‌های داده به صورت لحظه­‌ای و بدون تاخیر وپردازش­های انبوه و زمان‌مند را پاسخگو باشد. توییتر مثال خوبی از …

معماری بیگ دیتا یا معماري مرجع NBDRA براي كلان داده ها در شکل 1 نشان داده شده است. اين مدل توسط گروه كاري عمومي كلان داده  NBD-PWG مؤسسه ملي فناوري و استانداردها (NIST) كه يك گروه معتبر استانداردسازي در آمريكا است، ارائه شده است. اين مدل بعد از دريافت و مقايسه 9 معماري مرجع براي …

در این پست موارد زیر در رابطه با معیار خرید برای امنیت کلان داده ، بررسی خواهد شد. ▶▶ پرهیز از پیشنهادات امنیت ابرداده ای سطح پایین ▶▶ ایجاد یک چک لیست از معیار های خرید ▶▶ بفهمیم که در یک راه حل به دنبال چه باشیم همه ی راه حل های امنیتی کلان داده ها …

 در رابطه با مقایسه سه پایگاه داده معروف مبنی بر گراف  Neo4j و  OrientDB و Titan خصیصه های زیر مورد بررسی قرار گرفته است. هدف کلی این مقایسه بررسی کارایی آن ها است. خصیصه های زیر برای مقایسه انتخاب شده و هر کدام از آنها بر روی هر سه بانک اطلاعاتی بررسی شده و زمان …

یکی از موسسات مطرح در زمینه پشتیبانی از داده های حجیم، بنیاد آپاچی می باشد. لذا شناخت محصولات و تکنولوژی های نرم افزاری آپاچی بسیار لازم است. معمولا از مجموعه ی این تکنولوژی ها تحت عنوان اکوسیستم هدوپ یاد میشود. در این مبحث تکنولوژی های آپاچی بررسی خواهد. ActiveMQ این نرم افزار محبوب و قدرتمند …

در قسمت های پیشین با تئوری گراف و تئوری شبکه اجتماعی آشنا شدیم. در این قسمت به روشهای معمول که در پردازش گراف های بزرگ مورد استفاده قرار میگیرد میپردازیم. این موارد را برای این بررسی میکنیم تا در زمان بررسی ابزار ها و فناوری های پردازش گراف های بزرگ مانند گرافچی و تایتان با …

گرافچی (GraphChi) روشی برای پردازش و تحلیل گراف های بزرگ بر روی یک کامپیوتر است. این پروژه با سه زبان C, java و Scala بازنویسی شده است. که پروژه اصلی به زبان C است. سیستم های امروزی محاسبات بر روی گراف برای برخورد با  مسائل واقعی (Real World Problems)، نیاز به یک خوشه محاسبتی توزیع …

این روزها، توسعه­ دهندگان نرم ­افزار، شاهد ارز اندام مقتدرانه تکنولوژی کانتینرها هستند. در این بخش، ابتدا مجازی سازی مبتنی بر کانتینر و پیاده ­سازی های آن شرح داده می­شود و سپس، سکوی محبوب داکر (Docker) بصورت ویژه مورد توجه قرار می­گیرد تا بتوانیم با مفاهیم مجازی سازی با کانتینر داکر بیشتر آشنا شویم. در …

نصب و راه اندازی داکر Docker در مبحث معرفی داکر با این تکنولوژی آشنا شدیم حال به نحوع نصب و راه اندازی آن می پردازیم. این نوع مجازی‌سازی برخلاف مجازی‌سازی معمولی، سربار (Overhead) بسیار کمی دارد و برخلاف تکنیک chroot، دو سیستم‌عامل کاملا از هم جدا هستند و همدیگر را مثل دو ماشین مجزا در …

در این بخش به نحوه کار و پرسوجو با بانک اطلاعات مبتنی بر گراف Neo4j میپردازیم. بعد از اجرا Neo4j در ویندوز یا در سیستم عامل لینوکس، در کاوشگر خود آدرس http://localhost:7474 را وارد میکنیم تا رابط کاربری برنامه نمایش داده شود. برای کاربرانی که تازه میخواهند با آن کار کنند سندی جهت آشنایی با …

نحوه نصب و راه اندازی Neo4j همانطوره که در پست های قبل اشاره کردم neo4j یک پایگاه داده غیر رابطه ای مبتنی برگراف، برای انجام امور گراف کاوی و داده کاوی است. در این پست به روش نصب و راه اندازی Neo4j خواهیم پرداخت. Neo4j معروف­ترین DBMS متن باز گرافی است که کارایی و مستندسازی …

مقایسه کاساندرا با HBase, MongoDB, CouchDB, Neo4j در این مطالعه در دانشگاه Coimbra پایگاه داده‌های Neo4j، Cassandra، Hbase، MongoDB، OrientDB، و Redis مورد ارزیابی قرار گرفته‌اند. همچنین محققان دانشگاه تورنتو مطالعه‌ای در جهت بررسی عمکرد چندین پایگاه داده NoSQL یک سری آزمایش انجام داده اند که در این آزمایش‌ها برتری Cassandra نسبت به پایگاه داده …

پایگاه داده های NoSQL ها در واقع همان بانک های اطلاعاتی غیر رابطه ای و توزیع شده هستند که لزوما برای نگهداری داده ها نیازی به ساختار جدول ندارد و میتواند به سادگی عملیات Replication را انجام دهد. البته ایده پایگاه داده NoSQL تقریبا بیش از 1۰سال است که در محافل اینترنتی بوجود آمده است. این …

برای آشنایی با مدل داده‌ای کاساندرا، بهتر است از مفاهیم ساده و ابتدایی برای ذخیره‌سازی داده‌ها شروع شود. ساده‌ترین حالت ذخیره‌سازی داده‌ای با استفاده از یک آرایه یا لیست قابل پیاده‌سازی است. در این حالت، برای فهمیدن این‌که هر عنصر ذخیره کننده چیست، باید اسناد و دانشی درباره آن به‌صورت خارجی نگه‌داری شود. همچنین،  برای …