داده های حجیم (کلان داده)

معماری لامبدا تولید بی‌­وقفه داده­‌ها در دنیای امروز، نیاز به پایش لحظه­‌ای و سریع اطلاعات در کنار ذخیره آنها برای پردازش­های تحلیلی، ما را به سمت ساختاری هدایت می­کند که بتواند هر دو وجه از این نیازمندی یعنی پردازش جریان­‌های داده به صورت لحظه­‌ای و بدون تاخیر وپردازش­های انبوه و زمان‌مند را پاسخگو باشد. توییتر مثال خوبی از …

معماری بیگ دیتا یا معماری مرجع NBDRA برای کلان داده ها در شکل ۱ نشان داده شده است. این مدل توسط گروه کاری عمومی کلان داده  NBD-PWG مؤسسه ملی فناوری و استانداردها (NIST) که یک گروه معتبر استانداردسازی در آمریکا است، ارائه شده است. این مدل بعد از دریافت و مقایسه ۹ معماری مرجع برای …

در این پست موارد زیر در رابطه با معیار خرید برای امنیت کلان داده ، بررسی خواهد شد. ▶▶ پرهیز از پیشنهادات امنیت ابرداده ای سطح پایین ▶▶ ایجاد یک چک لیست از معیار های خرید ▶▶ بفهمیم که در یک راه حل به دنبال چه باشیم همه ی راه حل های امنیتی کلان داده ها …

اوضاع و آمار بیگ دیتا در سال ۲۰۱۷ در یک دقیقه در پست های قبل خواص بیگ دیتا را بررسی نمودیم. در این پست به آمار بیگ دیتا تولید شده در دنیا میپردزیم. حجم اطلاعاتی که تا سال ۲۰۰۳ توسط انسان ایجاد شد تنها ۵ اگزابایت است. امروزه این حجم از اطلاعات تنها در عرض …

 در رابطه با مقایسه سه پایگاه داده معروف مبنی بر گراف  Neo4j و  OrientDB و Titan خصیصه های زیر مورد بررسی قرار گرفته است. هدف کلی این مقایسه بررسی کارایی آن ها است. خصیصه های زیv برای مقایسه انتخاب شده و هر کدام از آنها بر روی هر سه بانک اطلاعاتی بررسی شده و زمان …

یکی از موسسات مطرح در زمینه پشتیبانی از داده های حجیم، بنیاد آپاچی می باشد. لذا شناخت محصولات و تکنولوژی های نرم افزاری آپاچی بسیار لازم است. معمولا از مجموعه ی این تکنولوژی ها تحت عنوان اکوسیستم هدوپ یاد میشود. در این مبحث تکنولوژی های آپاچی بررسی خواهد. ActiveMQ این نرم افزار محبوب و قدرتمند …

در قسمت های پیشین با تئوری گراف و تئوری شبکه اجتماعی آشنا شدیم. در این قسمت به روشهای معمول که در پردازش گراف های بزرگ مورد استفاده قرار میگیرد میپردازیم. این موارد را برای این بررسی میکنیم تا در زمان بررسی ابزار ها و فناوری های پردازش گراف های بزرگ مانند گرافچی و تایتان با …

گرافچی (GraphChi) روشی برای پردازش و تحلیل گراف های بزرگ بر روی یک کامپیوتر است. این پروژه با سه زبان C, java و Scala بازنویسی شده است. که پروژه اصلی به زبان C است. سیستم های امروزی محاسبات بر روی گراف برای برخورد با  مسائل واقعی (Real World Problems)، نیاز به یک خوشه محاسبتی توزیع …

این روزها، توسعه­ دهندگان نرم ­افزار، شاهد ارز اندام مقتدرانه تکنولوژی کانتینرها هستند. در این بخش، ابتدا مجازی سازی مبتنی بر کانتینر و پیاده ­سازی های آن شرح داده می­شود و سپس، سکوی محبوب داکر (Docker) بصورت ویژه مورد توجه قرار می­گیرد تا بتوانیم با مفاهیم مجازی سازی با کانتینر داکر بیشتر آشنا شویم. در …

نصب و راه اندازی داکر Docker در مبحث معرفی داکر با این تکنولوژی آشنا شدیم حال به نحوع نصب و راه اندازی آن می پردازیم. این نوع مجازی‌سازی برخلاف مجازی‌سازی معمولی، سربار (Overhead) بسیار کمی دارد و برخلاف تکنیک chroot، دو سیستم‌عامل کاملا از هم جدا هستند و همدیگر را مثل دو ماشین مجزا در …

در این بخش به نحوه کار و پرسوجو با بانک اطلاعات مبتنی بر گراف Neo4j میپردازیم. بعد از اجرا Neo4j در ویندوز یا در سیستم عامل لینوکس، در کاوشگر خود آدرس http://localhost:7474 را وارد میکنیم تا رابط کاربری برنامه نمایش داده شود. برای کاربرانی که تازه میخواهند با آن کار کنند سندی جهت آشنایی با …

نحوه نصب و راه اندازی Neo4j همانطوره که در پست های قبل اشاره کردم neo4j یک پایگاه داده غیر رابطه ای مبتنی برگراف، برای انجام امور گراف کاوی و داده کاوی است. در این پست به روش نصب و راه اندازی Neo4j خواهیم پرداخت. Neo4j معروف­ترین DBMS متن باز گرافی است که کارایی و مستندسازی …

پیمانگی Louvain جهت خوشه بندی: پیمانگی (modularity) ابتدا به عنوان معیاری جهت تعیین مرحله توقف الگوریتم گیروان و نیومن مورد توجه بود، ولی به سرعت به جزء پر اهمیت تعداد زیادی از الگوریتم‎های تشخیص انجمن تبدیل شد. این معیار فرمولی برای محاسبه کیفیت تقسیم نودها به انجمنهای مختلف ارایه می‌کند که به دلیل ساده و …

مقایسه کاساندرا با HBase, MongoDB, CouchDB, Neo4j در این مطالعه در دانشگاه Coimbra پایگاه داده‌های Neo4j، Cassandra، Hbase، MongoDB، OrientDB، و Redis مورد ارزیابی قرار گرفته‌اند. همچنین محققان دانشگاه تورنتو مطالعه‌ای در جهت بررسی عمکرد چندین پایگاه داده NoSQL یک سری آزمایش انجام داده اند که در این آزمایش‌ها برتری Cassandra نسبت به پایگاه داده …

پایگاه داده های NoSQL ها در واقع همان بانک های اطلاعاتی غیر رابطه ای و توزیع شده هستند که لزوما برای نگهداری داده ها نیازی به ساختار جدول ندارد و میتواند به سادگی عملیات Replication را انجام دهد. البته ایده پایگاه داده NoSQL تقریبا بیش از ۱۰سال است که در محافل اینترنتی بوجود آمده است. این …