روش تحلیل و پردازش گراف های بزرگ

پردازش گراف های بزرگ با مپ ردیوس

در قسمت های پیشین با تئوری گراف و تئوری شبکه اجتماعی آشنا شدیم. در این قسمت به روشهای معمول که در پردازش گراف های بزرگ مورد استفاده قرار میگیرد میپردازیم. این موارد را برای این بررسی میکنیم تا در زمان بررسی ابزار ها و فناوری های پردازش گراف های بزرگ مانند گرافچی و تایتان با …

ادامه نوشته »

گرافچی (GraphChi) روشی برای پردازش و تحلیل گرافهای بزرگ

گرافچی (GraphChi)

گرافچی (GraphChi) روشی برای پردازش و تحلیل گراف های بزرگ بر روی یک کامپیوتر است. این پروژه با سه زبان C, java و Scala بازنویسی شده است. که پروژه اصلی به زبان C است. سیستم های امروزی محاسبات بر روی گراف برای برخورد با  مسائل واقعی (Real World Problems)، نیاز به یک خوشه محاسبتی توزیع …

ادامه نوشته »

نصب، راه اندازی و پیکربندی اسپارک (Spark) در ویندوز

نصب اسپارک در ویندوز

بخشی عمده ای از مطالب این قسمت را از وبلاگ دوست محترمم آقای نعمت پور با کمی ا اصلاح و تغییر در این پست کپی نموده ام. نصب اسپارک در ویندوز: ۱٫ نصب جاوا-برای نصب اسپارک در ویندوز باید ابتدا نسخه ۷ یا ۸(ترجیحا) jdk-8u92-windows-x64.exe را نصب کنید. در صفحه http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html سایت اوراکل با پروکسی …

ادامه نوشته »

درآمدی بر اسپارک (Spark) و بررسی معماری آن

آپاچی اسپارک

 معماری اسپارک (Spark): این تکنولوژی، چارچوبی با کاربرد همه­ منظوره است و می­توان از آن برای انواع کاربردهای کلان داده، بخصوص شرایطی که سرعت عملیات از اهمیت ویژه­ ای برخوردار باشد، استفاده کرد. دو مثال از این کاربردها، تحلیل تعاملی و اجرای الگوریتم ­های پردازش تکراری است. در مبحث بعدی با نحوه کار با اسپارک …

ادامه نوشته »

میزان رشد مشتریان و محبوبیت کاساندرا (Cassandra)

Allow Filtering در پایگاه داده ی کاساندرا

در پست های قبل درباره پایگاه داده NOSQL کاساندرا مطالبی ارائه شد. در این پست به مشتریان کاساندرا و میزان محبوبیت آن میپردازیم. کاساندرا ابتدا در فیس بوک ایجاد شد. ترکیب Big Table  و Amazon Dynamo. کاساندرا در بدو تولید به منظور بهبود کارایی “Inbox Search” ایجاد شده بود. کاساندرا به عنوان یک پروژه منبع …

ادامه نوشته »

انواع ایندکس یا اندیس در پایگاه داده (Index)

انواع ایندکس

انواع ایندکس: از اندیس‌ها می‌توان برای بهبود عملکرد پایگاه‌داده استفاده کرد. اندیس‌ها به سرویس‌دهنده پایگاه‌داده اجازه می‌دهد تا سطرهای خاص را سریع‌تر از حالت بدون اندیس بیابد. در مباحث قبل به ایندکس معکوس و ایندکس ثانویه اشاره شده است. اکنون انواع اصلی که مبانی شاخص گذاری هستند مورد بررسی قرار میگیرد. انواع ایندکس های  متداول …

ادامه نوشته »

بهترین پایگاه داده های مبتنی بر گراف رایگان

بهترین پایگاه داده های مبتنی بر گراف

پایگاه داده های غیر رابطه ای مبتنی بر گراف یکی از انواع چهارگانه ی NOSQL ها هستند. در زیر ده عدد از بهترین پایگاه داده های مبتنی بر گراف رایگان بر ترتیب محبوبیت آورده شده است. البته دقت داشته باشید که برخی از این پایگاه داده های مبتنی بر گراف نسخه های غیر رایگان هم …

ادامه نوشته »

ایندکس ثانویه در کاساندرا (شاخص گذاری)

ایندکس ثانویه در کاساندرا

در بخش های قبل در رابطه با روش های ایندکس بر روی داده ها مطالبی ارائه شد و همچنین به بررسی انواع کلید ها  و  مدل ستون ها در کاساندرا پرداختیم در این مبحث به بررسی ایندکس ثانویه در کاساندرا خواهیم پرداخت. پیشنهاد می شود قبل از مطالعه این مطلب دو مبحث ذکر شده در …

ادامه نوشته »

انواع کلید در کاساندرا

انواع کلید در کاساندرا

کاساندرا تنوع خاص و منحصر به فردی از کلید ها را برای دسترسی به اطلاعات پایگاه داده استفاده میکند. انواع کلید در کاساندرا شامل موارد زیر است. پیشنهاد میشود برای درک بهتر این مطلب قبل از مطالعه این پست، مبحث مربوط به مدل داده در کاساندرا مطالعه شود. کلید اصلی کلید اصلی ساده کلید پارتیشن …

ادامه نوشته »

ویژگی ACID و BASE در پایگاه داده چیست؟

ACID

ویژگی ACID چیست؟ چهار ویژگی اصلی در پایگاه داده که کمک میکند دستورات تراکنش به طور کامل، جامع و بدون تاثیر مخرب بر روی تراکنش ها دیگر و انجام و حفظ شود. تراکنش یک مجموعه ای از عملیات مانند SELECT، UPDATE و… است که به صورت واحد دیده می شود. تراکنش ها در یک پایگاه …

ادامه نوشته »

مقایسه OrientDB با Neo4j

مقایسه OrientDB با Neo4j

یک نوع از این پایگاه داده های NOSQL، پایگاه داده های گراف محور یا Graph Based هستند. در مطالب گذشته انواع پایگاه داده های NOSQL را بررسی کردیم. در این مبحث به مقایسه OrientDB با Neo4j می پردازیم. از معروف ترین این دیتابیس ها میشه به NEO4j و OrientDB اشاره کرد. البته OrientDB که هم …

ادامه نوشته »

مقایسه گفی (Gephi) با سایتو اسکایپ (Cytoscape)

مقایسه Gephi با Cytoscape

در بخش های قبلی به آموزش گفی پرداختیم در مبحث به مقایسه Gephi با Cytoscape خواهیم پرداخت و تونایی این دو ابزار مطرح در تحلیل شبکه های اجتماعی و گراف کاوی را مورد بررسی قرار می دهیم. Cytoscape : ابزاری برای تحلیل و بازنمایی تمام انواع شبکه‌های پیچیده است. نرم افزاری شناخته شده در بیوانفورماتیک. …

ادامه نوشته »

مقایسه داکر (Docker) با VServer و OpenVZ و LXC

مجازی سازی با کانتینر داکر

این روزها، توسعه­ دهندگان نرم ­افزار، شاهد ارز اندام مقتدرانه تکنولوژی کانتینرها هستند. در این بخش، ابتدا مجازی سازی مبتنی بر کانتینر و پیاده ­سازی های آن شرح داده می­شود و سپس، سکوی محبوب داکر (Docker) بصورت ویژه مورد توجه قرار می­گیرد تا بتوانیم با مفاهیم مجازی سازی با کانتینر داکر بیشتر آشنا شویم. در …

ادامه نوشته »

نصب و راه اندازی و پیکربندی داکر (Docker)

لایه های داکر

نصب و راه اندازی داکر Docker در مبحث معرفی داکر با این تکنولوژی آشنا شدیم حال به نحوع نصب و راه اندازی آن می پردازیم. این نوع مجازی‌سازی برخلاف مجازی‌سازی معمولی، سربار (Overhead) بسیار کمی دارد و برخلاف تکنیک chroot، دو سیستم‌عامل کاملا از هم جدا هستند و همدیگر را مثل دو ماشین مجزا در …

ادامه نوشته »