خانه بیگ دیتای ایران تحلیل شبکه های اجتماعی و متن کاوی

در قسمت های پیشین با تئوری گراف و تئوری شبکه اجتماعی آشنا شدیم. در این قسمت به روشهای معمول که در پردازش گراف های بزرگ مورد استفاده قرار میگیرد میپردازیم. این موارد را برای این بررسی میکنیم تا در زمان بررسی ابزار ها و فناوری های پردازش گراف های بزرگ مانند گرافچی و تایتان با …

گرافچی (GraphChi) روشی برای پردازش و تحلیل گراف های بزرگ بر روی یک کامپیوتر است. این پروژه با سه زبان C, java و Scala بازنویسی شده است. که پروژه اصلی به زبان C است. سیستم های امروزی محاسبات بر روی گراف برای برخورد با  مسائل واقعی (Real World Problems)، نیاز به یک خوشه محاسبتی توزیع …

بخشی عمده ای از مطالب این قسمت را از وبلاگ دوست محترمم آقای نعمت پور با کمی ا اصلاح و تغییر در این پست کپی نموده ام. نصب اسپارک در ویندوز: ۱٫ نصب جاوا-برای نصب اسپارک در ویندوز باید ابتدا نسخه ۷ یا ۸(ترجیحا) jdk-8u92-windows-x64.exe را نصب کنید. در صفحه http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html سایت اوراکل با پروکسی …

بخشی عمده ای از مطالب این قسمت را از وبلاگ دوست محترمم آقای نعمت پور با کمی ا اصلاح و تغییر در این پست کپی نموده ام.

 معماری اسپارک (Spark): این تکنولوژی، چارچوبی با کاربرد همه­ منظوره است و می­توان از آن برای انواع کاربردهای کلان داده، بخصوص شرایطی که سرعت عملیات از اهمیت ویژه­ ای برخوردار باشد، استفاده کرد. دو مثال از این کاربردها، تحلیل تعاملی و اجرای الگوریتم ­های پردازش تکراری است. در مبحث بعدی با نحوه کار با اسپارک …

در پست های قبل درباره پایگاه داده NOSQL کاساندرا مطالبی ارائه شد. در این پست به مشتریان کاساندرا و میزان محبوبیت آن میپردازیم. کاساندرا ابتدا در فیس بوک ایجاد شد. ترکیب Big Table  و Amazon Dynamo. کاساندرا در بدو تولید به منظور بهبود کارایی “Inbox Search” ایجاد شده بود. کاساندرا به عنوان یک پروژه منبع …

انواع ایندکس: از اندیس‌ها می‌توان برای بهبود عملکرد پایگاه‌داده استفاده کرد. اندیس‌ها به سرویس‌دهنده پایگاه‌داده اجازه می‌دهد تا سطرهای خاص را سریع‌تر از حالت بدون اندیس بیابد. در مباحث قبل به ایندکس معکوس و ایندکس ثانویه اشاره شده است. اکنون انواع اصلی که مبانی شاخص گذاری هستند مورد بررسی قرار میگیرد. انواع ایندکس های  متداول …

پایگاه داده های غیر رابطه ای مبتنی بر گراف یکی از انواع چهارگانه ی NOSQL ها هستند. در زیر ده عدد از بهترین پایگاه داده های مبتنی بر گراف رایگان بر ترتیب محبوبیت آورده شده است. البته دقت داشته باشید که برخی از این پایگاه داده های مبتنی بر گراف نسخه های غیر رایگان هم …

در بخش های قبل در رابطه با روش های ایندکس بر روی داده ها مطالبی ارائه شد و همچنین به بررسی انواع کلید ها  و  مدل ستون ها در کاساندرا پرداختیم در این مبحث به بررسی ایندکس ثانویه در کاساندرا خواهیم پرداخت. پیشنهاد می شود قبل از مطالعه این مطلب دو مبحث ذکر شده در …

کاساندرا تنوع خاص و منحصر به فردی از کلید ها را برای دسترسی به اطلاعات پایگاه داده استفاده میکند. انواع کلید در کاساندرا شامل موارد زیر است. پیشنهاد میشود برای درک بهتر این مطلب قبل از مطالعه این پست، مبحث مربوط به مدل داده در کاساندرا مطالعه شود. کلید اصلی کلید اصلی ساده کلید پارتیشن …

ویژگی ACID چیست؟ چهار ویژگی اصلی در پایگاه داده که کمک میکند دستورات تراکنش به طور کامل، جامع و بدون تاثیر مخرب بر روی تراکنش ها دیگر و انجام و حفظ شود. تراکنش یک مجموعه ای از عملیات مانند SELECT، UPDATE و… است که به صورت واحد دیده می شود. تراکنش ها در یک پایگاه …

یک نوع از این پایگاه داده های NOSQL، پایگاه داده های گراف محور یا Graph Based هستند. در مطالب گذشته انواع پایگاه داده های NOSQL را بررسی کردیم. در این مبحث به مقایسه OrientDB با Neo4j می پردازیم. از معروف ترین این دیتابیس ها میشه به NEO4j و OrientDB اشاره کرد. البته OrientDB که هم …

در بخش های قبلی به آموزش گفی پرداختیم در مبحث به مقایسه Gephi با Cytoscape خواهیم پرداخت و تونایی این دو ابزار مطرح در تحلیل شبکه های اجتماعی و گراف کاوی را مورد بررسی قرار می دهیم. Cytoscape : ابزاری برای تحلیل و بازنمایی تمام انواع شبکه‌های پیچیده است. نرم افزاری شناخته شده در بیوانفورماتیک. …

این روزها، توسعه­ دهندگان نرم ­افزار، شاهد ارز اندام مقتدرانه تکنولوژی کانتینرها هستند. در این بخش، ابتدا مجازی سازی مبتنی بر کانتینر و پیاده ­سازی های آن شرح داده می­شود و سپس، سکوی محبوب داکر (Docker) بصورت ویژه مورد توجه قرار می­گیرد تا بتوانیم با مفاهیم مجازی سازی با کانتینر داکر بیشتر آشنا شویم. در …

نصب و راه اندازی داکر Docker در مبحث معرفی داکر با این تکنولوژی آشنا شدیم حال به نحوع نصب و راه اندازی آن می پردازیم. این نوع مجازی‌سازی برخلاف مجازی‌سازی معمولی، سربار (Overhead) بسیار کمی دارد و برخلاف تکنیک chroot، دو سیستم‌عامل کاملا از هم جدا هستند و همدیگر را مثل دو ماشین مجزا در …