خانه بیگ دیتا تحلیل شبکه های اجتماعی، متن کاوی، داده کاوی، اوسینت و داده های حجیم

در قسمت های قبل روشهای شاخص گذاری بر روی داده ها را بررسی نمودیم. اکنون در بخش ایندکس معکوس (inverted index) مورد مطالعه قرار میدهیم. شاخص­ گذاري معکوس، يک مکانيزم مبتني بر کلمه است که براي جستجوي سريع اسناد شامل يک کلمه­ خاص به کار …

یکی از موسسات مطرح در زمینه پشتیبانی از داده های حجیم، بنیاد آپاچی می باشد. لذا شناخت محصولات و تکنولوژی های نرم افزاری آپاچی بسیار لازم است. معمولا از مجموعه ی این تکنولوژی ها تحت عنوان اکوسیستم هدوپ یاد میشود. در این مبحث تکنولوژی …

در قسمت های پیشین با تئوری گراف و تئوری شبکه اجتماعی آشنا شدیم. در این قسمت به روشهای معمول که در پردازش گراف های بزرگ مورد استفاده قرار میگیرد میپردازیم. این موارد را برای این بررسی میکنیم تا در زمان بررسی ابزار ها و …

گرافچی (GraphChi) روشی برای پردازش و تحلیل گراف های بزرگ بر روی یک کامپیوتر است. این پروژه با سه زبان C, java و Scala بازنویسی شده است. که پروژه اصلی به زبان C است. سیستم های امروزی محاسبات بر روی گراف برای برخورد با  …

بخشی عمده ای از مطالب این قسمت را از وبلاگ دوست محترمم آقای نعمت پور با کمی ا اصلاح و تغییر در این پست کپی نموده ام. نصب اسپارک در ویندوز: 1. نصب جاوا-برای نصب اسپارک در ویندوز باید ابتدا نسخه 7 یا 8(ترجیحا) …

بخشی عمده ای از مطالب این قسمت را از وبلاگ دوست محترمم آقای نعمت پور با کمی ا اصلاح و تغییر در این پست کپی نموده ام. بازدیدها: 2763

 معماری اسپارک (Spark): این تکنولوژی، چارچوبی با کاربرد همه­ منظوره است و می­توان از آن برای انواع کاربردهای کلان داده، بخصوص شرایطی که سرعت عملیات از اهمیت ویژه­ ای برخوردار باشد، استفاده کرد. دو مثال از این کاربردها، تحلیل تعاملی و اجرای الگوریتم ­های …

در پست های قبل درباره پایگاه داده NOSQL کاساندرا مطالبی ارائه شد. در این پست به مشتریان کاساندرا و میزان محبوبیت آن میپردازیم. کاساندرا ابتدا در فیس بوک ایجاد شد. ترکیب Big Table  و Amazon Dynamo. کاساندرا در بدو تولید به منظور بهبود کارایی …

انواع ایندکس: از اندیس‌ها می‌توان برای بهبود عملکرد پایگاه‌داده استفاده کرد. اندیس‌ها به سرویس‌دهنده پایگاه‌داده اجازه می‌دهد تا سطرهای خاص را سریع‌تر از حالت بدون اندیس بیابد. در مباحث قبل به ایندکس معکوس و ایندکس ثانویه اشاره شده است. اکنون انواع اصلی که مبانی …

پایگاه داده های غیر رابطه ای مبتنی بر گراف یکی از انواع چهارگانه ی NOSQL ها هستند. در زیر ده عدد از بهترین پایگاه داده های مبتنی بر گراف رایگان بر ترتیب محبوبیت آورده شده است. البته دقت داشته باشید که برخی از این …

در بخش های قبل در رابطه با روش های ایندکس بر روی داده ها مطالبی ارائه شد و همچنین به بررسی انواع کلید ها  و  مدل ستون ها در کاساندرا پرداختیم در این مبحث به بررسی ایندکس ثانویه در کاساندرا خواهیم پرداخت. پیشنهاد می …

کاساندرا تنوع خاص و منحصر به فردی از کلید ها را برای دسترسی به اطلاعات پایگاه داده استفاده میکند. انواع کلید در کاساندرا شامل موارد زیر است. پیشنهاد میشود برای درک بهتر این مطلب قبل از مطالعه این پست، مبحث مربوط به مدل داده …

ویژگی ACID چیست؟ چهار ویژگی اصلی در پایگاه داده که کمک میکند دستورات تراکنش به طور کامل، جامع و بدون تاثیر مخرب بر روی تراکنش ها دیگر و انجام و حفظ شود. تراکنش یک مجموعه ای از عملیات مانند SELECT، UPDATE و… است که …

مقدمه ای بر گراف دیتابیس یک نوع از این پایگاه داده های NOSQL، پایگاه داده های گراف محور یا Graph Based هستند. در مطالب گذشته انواع پایگاه داده های NOSQL را بررسی کردیم. در این مبحث به مقایسه OrientDB با Neo4j می پردازیم. از …

در بخش های قبلی به آموزش گفی پرداختیم در مبحث به مقایسه Gephi با Cytoscape خواهیم پرداخت و تونایی این دو ابزار مطرح در تحلیل شبکه های اجتماعی و گراف کاوی را مورد بررسی قرار می دهیم. Cytoscape : ابزاری برای تحلیل و بازنمایی …

این روزها، توسعه­ دهندگان نرم ­افزار، شاهد ارز اندام مقتدرانه تکنولوژی کانتینرها هستند. در این بخش، ابتدا مجازی سازی مبتنی بر کانتینر و پیاده ­سازی های آن شرح داده می­شود و سپس، سکوی محبوب داکر (Docker) بصورت ویژه مورد توجه قرار می­گیرد تا بتوانیم …

داکر یک ابزار اوپن سورس برای طراحی و ساخت برنامه‌ها به کمک Container است. Container به برنامه نویس کمک می‌کند که پروژه خود را با تمام بخش هایی که دارد (مثل کتابخانه ها، وابستگی‌ها و غیره) به صورت یک پکیج دربیاورد. به لطف این …

معرفی داکر داکر (Docker) یک پروژه متن‌باز است که فرایند استقرار نرم‌افزارها و سرویس‌ها رو با معرفی مفهوم “Container”ها سرعت می‌بخشد. داکر  پروژهٔ متن‌بازی است که توسعه های نرم‌افزارهای کاربردی را درون کانتینر نرم‌افزاری به وسیلهٔ فراهم کردن لایهٔ انتزاعی اضافه‌ای فراهم می‌کند.بعضی از …

در این بخش به نحوه کار و پرسوجو با بانک اطلاعات مبتنی بر گراف Neo4j میپردازیم. بعد از اجرا Neo4j در ویندوز یا در سیستم عامل لینوکس، در کاوشگر خود آدرس http://localhost:7474 را وارد میکنیم تا رابط کاربری برنامه نمایش داده شود. برای کاربرانی …

Neo4j معروف­ترین DBMS متن باز گرافی است که کارایی و مستندسازی بسیار خوب و جامعه کاربران بسیار فعالی دارد. برای پرس­و­جو از گراف­های Neo4j، می­توان توسط زبان پرس­وجوی امری cypher استفاده کرد. در Neo4j، مقایس­پذیری افقی عمل خواندن توسط روش تکثیر ارباب-برده، صورت می­گیرد، …