بسترهای پردازش توزیع شده

بسترهای پردازش توزیع شده
پردازش موازی
پردازش دسته ای
پردازش جریانی

آموزش کامل پلتفرم کلودرا (Cloudera) در هدوپ با رویکرد ساده سازی بیگ دیتا

کلودرا در هدوپ

 هدوپ یک پروژه مبتنی بر برنامه نویسی متن باز است که توسط سازمان نرم افزاری آپاچی ایجاد شده است. ایده اولیه هدوپ اولین بار در شرکت گوگل رقم خورد اما خیلی ها باور به پیاده سازی این سیستم نداشتن و در چند سال اول …

ادامه مطلب

معرفی DataStax پلتفرمی برای بیگ دیتا و داده کاوی

DataStax چیست؟

معرفی DataStax: شرکت دیتا استکس،  یک فروشنده نرم افزار های مدیریت داده است و با محصولات پایگاه داده RDBMS از اوراکل رقابت می کند. کارکنان DataStax همکاری کلیدی با پروژه آپاچی کاساندرا منبع باز دارند. این شرکت دارای بیش از 400 کارمند و دفاتر …

ادامه مطلب

پروتکل Gossip یا پروتکل شایعه روشی برای سازگاری سرویس دهنده ها

پروتکل Gossip

پروتکل Gossip یا پروتکل شایعه به منظور ارتباط بین ماشین هایی که در کلاستر های مختلف در حال سرویس دهی هستند بکار می رود به جهت اینکه سرویس دهنده ها آخرین وضعیت خود را به دیگران اطلاع دهند و همچنین از آخرین وضعیت دیگر …

ادامه مطلب

WSO2 چیست؟

معرفی WSO2

معرفی WSO2  این فناوری یک تکنولوژی متن باز و میان ابزاری (Middle ware) با زبان جاوا است. این تکنولوژی به صورت یک چهار چوب کاری (Frame Work) و مبتنی بر میکرو سرویس (WSO2 MSF4J) است. WSO2 پلتفرمی برای توسعه نرم افزار های جدید می …

ادامه مطلب

معرفی اکتیو ام کیو (ActiveMQ) و مرورری بر قابلیت های آن

اکتیو ام کیو (ActiveMQ)

ActiveMQ، این نرم افزار محبوب و قدرتمند یک سیستم کدباز پیام رسانی و سرویس دهنده تجمیع کننده الگوها می باشد که میتواند گزینه ای بسیار مناسب، در کنار سایر محصولات  آپاچی باشد. پیام رسان یک نرم افزارمعماری پس ضمینه برای اعتبارسنجی پیام ،ارسال پیام …

ادامه مطلب

کارگزار یا واسط های پیام (Message Broker)

کارگزار یا واسط های پیام (Message Broker)

واسطه های پیام یا Message Broker برنامه های واسطی هستند که کار ترجمه از یک زبان جهانی قابل قبول را در یک سیستم به یک سیستم ارتباطی از راه دور را انجام میدهند. واسطه پیام یک نرم افزارمعماری پس ضمینه برای اعتبارسنجی پیام ،ارسال …

ادامه مطلب

مقایسه Neo4j با OrientDB با Titan

مقایسه Neo4j با OrientDB با Titan

 در رابطه با مقایسه سه پایگاه داده معروف مبنی بر گراف  Neo4j و  OrientDB و Titan خصیصه های زیر مورد بررسی قرار گرفته است. هدف کلی این مقایسه بررسی کارایی آن ها است. خصیصه های زیر برای مقایسه انتخاب شده و هر کدام از …

ادامه مطلب

محصولات و تکنولوژی های آپاچی (Apache) در حوزه کلان داده و داده کاوی

تکنولوژی های آپاچی

یکی از موسسات مطرح در زمینه پشتیبانی از داده های حجیم، بنیاد آپاچی می باشد. لذا شناخت محصولات و تکنولوژی های نرم افزاری آپاچی بسیار لازم است. معمولا از مجموعه ی این تکنولوژی ها تحت عنوان اکوسیستم هدوپ یاد میشود. در این مبحث تکنولوژی …

ادامه مطلب

روش تحلیل و پردازش گراف های بزرگ

پردازش گراف های بزرگ با مپ ردیوس

در قسمت های پیشین با تئوری گراف و تئوری شبکه اجتماعی آشنا شدیم. در این قسمت به روشهای معمول که در پردازش گراف های بزرگ مورد استفاده قرار میگیرد میپردازیم. این موارد را برای این بررسی میکنیم تا در زمان بررسی ابزار ها و …

ادامه مطلب

درآمدی بر اسپارک (Spark) و بررسی معماری و اجزای آن

آپاچی اسپارک

 معماری اسپارک (Spark): این تکنولوژی، چارچوبی با کاربرد همه­ منظوره است و می­توان از آن برای انواع کاربردهای کلان داده، بخصوص شرایطی که سرعت عملیات از اهمیت ویژه­ ای برخوردار باشد، استفاده کرد. دو مثال از این کاربردها، تحلیل تعاملی و اجرای الگوریتم ­های …

ادامه مطلب

مقایسه OrientDB با Neo4j

مقایسه OrientDB با Neo4j

مقدمه ای بر گراف دیتابیس یک نوع از این پایگاه داده های NOSQL، پایگاه داده های گراف محور یا Graph Based هستند. در مطالب گذشته انواع پایگاه داده های NOSQL را بررسی کردیم. در این مبحث به مقایسه OrientDB با Neo4j می پردازیم. از …

ادامه مطلب

مقایسه داکر (Docker) با VServer و OpenVZ و LXC

مجازی سازی با کانتینر داکر

این روزها، توسعه­ دهندگان نرم ­افزار، شاهد ارز اندام مقتدرانه تکنولوژی کانتینرها هستند. در این بخش، ابتدا مجازی سازی مبتنی بر کانتینر و پیاده ­سازی های آن شرح داده می­شود و سپس، سکوی محبوب داکر (Docker) بصورت ویژه مورد توجه قرار می­گیرد تا بتوانیم …

ادامه مطلب

آموزش کامل نصب و راه اندازی و پیکربندی داکر (Docker) در ویندوز و لینوکس

لایه های داکر

داکر یک ابزار اوپن سورس برای طراحی و ساخت برنامه‌ها به کمک Container است. Container به برنامه نویس کمک می‌کند که پروژه خود را با تمام بخش هایی که دارد (مثل کتابخانه ها، وابستگی‌ها و غیره) به صورت یک پکیج دربیاورد. به لطف این …

ادامه مطلب

مرور و بررسی داکر (Docker) پلت فرم اجرای نرم افزارهای توزیع شده با بهره گیری از ایده کانتینر ها

داکر

معرفی داکر داکر (Docker) یک پروژه متن‌باز است که فرایند استقرار نرم‌افزارها و سرویس‌ها رو با معرفی مفهوم “Container”ها سرعت می‌بخشد. داکر  پروژهٔ متن‌بازی است که توسعه های نرم‌افزارهای کاربردی را درون کانتینر نرم‌افزاری به وسیلهٔ فراهم کردن لایهٔ انتزاعی اضافه‌ای فراهم می‌کند.بعضی از …

ادامه مطلب

نحوه کار و پرسوجو با Neo4j

neo4j GUI

در این بخش به نحوه کار و پرسوجو با بانک اطلاعات مبتنی بر گراف Neo4j میپردازیم. بعد از اجرا Neo4j در ویندوز یا در سیستم عامل لینوکس، در کاوشگر خود آدرس http://localhost:7474 را وارد میکنیم تا رابط کاربری برنامه نمایش داده شود. برای کاربرانی …

ادامه مطلب

معیار ماژولاریتیmodularity یا پیمانگی با روش Louvain جهت خوشه بندی گراف

ماژولاریتی

پیمانگی Louvain جهت خوشه بندی: پیمانگی (modularity) ابتدا به عنوان معیاری جهت تعیین مرحله توقف الگوریتم گیروان و نیومن مورد توجه بود، ولی به سرعت به جزء پر اهمیت تعداد زیادی از الگوریتم‎های تشخیص انجمن تبدیل شد. این معیار فرمولی برای محاسبه کیفیت تقسیم …

ادامه مطلب

گروه تلگرامی اوسینت

مطالب مفید در حوزه بیگ دیتا و تحلیل شبکه های اجتماعی

ورود
انصراف