اوضاع و آمار بیگ دیتا در سال ۲۰۱۷

آمار بیگ دیتا

اوضاع و آمار بیگ دیتا در سال ۲۰۱۷ در یک دقیقه در پست های قبل خواص بیگ دیتا را بررسی نمودیم. در این پست به آمار بیگ دیتا تولید شده در دنیا میپردزیم. حجم اطلاعاتی که تا سال ۲۰۰۳ توسط انسان ایجاد شد تنها ۵ اگزابایت است. امروزه این حجم ...

ادامه مطلب

اصطلاحات علمی در حوزه تحلیل شبکه های اجتماعی(terminology)

اصطلاحات علمی تحلیل شبکه های اجتماعی

اصطلاحات علمی تحلیل شبکه های اجتماعی: ظهور و شناسایی شبکه‌های مختلف در پیرامون ما، از شبکه‌ی ژن‌هایی که خصوصیاتمان را تعیین می‌کنند تا شبکه‌های اجتماعی برخط که بیشترین بازدیدکنندگان در اینترنت را به خود اختصاص داده‌اند، منجر به نام‌گذاری این عصر به عصر شبکه‌ها گردیده است. با وجود تفاوت بسیار ...

ادامه مطلب

مقایسه وب سرویس های RESTful و SOAP

وب سرویس RESTful و SOAP

هر چند که وب سرویس RESTful و SOAP مستقیما با موضع کلان داده ارتباطی ندارد ولی از آنجایی که برخی از تکنولوژی های کلان داده از این وب سرویس ها پشتیبانی میکنند، در این مبحث به توضیح آن میپردازیم. تفاوت وب سرویس RESTful و SOAP قبل از مقایسه و بررسی ...

ادامه مطلب

WSO2 چیست؟

معرفی WSO2

معرفی WSO2 : این فناوری یک تکنولوژی متن باز و میان ابزاری (Middle ware) با زبان جاوا است. این تکنولوژی به صورت یک چهار چوب کاری (Frame Work) و مبتنی بر میکرو سرویس (WSO2 MSF4J) است. WSO2 پلتفرمی برای توسعه نرم افزار های جدید می باشد. این تکنولوژی در مارس ...

ادامه مطلب

معرفی کافکا (Kafka)

کافکا

آپاچی کافکا پلت فرم متن باز پردازش جریانی توسعه یافته که توسط بنیاد نرم افزار آپاچی نوشته شده و با اسکالا و جاوا است. این پروژه با هدف ارائه یک پلت فرم پر توان، با زمان تاخیر کم واحد و یکپارچه برای دست کاری اطلاعات ورودی به آن در زمان ...

ادامه مطلب

سیستم پیام رسان جاوا (JMS) چیست؟

سیستم پیام رسان جاوا (JMS)

سیستم پیام رسان جاوا (JMS) : روال اصلی در یک کارگزار پیام مثل JMS  و همانند محصول ActiveMQ فراهم نمودن زیر ساخت لازم برای ارتباط با نرم افزار ایستگاه کاری می باشد. برای مثال connectors ، یک مکانیزم ارتباطی هستند که به وسیله آن  فراهم کننده ارتباط  ایستگاه کاری –به ...

ادامه مطلب

معرفی اکتیو ام کیو (ActiveMQ) و مرورری بر قابلیت های آن

ActiveMQ، این نرم افزار محبوب و قدرتمند یک سیستم کدباز پیام رسانی و سرویس دهنده تجمیع کننده الگوها می باشد که میتواند گزینه ای بسیار مناسب، در کنار سایر محصولات  آپاچی باشد. پیام رسان یک نرم افزارمعماری پس ضمینه برای اعتبارسنجی پیام ،ارسال پیام و مسیریابی پیام می باشد. این ...

ادامه مطلب

کارگزار یا واسط های پیام (Message Broker)

کارگزار یا واسط های پیام (Message Broker)

واسطه های پیام یا Message Broker برنامه های واسطی هستند که کار ترجمه از یک زبان جهانی قابل قبول را در یک سیستم به یک سیستم ارتباطی از راه دور را انجام میدهند. واسطه پیام یک نرم افزارمعماری پس ضمینه برای اعتبارسنجی پیام ،ارسال پیام و مسیریابی پیام می باشد ...

ادامه مطلب

مقایسه Neo4j با OrientDB با Titan

مقایسه Neo4j با OrientDB با Titan

 در رابطه با مقایسه سه پایگاه داده معروف مبنی بر گراف  Neo4j و  OrientDB و Titan خصیصه های زیر مورد بررسی قرار گرفته است. هدف کلی این مقایسه بررسی کارایی آن ها است. خصیصه های زیv برای مقایسه انتخاب شده و هر کدام از آنها بر روی هر سه بانک ...

ادامه مطلب

ایندکس معکوس (inverted index) چیست؟

ایندکس معکوس

در قسمت های قبل روشهای شاخص گذاری بر روی داده ها را بررسی نمودیم. اکنون در بخش ایندکس معکوس (inverted index) مورد مطالعه قرار میدهیم. شاخص­ گذاری معکوس، یک مکانیزم مبتنی بر کلمه است که برای جستجوی سریع اسناد شامل یک کلمه­ خاص به کار می­رود. در اینجا منظور از سند، ...

ادامه مطلب

محصولات و تکنولوژی های آپاچی در حوزه کلان داده و داده کاوی (ActiveMQ, OrientDB, Ant, AVRO, CouchDB, Elastic , Hadoop, Lucene, Mahout, Nutch, OpenNLP, Solr, Spark, Zookeper)

تکنولوژی های آپاچی

یکی از موسسات مطرح در زمینه پشتیبانی از داده های حجیم، بنیاد آپاچی می باشد. لذا شناخت محصولات و تکنولوژی های نرم افزاری آپاچی بسیار لازم است. معمولا از مجموعه ی این تکنولوژی ها تحت عنوان اکوسیستم هدوپ یاد میشود. در این مبحث تکنولوژی های آپاچی بررسی خواهد. ActiveMQ این ...

ادامه مطلب

روش تحلیل و پردازش گراف های بزرگ

پردازش گراف های بزرگ با مپ ردیوس

در قسمت های پیشین با تئوری گراف و تئوری شبکه اجتماعی آشنا شدیم. در این قسمت به روشهای معمول که در پردازش گراف های بزرگ مورد استفاده قرار میگیرد میپردازیم. این موارد را برای این بررسی میکنیم تا در زمان بررسی ابزار ها و فناوری های پردازش گراف های بزرگ ...

ادامه مطلب