تشخیص موجودیت های اسمی یا نامدار (NER)

دیتاست اسامی فارسی

فراییند تشخیص موجودیت های اسمی (NER) برای تشخیص اسامی و نوع آنها به کار می ­رود. تشخیص موجودیت­ های اسمی فرآیندی است که هدف از آن تشخیص و شناسایی کلمات یا عباراتی است که نمایانگر یک موجودیت می­باشند. برای تشخیص موجودیت­ های اسمی از قبیل نام­ افراد، سازمان­ها، مکان­ها و غیره بکار می­رود. همچنین به …

ادامه نوشته »

نقش برچسب گذار (POS tagger) در پردازش متن

برچسب گذار (POS tagger)

یکی از بخش­ های کلیدی در پردازش متن تعیین نقش کلمه در جمله است. در واقع با ابزار برچسب گذار (POS tagger) نقش کلمه از نظر فعل، فاعل، نوع اسم و غیره مشخص می­شود. برچسب­گذاری در پردازش زبان بعد از بخش­ های واحدساز و ریشه­ یاب و حذف پسوندهای خاص قرار می­گیرد. برای بن‌واژه‌سازی کلمات …

ادامه نوشته »

نقش ریشه­ یاب (Stemmer) در تحلیل متن

ریشه­ یاب (Stemmer)

در این مبحث مولفه ریشه­ یاب (Stemmer) در فرایند پردازش متن تشریح می‌گردند. ریشه یابی عبارت است از حذف پس وندها و پیش وند های کلمات و استخراج ریشه آن ها. در هر زبان، واژه‌ها با توجه به نقش معنایی و نحوی خود در جلمه به شکل‌های ظاهری متفاوتی حضور می‌یابند، این شکل ظاهری متفاوت از …

ادامه نوشته »

نقش واحدساز (Tokenizer) در پردازش متن

قطعه بندی متون

واحدساز (Tokenizer) در بخش های قبلی به روش های تشخیص زبان در متون اشاره کردیم در این مبحث به نقش واحد ساز (Tokenizer) در پردازش متن میپردازیم.  واحدساز (Tokenizer) مرز کلمات را در متون تشخیص داده و متن را به دنباله‌ای از کلمات تبدیل می‌کند و آن را برای تحلیل های بعدی آماده میکند. در …

ادامه نوشته »

روش‏ های تشخیص زبان در متن

روش‏ هاي تشخيص زبان

تشخیص زبان یک متن، یکی از اولین گام ها به سوی متن کاوی است. مخصوصا در فضای بزرگ سایبر که تنوع بسیار زیادی از داده ها وجود دارد. حتی ممکن است گاهی در اسناد سازمانی هم با تنوع متفاوتی از زبان ها در اسناد مواجه شویم. در بیشتر موارد مخصوصا اگر رنج تنوع زبان ها …

ادامه نوشته »

دیوار آتش پایگاه داده یا دیتابیس فایروال (DBF)

دیوار آتش پایگاه داده

دیوار آتش پایگاه داده: در حال حاضر سیستم­ های اطلاعاتی در امور مختلف مورد استفاده قرار می­گیرند که اغلب آن‌ها مبتنی بر پایگاه داده های آسیب پذیر هستند. همچنین با توجه به امکان بالای وجود ضعف های امنیتی در برنامه­ های کاربردی و امکان سوءاستفاده و حمله به پایگاه داده­ ها از طریق لایه برنامه …

ادامه نوشته »

نمونه برداری گراف شبکه های اجتماعی

نمونه برداری گراف

نمونه برداری گراف: شبکه های اجتماعی معمولا شامل تعداد زیادی نود هستند. در نتیجه گراف ناشی از این شبکه‌ها بسیار بزرگ بوده و طبیعتا گرافهای بزرگ این چنینی هزینه پردازش زیادی دارند. در این گونه گرافها حتی الگوریتمهای از مرتبه O(n2)  هم دارای پیچیدگی بالایی محسوب میشوند. زیرا بعنوان مثال گرافی حاوی یک میلیون نود …

ادامه نوشته »

تئوری شبکه های اجتماعی یا شبکه های پیچیده پویا

شبکه های اجتماعی

تئوری شبکه های اجتماعی:  در این بخش به شرح اولیه از مفاهیم موجود در شبکه های پیچیده و پویا یا به عبارتی شبکه‌های اجتماعی[۱] پرداخته می‌شود. مطالب این بخش برگرفته از کتاب راهنمای شبکه‌های اجتماعی نوشته فورت می‌باشد. پیشنهاد میشود قبل از مطالعه تئوری شبکه های پیچیده پویا مبحث تئوری گراف را مطالاعه کنید. شبکه اجتماعی: …

ادامه نوشته »

تئوری گراف به صورت خلاصه

تئوری گراف

تئوری گراف به صورت خلاصه: در این مبحث به شرح تعاریف اولیه از نظریه گراف (Graph Theory) پرداخته می‌شود. مطالب این بخش برگرفته از کتاب تئوری گراف نوشته گروس (Gross) می‌باشد. گراف هر شیء ریاضی شامل یک سری نقاط و اتصالات میان آن‌ها، گراف نامیده می‌شود. گراف‌ها در طیف وسیعی از مسائل کاربرد دارند. یک گراف …

ادامه نوشته »

نحوه افزودن یک افزونه یا پلاگین به گفی

گفی

نحوه افزودن یک افزونه یا پلاگین به گفی گفی  یک نرم افزار متن باز به زبان جاوا بر اساس چارچوب NetBeans می‌باشد. از این نرم افزار می‌توان برای تحلیل شبکه و گراف استفاده نمود. این نرم افزار از موتور رندرگیری سه بعدی[۱] برای نمایش شبکه‌های بزرگ در زمان کوتاه و با سرعت زیاد استفاده می‌کند. …

ادامه نوشته »

اصطلاحات علمی در حوزه تحلیل شبکه های اجتماعی(terminology)

اصطلاحات علمی تحلیل شبکه های اجتماعی

اصطلاحات علمی تحلیل شبکه های اجتماعی: ظهور و شناسایی شبکه‌های مختلف در پیرامون ما، از شبکه‌ی ژن‌هایی که خصوصیاتمان را تعیین می‌کنند تا شبکه‌های اجتماعی برخط که بیشترین بازدیدکنندگان در اینترنت را به خود اختصاص داده‌اند، منجر به نام‌گذاری این عصر به عصر شبکه‌ها گردیده است. با وجود تفاوت بسیار زیاد در ساختار این شبکه‌ها …

ادامه نوشته »

مقایسه وب سرویس های RESTful و SOAP

وب سرویس RESTful و SOAP

هر چند که وب سرویس RESTful و SOAP مستقیما با موضع کلان داده ارتباطی ندارد ولی از آنجایی که برخی از تکنولوژی های کلان داده از این وب سرویس ها پشتیبانی میکنند، در این مبحث به توضیح آن میپردازیم. تفاوت وب سرویس RESTful و SOAP قبل از مقایسه و بررسی تفاوت های دو وب سرویس …

ادامه نوشته »

WSO2 چیست؟

معرفی WSO2

معرفی WSO2  این فناوری یک تکنولوژی متن باز و میان ابزاری (Middle ware) با زبان جاوا است. این تکنولوژی به صورت یک چهار چوب کاری (Frame Work) و مبتنی بر میکرو سرویس (WSO2 MSF4J) است. WSO2 پلتفرمی برای توسعه نرم افزار های جدید می باشد. این تکنولوژی در مارس ۲۰۱۶ ارائه شده است. ادعای این …

ادامه نوشته »

معرفی کافکا (Kafka)

کافکا

آپاچی کافکا پلت فرم متن باز پردازش جریانی توسعه یافته که توسط بنیاد نرم افزار آپاچی نوشته شده و با اسکالا و جاوا است. این پروژه با هدف ارائه یک پلت فرم پر توان، با زمان تاخیر کم واحد و یکپارچه برای دست کاری اطلاعات ورودی به آن در زمان واقعی تولید شده است. لایه …

ادامه نوشته »

سیستم پیام رسان جاوا (JMS) چیست؟

سیستم پیام رسان جاوا (JMS)

سیستم پیام رسان جاوا (JMS) : روال اصلی در یک کارگزار پیام مثل JMS  و همانند محصول ActiveMQ فراهم نمودن زیر ساخت لازم برای ارتباط با نرم افزار ایستگاه کاری می باشد. برای مثال connectors ، یک مکانیزم ارتباطی هستند که به وسیله آن  فراهم کننده ارتباط  ایستگاه کاری –به واسط  و  واسط – به …

ادامه نوشته »