مجموعه داده­ برای تشخیص و ردیابی موضوع (TDT)

تشخیص و ردیابی موضوع

مجموعه داده­ برای تشخیص و ردیابی موضوع (TDT) برای انجام فرآیند متن کاوی به منظور تشخیص و ردیابی موضوع(Topic detection & Tracking) در محیط آزمایشگاه، چند نمونه از مجموعه داده­[۱]­ها که برای این منظور در زبان انگلیسی و فارسی ایجاد شده­اند به شرح زیر می‌باشند: جریان موضوعات جریان موضوعات به ...

ادامه مطلب

دیتاست اسامی فارسی برای تشخیص موجودیت های اسمی

دیتاست اسامی فارسی

دیتاست اسامی فارسی برای تشخیص موجودیت های اسمی با بیش از چهار هزار کلمه که بر اساس پر استفاده ترین ها مرتب شده اند. یکی از روش های تشخیص موجودیت های نامدار استفاده از دیتاست اسامی فارسی است. این مرتب شدن اسامی به جهت افزایش سرعت برای پیدا کردن موجودیت ...

ادامه مطلب

فیلم آموزشی تحلیل شبکه های اجتماعی با پایتون (دانشگاه میشیگان)

فیلم آموزشی تحلیل شبکه های اجتماعی

در این پست یک فیلم آموزشی ارزشمند در زمینه گراف کاوی و تحلیل شبکه های اجتماعی با زبان برنامه نویسی پایتون ارائه شده است. کتاب خانه networkx یک بسته پایتون برای ایجاد، دستکاری و مطالعه ساختار، پویایی و عملکرد شبکه های پیچیده  و گراف کاوی است که در این فیلم آموزشی ...

ادامه مطلب

استاپ ورد های فارسی مرتب شده با طول کلمات

استاپ ورد های فارسی مرتب شده

یکی از مهمترین و کلیدی ترین مسائل در حذف کلمات ایستا (stop word) که معمولا اکثر متخصصین متن کاوی از آن بیخبر هستند این است که برای حذف ایست واژه ها (StopWord) در متن اصلی میبایست  ایست واژه ها را  به صورت یک لیست که بر اساس طول یا سایز ...

ادامه مطلب

فایل دیکشنری فارسی با فرمت csv (قابل بارگذاری بر روی تمامی دیتابیس ها)

دانلود رایگان فایل دیکشنری

فایل دیکشنری با فرمت csv: معمولا خیلی ار محققان برای برخی از مباحث تحلیل به فرهنگ لغات نیاز پیدا میکنند. به همین منظور یک فایل دیکشنری فارسی به انگلیسی (و حتما انگلیسی به فارسی) با بیش از هفتاد هزار لغت برای استفاده پژوهشگران آماده کرده ایم. جهت قابل استفاده بودن ...

ادامه مطلب

دانلود دیتاست (Data Set) مسیرهای پروازی

دیتاست مسیرهای پروازی

در این پست دیتاست مسیرهای پروازی از گراف ۶۰،۰۰۰ پرواز در بین ۳,۲۷۵ فرودگاه جهان توسط ۵۳۱ خطوط هوایی در ۳۷،۱۵۳ مسیر یکتا ارائه شده است. هر نود نشان دهنده یک فرودگاه است و اندازه گره نشان دهنده تعداد مسیرهای پرواز (مجموع ۳۷۱۵۳ مسیر) بر اساس داده های OpenFlights.org است. گراف تحلیل ...

ادامه مطلب

دانلود دیتا ست قرآن عزیز

 دیتا ست قرآن کریم تنها سخنانی که بدون هیچ تغییر از مبدا آفرینش بر روی کره زمین در دستان بشر موجود است همین قرآن عزیز است. قرآن تنها جملات خداوند است که تا کنون بدون تغییر در اختیار انسان گذاشته شده است. دوستان بزرگواری که روی کارهای تحلیلی بر روی ...

ادامه مطلب

ISO 2700x (فایل تمامی ایزو های سری بیست و هفت هزار)

ISO 2700x

معرفی ISO 2700x  به همراه فایل تمامی ایزو های سری بیست و هفت هزار به جهت استفاده دانشجویان عزیز قصد داریم در این پست تمامی استانداردهای سری ISO 2700x که از منابع مختلف گردآوری شده است به صورت یکجا برای دانلود ارائه دهیم. جهت دانلود فایل های ISO 2700x به ...

ادامه مطلب

قطعه بندی متون فارسی (tokenize) با استفاده از جی هضم (Jhazm)

قطعه بندی متون

قطعه بندی متن (Tokenizer) در بخش های قبلی به روش های تشخیص زبان در متون اشاره کردیم در این مبحث به نقش واحد ساز (Tokenizer) در پردازش متن میپردازیم. Tokenizer ابزاری برای شکستن یک متن بر اساس واحدهای با معنی مانند کلمه، پاراگراف، نمادهای معنادار مانند space و  tab و ...

ادامه مطلب

استخراج کلمات کلیدی از متن فارسی با روش های آماری

استخراج کلمات کلیدی

بعد از مراحل نرمال سازی، حذف کلمات ایستا، تکه کردن کلمات درون متن و ریشه یابی کردن واژه ها، یکی از مهمترین مراحل در پردازش متن استخراج کلمات کلیدی میباشد. در ابتدا به تعاریفی از کلمات کلیدی یا Key word ها پرداخته میشود. کلمات کلیدی مجموعه‌ای از لغات مهم در یک ...

ادامه مطلب

پردازش متن با Jhazm نسخه جاوا کتابخانه هضم برای پردازش زبان فارسی

پردازش متن با Jhazm

jHazm نسخه جاوایی هضم از کتابخانه پایتون برای پردازش زبان فارسی است. کتابخانه HAZM برای انجام پردازش­ های لازم بر روی زبان فارسی توسط دانشجویان دانشگاه علم و صنعت در سال ۱۳۹۲ به صورت متن­ باز و با استفاده از کتابخانه NLTK منتشر شد. لایسنس این ابزار MIT میباشد. هضم، ابتدا ...

ادامه مطلب

آموزش عملی گراف کاوی و تحلیل شبکه های اجتماعی با پایتون (NetworkX)

فیلم آموزشی تحلیل شبکه های اجتماعی

در این پست به آموزش عملی گراف کاوی و تحلیل شبکه های اجتماعی با پایتون میپردازیم. networkx یک بسته پایتون برای ایجاد، دستکاری و مطالعه ساختار، پویایی و عملکرد شبکه های پیچیده است. امکانات networkx ساختار داده ها برای نمودارها، گراف ها و چند گرافیک بسیاری از الگوریتم های مربوط ...

ادامه مطلب

سایت های علمی پژوهشی و آموزشی

سایت های علمی پژوهشی

سایت های مهم علمی آموزشی پژوهشی بانکهای اطلاعاتی: www.digitallibraryplus.com www.daneshyar.net www.umi.com/pqdauto www.search.ebscohost.com www.sciencedirect.com www.emeraldinsight.com www.online.sagepub.com www.springerlink.com www.scopus.com http://apps.isiknowledge.com 〰〰〰〰〰〰〰〰〰〰〰〰〰〰〰 پایان نامه های داخلی و خارجی www.irandoc.ac.ir www.umi.com/pgdauto www.mhrn.net www.theses.org 〰〰〰〰〰〰〰〰〰〰〰〰〰〰〰 مقالات فارسی www.magiran.com www.civilica.com www.sid.ir 〰〰〰〰〰〰〰〰〰〰〰〰〰〰〰 کتابخانه ملی ایران، آمریکا و انگلیس www.nlai.ir www.loc.gov www.bl.uk 〰〰〰〰〰〰〰〰〰〰〰〰〰〰〰 دسترسی آزاد روانشناسی و ...

ادامه مطلب

۱۰ معیار خرید برای امنیت کلان داده

معیار خرید برای امنیت کلان داده

در این پست موارد زیر در رابطه با معیار خرید برای امنیت کلان داده ، بررسی خواهد شد. ▶▶ پرهیز از پیشنهادات امنیت ابرداده ای سطح پایین ▶▶ ایجاد یک چک لیست از معیار های خرید ▶▶ بفهمیم که در یک راه حل به دنبال چه باشیم همه ی راه حل ...

ادامه مطلب

استخراج عبارات کلیدی (KeyPhrase) از متن با روش Ngram

استخراج عبارات کلیدی

فرایند استخراج عبارات کلیدی منجر به کشف مجموعه‌ای از عبارات (KeyPhrase) مهم در یک سند میشود که توصیفی از محتوای سند را فراهم می‌آورد و برای اهداف مختلفی مورداستفاده قرار می‌گیرد. عبارات کلیدی، اطلاعات نحوی مفیدی را برای بسیاری از کارهای پردازش متن فراهم می‌کند، مثلاً در خوشه‌بندی متن، طبقه‌بندی ...

ادامه مطلب