صفحه نخست --> دیتا ست (data set) --> دانلود ایست واژه‌ها یا Stop Word در زبان فارسی

دانلود ایست واژه‌ها یا Stop Word در زبان فارسی

ایست واژه‌ها یا Stop Word: کلماتی هستند که با وجود به تکرار بسیار زیاد آن و حضور آنها در اغلب اسناد فاقد اطلاعات معنابخش هستند. بنابراین با حذف آن‌ها کارایی الگوریتم‌ها افزایش  و حجم پردازش کاهش می‌یابد. ایست واژه ها لغاتی هستند که علی رغم تکرار فروان در متن، از لحاظ معنایی دارای اهمیت کمی هستند. مانند: «اگر»، «و»، «ولی»، «که» یا نمونه کلمات انگلیسی که در شکل زیر مشاهده میکنید.

ایست واژه‌ها یا Stop Word
ایست واژه‌ها یا Stop Word

حذف ایست واژه‌ها یا Stop Word ها:

در حوزه متن کاوی یکی از مراحل پیش پردازش داده های متنی برای تحلیل های مراحل بعد یکسان سازی و نرمال سازی متون است. قبل از تحلیل هر گونه داده ای میبایست نویز ها و داده های بی ارزش از سایر داده ها جدا سازی شود. این کار باعث دقت تحلیل ها و کاهش حجم پردازش ها خواهد شد. یکی از مهم ترین کار هایی که در مرحله پیش پردازش داده های متنی میبایست انجام شود، حذف ایست واژه‌ها یا Stop Word می باشد. حذف ایست واژه ها میبایست بعد از مراحل تشخیص زبان، استاندارد سازی، نرمال سازی و واحد ساز در متن انجام شود. و بعد از حذف ایست واژه‌ها یا Stop Word مراحل بعدی پردازش متن مانند حذف پانچنشن ها، ریشه یابی، تشخیص کلمات کلیدی، تشخیص موجودیت اسمی، تشخیص عبارات متنی، برچسبگذاری انجام می شود.

 

ایست واژه‌ها یا Stop Word
مراحل پیش پردازش و استاندارد سازی متن به مرحله حدف ایست واژه‌ها یا Stop Word در گام ما قبل آخر دقت کنید.

 

در نگاه اولیه کلمات ربط و تعریف، ایست واژه به نظر می آیند؛ ولی در عین حال بسیاری از کلمات مانند افعال، افعال کمکی، اسم ها، قیدها و صفات نیز ایست واژه شناخته شده اند. در اغلب کاربردهای متن، حذف این کلمات، نتایج پردازش را به شدت بهبود می دهد و سبب کاهش بار محاسبات و افزایش سرعت خواهد شد. به همین دلیل این کلمات غالبا در فاز پیش پردازش، حذف می شوند. برای زبان فارسی چندین لیست از این کلمات منتشر شده است که بطور میانگین شامل ۶۰۰ کلمه می باشند. در زیر مجموعه ای از ایست واژه‌ها یا Stop Word زبان فارسی و انگلیسی برای استفاده آماده شده است.

ایست واژه‌ها یا Stop Word در زبان انگلیسی

ایست واژه‌ها یا Stop Word در زبان فارسی با تعداد کلمات زیاد

ایست واژه‌ها یا Stop Word در زبان فارسی با تعداد کلمات کم

آدرس کانال تلگرام ما:

t.me/bigdata_channel
برای ورود به کانال بر روی اینجا کلیک کنید.

دیدگاهتان را بنویسید

نشانی ایمیل شما منتشر نخواهد شد. بخش‌های موردنیاز علامت‌گذاری شده‌اند *