داده کاوی (Data Mining) و روش ها به زبان ساده

داده کاوی

 مقدمه ای بر داده کاوی : امروزه داده کاوی به عنوان پایه و مبنای تصمیم های مهم محسوب می‌شود. داده کاوی به ما کمک می‌کند که سامانه هایی را توسعه دهیم که قادر است از میان میلیون‌ها یا میلیاردها رکورد، روابط غیر آشکار را شناسایی کند. داده کاوی در حال تغییر دادن جهانی است که …

ادامه نوشته »

دیتاست اسامی اشخاص حقیقی جهت استفاده در پردازش متن

اسامی اشخاص حقیقی

بانک اسامی اشخاص حقیقی جهت استفاده در تشخیص موجودیت های اسمی: یکی از انواع موجودیت های اسمی، اسامی اشخاص حقیقی است. برای استفاده شما مجموعه داده ای شامل بیش از ۱۵۰۰۰ نفر از اسامی اشخاص حقیقی جهت استفاده NER ارائه شده است که در ادامه می توانید آن را دانلود کنید. تشخیص موجودیت‌های اسمی که …

ادامه نوشته »

تحلیل شبکه های اجتماعی به صورت خلاصه و کاربردی

تحلیل شبکه های اجتماعی

مقدمه ای بر تحلیل شبکه های اجتماعی: شبکه‌های اجتماعی یا به عبارتی رسانه های اجتماعی با داده‌های مربوط به انسان‌ها  که معمولا توسط ایشان تولید می‌شوند و اغلب در برگیرنده ویژگی های اجتماعی آن‌ها هستند توسعه پیدا می‌کنند. تحلیل شبکه های اجتماعی (Social Network Analysis) که گاهی به اختصار به آن SNA و گاهی هم …

ادامه نوشته »

آموزش فارسی اسپرینگ بوت (Spring Boot) به صورت کاربردی

آموزش خلاصه اسپرینگ

در این مبحث قصد دارم به صورت خلاصه به آموزش کاربردی اسپرینگ بوت بپردازم. برای شروع باید بدانیم Spring چیست؟  همه ما می‌دانیم که برای اکثر زبان‌های برنامه‌نویسی سطح بالا و همچنین تحت وب فریمورک‌هایی وجود دارد. به عنوان مثال محبوبترین فریمورک زبان PHP فریمورک لاراول می‌باشد؛ و یا برای زبان پایتون فریمورک جنگو را داریم. برای جاوا هم فریمورک‌های بسیار زیادی …

ادامه نوشته »

مجموعه داده یا دیتاست برای یادگیری عمیق

دیتاست برای یادگیری عمیق

معمولا برای هر کار تحلیل در هر حوزه ای به مجموعه داده ی آن حوزه نیاز میباشد. کلید دستیابی به مهارت اصیل در یادگیری ماشین، تمرین کردن رویکرد های مختلف یادگیری ماشین با دیتاست های گوناگون است چرا که در یادگیری ماشین، هر مسئله، به خودی خود، یک مسئله منحصر به فرد محسوب می شود …

ادامه نوشته »

راه اندازی و نصب کسندرا بر روی چند سرور و ایجاد خوشه پردازشی

نصب کسندرا بر روی چند سرور

در پست های قبلی به نصب و راه اندازی پایگاه داده غیر رابطه ای کاساندرا از روی فایل تربال پرداختیم که به صورت خلاصه در زیر اشاره شده است در ادامه  به راه اندازی و نصب کسندرا بر روی چند سرور در حالت خوشه پردازشی، خواهیم پرداخت. (چند روز پیش یک جستجوی مختصر بر روی …

ادامه نوشته »

جنگ شناختی (Cognitive warfare) به زبان ساده

جنگ شناختی

مقدمه بر جنگ ادراکی یا شناختی من به عنوان یک پژوهشگر فضای سایبر در این مبحث سعی دارم جنگ ادراکی یا شناختی را با ادبیات متفاوت، برای خوانندگان سایت بیگ دیتا شرح دهم. (البته قصد دارم هر هفته این مبحث را کامل تر کنم). بشر تا کنون جنگ های متفاوتی را تجربه کرده است. جنگ …

ادامه نوشته »

مجموعه داده وسایل و تجهیزات (appliances) جهت متن کاوی

مجموعه داده وسایل

برای تشخیص اینکه یک کلمه اسم است، راه ­های مختلفی وجود دارد که از جمله­ ی آنها مراجعه به لغت نامه، استفاده از وردنت، در نظر گرفتن ریشه ­ی کلمه، استفاده از قواعد نحوی ساخت واژه و غیره می­ باشد. یکی از روش ها مرسوم تشخیص اسم ­ها با استفاده یک لغتنامه از اسامی افراد، …

ادامه نوشته »

دیتاست ارقام دست نویس انگلیسی به منظور Machine Learning

ارقام دستنویس انگلیسی

:white_check_mark: MNIST DataSet این دیتاست شامل ۶۰k تصویر ۲۸×۲۸ اعداد نویس برای آموزش سیستم و ۱۰k تصویر برای تست است بهترین نتیجه کسب شده برای این داده ۹۹٫۷۹% دانلود دیتاست ارقام دستنویس انگلیسی هدف این دیتاست در ابتدا دسته بندی انواع مختلف اعداد دست نویس انگلیسی بر اساس شکل ظاهری و سپس طبقه‌بندی ارقام دستنویس …

ادامه نوشته »

دیتاست ارقام دستنویس فارسی برای یادگیری ماشین

ارقام دستنویس فارسی

بازشناسی ارقام وحروف دستنویس فارسی. موضوعی است که سالهاست روی آن کار میشود چه در حوزه تحقیقات دانشگاهی وچه در حوزه های تجاری وکاربردی.مقالات وپایان نامه های در این زمینه ارئه شده است والبته کارهای صنعتی زیادی هم صورت گرفته است از مهمترین کاربردهای شناسایی ارقام وحروف دستنویس : · وارد کردن اطلاعات اسناد اداری …

ادامه نوشته »

آشنایی با پردازش زبان طبیعی استنفورد (Stanford CoreNLP)

پردازش زبان طبیعی استنفورد

Stanford CoreNLP مجموعه ای از ابزارهای آنالیز زبان طبیعی را فراهم می آورد. این نرم افزار می تواند یک متن خام به زبان انگلیسی را به عنوان ورودی گرفته و شکل اولیه کلمات، بخش های گفتاری کلمات، تشخیص اسم خاص بودن کلمات، نرمال کردن تاریخ، زمان و مقادیر عددی، مشخص کردن ساختار جملات بر حسب …

ادامه نوشته »

نحوه اتصال به کاساندرا با جاوا (قسمت دوم برنامه نمونه)

اتصال به cassandra با جاوا

در قسمت اول با درایور یا راه اندازهای کاساندرا نسخه ۳ برای اتصال به جاوا آشنا شدیم. در این بخش، نحوه اتصال به cassandra با java با استفاده از راه انداز DataStax بررسی خواهد شد و در ادامه یک مثال کاربردی از اتصال کاساندرا به زبان برنامه نویسی جاوا ارائه می شود. در انتهای مطلب هم …

ادامه نوشته »

اضافه شدن ویژگی ساسی (SASI) در کاساندرا به منظور Full Search

ساسی (SASI)

نمایه گذاری ساسی (SASI): از نسخه ۳٫۴، می­توان از پیاده­ سازی جدیدی از اندیس­های ثانویه SSTable Attached Secondary Index (SASI) بهره برد. برای ستون­هایی که توسط پیاده­ سازی ساسی (SASI)، اندیس ثانویه می­شوند، می­توان در پرس­وجوها از عملگرهای نامساوی (پرس­وجوی محدوده­ای از مقادیر) و LIKE (مانند SQL) استفاده کرد. همچنین در این نوع پیاده­ سازی، …

ادامه نوشته »

قابلیت پالایش داده ها یا Allow Filtering در پایگاه داده ی کاساندرا

قابلیت Allow Filtering در پایگاه داده ی کاساندرا

امروزه تولید کننده های  پایگاه داده های غیر  رابطه ای (nosql) در حال تلاش برای اضافه کردن قابلیت هایی برای افزایش توانمندی های خود هستن.از اندیس‌ها می‌توان برای بهبود عملکرد پایگاه‌داده استفاده کرد. اندیس‌ها به سرویس‌دهنده پایگاه‌داده اجازه می‌دهد تا سطرهای خاص را سریع‌تر از حالت بدون اندیس بیابد. اما نکته اینجاست: از دردسرهای کاساندرا …

ادامه نوشته »

ویژگی نما های از پیش تولید شده یا Materialized view در کاساندرا

نما های از پیش تولید شده یا Materialized view

ویژگی ویژیگی نما های از پیش تولید شده در نسخه ۳٫۰ کاساندرا و نسخه های بعدی از آن اضافه شده است. materialized view جدولی است که از داده­ های جدول دیگری با کلید اصلی و مشخصه­ های جدید ایجاد می­شود. اما  materialized view چه قابلیت هایی را برای ما ایجاد میکند؟ از دردسرهای کاساندرا برای …

ادامه نوشته »