داده کاوی (DataMining)

انبارداده (Data Warehouse) و دریاچه داده (Data Lake) و بازار داده (Data Mart) و دیتا کیوب

دریاچه داده

تفاوت انبارداده و دریاچه داده با بیان ساده، مفهوم دریاچه داده را می‌توان اینگونه توضیح داد که اگر انبار داده را مشابه یک بطری آب تصفیه‌شده، بسته‌بندی شده و آماده مصرف در نظر بگیریم، دریاچه داده (همانند نام آن) دریاچه‌ای است که آب از منابع مختلف ( آب باران، چشمه‌ها، رودها یا منابع دیگر) در …

ادامه مطلب

فیلم های سینمایی برتر با موضوع داده کاوی، هوش مصنوعی و فضای سایبر (همراه دانلود)

فیلم با موضوع هوش مصنوعی

امروزه یکی از سرگرمی‌های جذاب بشر تماشا کردن فیلم های سینمایی است. ولی انتخاب هدفمند فیلم‌های سینمایی به غیر از سرگرمی می تواند نگرشهای عمیق و تخصصی تری را در رابطه با موضوعات مختلف در انسان ایجاد کند. چرا که فیلم های با زمینه دانشی معمولاً با مشاوره با افراد خبره و متخصص آن حوزه …

ادامه مطلب

روش ها و معیار‌های ارزیابی الگوریتم های هوش مصنوعی، مدل های داده کاوی و یادگیری ماشین

معیار‌های ارزیابی الگوریتم

معیار‌های ارزیابی مدل یا الگوریتم جهت تشخیص دقت و صحت در این مبحث می‌خواهیم تعدادی از معیار‌های ارزیابی هوش مصنوعی را بررسی کنیم. یکی از مهم‌ترین مراحل پس از طراحی و ساخت یک مدل یا یک الگوریتم، ارزیابی کارآیی (performance) آن است. در ادامه با روس هایی برای ارزیابی مدل آشنا می‌شویم. تعریف حساسیت (sensitivity) و …

ادامه مطلب

داده کاوی (Data Mining) و روش ها به زبان ساده

داده کاوی

 مقدمه ای بر داده کاوی : امروزه داده کاوی به عنوان پایه و مبنای تصمیم های مهم محسوب می‌شود. داده کاوی به ما کمک می‌کند که سامانه هایی را توسعه دهیم که قادر است از میان میلیون‌ها یا میلیاردها رکورد، روابط غیر آشکار را شناسایی کند. داده کاوی در حال تغییر دادن جهانی است که …

ادامه مطلب

تحلیل شبکه های اجتماعی به صورت خلاصه و کاربردی

تحلیل شبکه های اجتماعی

مقدمه ای بر تحلیل شبکه های اجتماعی: شبکه‌های اجتماعی یا به عبارتی رسانه های اجتماعی با داده‌های مربوط به انسان‌ها  که معمولا توسط ایشان تولید می‌شوند و اغلب در برگیرنده ویژگی های اجتماعی آن‌ها هستند توسعه پیدا می‌کنند. تحلیل شبکه های اجتماعی (Social Network Analysis) که گاهی به اختصار به آن SNA و گاهی هم …

ادامه مطلب

پیشبینی ارتباط (لینک) در شبکه گراف های اجتماعی (link prediction)

پیشبینی لینک

پیشبینی لینک وجود ارتباط در شبکه گراف های اجتماعی (link prediction) پیشبینی لینک یا وجود ارتباط میان دو موجودیت بر اساس ویژگی‌های موجودیت‌ها و دیگر لینک‌های مشاهده شده در گراف را پیشبینی لینک[1] می‌گویند . یا به عبارت دیگر اگر در زمان n0  یک تصویر لحظه‌ای از مجموعه لینک‌ها داشته باشیم، هدف پیش‌بینی لینک‌ها در …

ادامه مطلب

سینگولاریتی و پیش بینی آینده SINGULARITY

پیش بینی آینده

  قبل از هر چیز باید با پیش بینی آینده (پیش بینی آینده) و روند تصاعدی تکنولوژی آشنا بشویم.  سه مرحله اساسی دیدن آینده در گذر تاریخ شامل موارد ذیل می باشد: موفق شدن بشر درطی کردن چرخه های تکرار شونده مثل فصول و رویش گیاهان که نتیجه آن کشاورزی بود پیش بینی چرخه هایی …

ادامه مطلب

جستجوی دیتاست گوگل سرویس بسیار کاربردی از گوگل

دیتاست گوگل

دیتاست (Dataset) یا مجموعه داده چیست؟ دیتاست یا مجموعه داده یا DataSet به مجموعه‌ای از داده‌ها می‌گویند که با موضوعیت واحد، جهت انجام کارها و پروژه‌های مربوط به علم داده استفاده می‌شوند. البته یک کاربرد دیگر دیتاست ها نیز برای مقایسه بین روش‌های مختلف هست، به این صورت که به‌طور نمونه بر روی دیتاست A، …

ادامه مطلب

یکسان سازی یا نرمال سازی متن با استفاده از کتابخانه JHazm

نرمال سازی متن

در متن کاوی منظور از پردازش زبان طبیعی (NLP)، قابل‌دسترس کردن زبان طبیعی برای ماشین است. پردازش زبان طبیعی، اسناد متنی بدون ساختار را دریافت و درنهایت به شکلی ساختاریافته تبدیل می‌کنند. در این حالت امکان استخراج اطلاعات از این اسناد وجود دارد. پردازش‌های متنی شامل تحلیل‌های صرفی و نحوی و معنایی متن ورودی است. …

ادامه مطلب

مثالی از داده کاوی و تحلیل گراف خطوط هوایی شبکه جهانی حمل و نقل

تحلیل گراف خطوط هوایی

در این پست یک تحلیل و بصری سازی خوب از گراف 60،000 پرواز در بین 3,275 فرودگاه جهان توسط 531 خطوط هوایی در 37،153 مسیر یکتا همراه با تحلیل خوشه بندی و تشخیص Centerality ارائه شده است. هر نود نشان دهنده یک فرودگاه است و اندازه گره نشان دهنده تعداد مسیرهای پرواز (مجموع 37153 مسیر) …

ادامه مطلب

آموزش CytoScape ابزاری برای تحلیل و بصری سازی گراف شبکه

آموزش CytoScape

معرفی و آموزش cytoscape  در پست های قبل برنامه cytoscape را با نرم افزار گفی مقایسه (اینجا) کردیم. همچنین نرم افزار گفی را (در اینجا) به طور تقریبا کامل آموزش دادیم در این مبحث میخواهیم به آموزش CytoScape بپردازیم. سایتواسکیپ یک نرم افزار برای آنالیز و تجسم سازی شبکه های اجتماعی است و در حوزه …

ادامه مطلب

معرفی DataStax پلتفرمی برای بیگ دیتا و داده کاوی

DataStax چیست؟

معرفی DataStax: شرکت دیتا استکس،  یک فروشنده نرم افزار های مدیریت داده است و با محصولات پایگاه داده RDBMS از اوراکل رقابت می کند. کارکنان DataStax همکاری کلیدی با پروژه آپاچی کاساندرا منبع باز دارند. این شرکت دارای بیش از 400 کارمند و دفاتر متعدد در خارج از کشور است. در نوامبر سال 2016، این …

ادامه مطلب

تعریف پیکره واژگان یا WordNet چیست؟

پیکره واژگان یا WordNet

پیکره واژگان یا WordNet یک مجموعه ی نسبتا بزرگ از لغات و ارتباط آن ها در ساختار متون است. وردنت در حقیقت رابطه معنایی بین دو کلمه را بیان میکند. به عنوان مثال کبوتر از نوع پرنده است و پرنده یک نوع حیوان است و حیوان یک نوع جاندار است. از پيکره براي متن کاوی، …

ادامه مطلب

روش‏ هاي تشخيص زبان در متن

روش‏ هاي تشخيص زبان

تشخیص زبان یک متن، یکی از اولین گام ها به سوی متن کاوی است. مخصوصا در فضای بزرگ سایبر که تنوع بسیار زیادی از داده ها وجود دارد. حتی ممکن است گاهی در اسناد سازمانی هم با تنوع متفاوتی از زبان ها در اسناد مواجه شویم. در بیشتر موارد مخصوصا اگر رنج تنوع زبان ها …

ادامه مطلب

نمونه برداری گراف شبکه های اجتماعی

نمونه برداری گراف

نمونه برداری گراف: شبکه های اجتماعی معمولا شامل تعداد زیادی نود هستند. در نتیجه گراف ناشی از این شبکه‌ها بسیار بزرگ بوده و طبیعتا گرافهای بزرگ این چنینی هزینه پردازش زیادی دارند. در این گونه گرافها حتی الگوریتمهای از مرتبه O(n2)  هم دارای پیچیدگی بالایی محسوب میشوند. زیرا بعنوان مثال گرافی حاوی یک میلیون نود …

ادامه مطلب