داده های متنی یکی از پرمصرف ترینها است که میتواند برای بدست آوردن اطلاعات مهم در موضوعات مختلف مورد استفاده قرار گیرد. رسانه های اجتماعی در اشکال گوناگون خود همانند انجمنها، وبلاگها، میکروبلاگها، سایتهای نظردهی و غیره روزانه منجر به تولید حجم وسیعی از …
ادامه مطلب
وقتی می خواهیم در مورد مسئله ای تصمیم بگیریم، نظر دیگران را درباره ی مسئله ی مورد نظر می پرسیم. در دنیای واقعی، کسب و کارها و سازمان ها به دنبال دانستن نظر مشتریان و عموم مردم در مورد محصولات و سرویس های خود …
ادامه مطلب
بعد از مراحل نرمال سازی، حذف کلمات ایستا، تکه کردن کلمات درون متن و ریشه یابی کردن واژه ها، یکی از مهمترین مراحل در پردازش متن استخراج کلمات کلیدی میباشد. در ابتدا به تعاریفی از کلمات کلیدی یا Key word ها پرداخته میشود. کلمات کلیدی …
ادامه مطلب
اوسینت (OSINT)، جمع آوری اطلاعات و کسب نمودن اطلاعات از دنیای پیرامون است که همیشه جذابیت ویژه ای برای انسان ها داشته. گاهی ضرورت ایجاب میکند که اطلاعات خاصی را در مورد سوژه یا موضوع مورد نظز خود به دست آوریم. در این نوشتار …
ادامه مطلب
دریاچه داده (Data Lake) و مفهوم بیگ دیتا دو واژه ناگسستنی هستند به عبارتی Data Lake ظرفی برای نگهداری بیگ دیتا یا کلان داده است که با توجه به گذر زمان ویژگیهای فنی زیادی برای آن شمارده شده است که در ادامه به آن …
ادامه مطلب
انتخاب مدل مناسب برای داده کاوی و یادگیری ماشین همیشه برای افراد تازه کار در حوزه علم داده، موجب سردرگمی آنها می شود. این موضوع حتی برای افراد با تجربه نیز چالش برانگیز است. در این مطلب کوتاه و کاربردی قصد دارم که یک …
ادامه مطلب
داده ها با توجه به حجم و کاربرد آنها در منطق هاي مختلف ذخيره سازي مي شوند که منجر به بوجود آمدن اصطلاحات تخصصي در اين مورد شده است. که هر کدام بار معنايي خودش را به همراه دارد. واژه هايي مثل ديتا ليک، …
ادامه مطلب
این مبحث شما را با Apache Druid و برخی از ویژگی های اساسی آن آشنا می کند. پس از این مراحل، Druid را نصب می‌کنید و داده‌های نمونه را با استفاده از ویژگی جذب دسته‌ای بومی آن بارگیری می‌کنید. آپاچی دروید (druid) نیازمندی های …
ادامه مطلب
از چند دهه گذشته که رایانه‌ها امکان پیاده‌سازی الگوریتم‌های محاسباتی را فراهم ساخته‌اند، در راستای شبیه‌سازی رفتار محاسباتی مغز انسان، کارهای پژوهشی بسیاری از سوی متخصصین علوم رایانه، مهندسین و همچنین ریاضی‌دان‌ها شروع شده است، که نتایج کار آنها، در شاخه‌ای از علم هوش مصنوعی و در …
ادامه مطلب
امروزه داده کاوی به عنوان پایه و مبنای تصمیم های مهم محسوب میشود. داده کاوی به ما کمک میکند که سامانه هایی را توسعه دهیم که قادر است از میان میلیون‌ها یا میلیاردها رکورد، روابط غیر آشکار را شناسایی کند. داده کاوی در حال …
ادامه مطلب
هدف از ارائه این مبحث آشنایی خواننده با مفاهیم انبار داده Data wareHouse و فن آوری های مرتبط در هوش تجاری (BI) می باشد. انباره های داده، پایه گذار فن آوری لازم برای ساخت و بهره برداری از برنامه های هوشمند هستند. انبار داده …
ادامه مطلب
پایگاه داده های ستون گرا به طور بالقوه می توانند به عنوان یک انبار داده استفاده شوند که قادر است به طور طبیعی پرس و جوهای OLAP را اداره کند. این روش در سال 2012 در مطالعات مختلف ارائه شده است و اکنون محبوبیت …
ادامه مطلب
مکعب داده يا OLAP چيست؟ نوع پایگاه داده ای که تراکنش ها را ذخیره می کند، OLTP یا پردازش تراکنش آنلاین نامیده می شود و برای عملیات ساده مانند درج ، به روز رسانی یا حذف یک مورد کاملاً مناسب است. ولي وقتی صحبت …
ادامه مطلب
جنگل تصادفی یا جنگل‌های تصمیم تصادفی (Random forest) یک روش یادگیری ترکیبی برای دسته‌بندی، رگرسیون میباشد، که بر اساس ساختاری متشکل از شمار بسیاری درخت تصمیم، بر روی زمان آموزش و خروجی کلاس‌ها (کلاس‌بندی) یا برای پیش‌بینی‌های هر درخت به شکل مجزا، کار می‌کنند. …
ادامه مطلب
اگر میخواهید تا تصمیم پیچیده‌ای بگیرید و تصمیم دارید تا مسائل را برای خودتان به بخش‌های کوچک‌تری تقسیم کرده تا به شکل بهتری قادر به حل آنها شوید، میتوانید از درخت تصمیم استفاده کنید. درخت تصمیم نقشه‌ای از نتایج احتمالی یکسری از انتخاب‌ها متوالی …
ادامه مطلب
بصری سازی داده همواره یکی از گام های نهایی تحلیل و یا داده کاوی است. من و شما داده‌های زیادی را دررابطه‌با شغل خود بررسی می‌کنیم. اطلاعات مربوط به عملکرد وب‌سایت، عملکرد فروش، پذیرش محصول، خدمات مشتری، نتایج عملیات بازاریابی و …، این لیست …
ادامه مطلب
فیلم سینمایی درخواست نهایی (margin call) موضوع این فیلم داستان شرکتی بسیار بزرگی است که در حال ورشکستگی است ولی مدیران آن از این موضوع بی اطلاع هستند. این شرکت بزرگ مالی، تعدیل نیرو می کند. یکی از قربانیان این رویداد مدیر بخش کنترل …
ادامه مطلب
فیلم سینمایی فرا ماشین (Ex Machina) این فیلم بسیار جذاب نیز نمونه دیگری از درگیر شدن انسان آن با یک ماشین است. ماشینی که می توان با عشوه گری احساسات یک انسان را مغلوب کند. فیلم سینمایی فرا ماشین (Ex Machina) نمایش می دهد …
ادامه مطلب
جهت امور تحقیقیاتی، تحلیل و داده کاوی مجموعه داده و دیتاست های سایت دیجی کالا (DigiKala) برای پژوهشگران آماده شده است. در این صفحه میتوانید dataset دی جی کالا را دانلود کنید. این مجموعه داده شامل موارد زیر است. سفارشات محصولات کامنت ها کیفیت …
ادامه مطلب
فهرست مطالب آمورش NetMiner تهیه کننده: حمید غلامی 1-مقدمه NetMiner چیست سیستم مورد نیاز درباره این سند نصب ، حذف نصب و به روزرسانی نرم افزار 2- محیط کار نوار عنوان منوی اصلی نوار ابزار منطقه مدیریت داده درخت کاری صفحه خروجی صفحه کنترل …
ادامه مطلب
خانه بیگ دیتا تحلیل شبکه های اجتماعی، متن کاوی، داده کاوی، اوسینت و داده های حجیم
