خانه بیگ دیتای ایران تحلیل شبکه های اجتماعی و متن کاوی

موتور جستجوی ElasticSearch در این مبحث به آموزش الستیک سرچ (Elastic Search) میپردازیم. ElasticSearch یا (ES) یک موتور جستجو و تحلیل منعطف، قدرتمند، متن باز، توزیع شده­، دسترسی بالا[1] و بلادرنگ می­باشد که هسته شاخص­ گذار آن کتابخانه Lucene می­ باشد. الاستیک سرچ یک موتور جستجوی متن با امکانات فراوان از قبیل راحتی استفاده، مقیاس …

مقدمه امروزه به علت گستره وسیع موتورهای جستجو و کارکردهای متفاوت آنها در حوزه های مختلف، انتخاب یک موتورجستجوی مناسب در راستای مرتفع کردن نیازمندی های مورد نظر مستلزم، مطالعه و مقایسه موتورجستجوهای موجود است. از این رو در این مبحث پیرامون مقایسه­ ی دو موتور جستجوی شناخته شده و مورد استفاده در بسیاری از …

اوسینت (OSINT) چیست؟ فرض کنید از شما خواسته شود تا شماره تلفن یک فرد خاص را بدست آورید یا افراد مرتبط با او را پیدا کنید. یا از شما خواسته شود تا نظر مردم یک کشور نسبت به یک حادثه را بررسی کنید، یا بخواهند که تعداد دانشجویان ایرانی ساکن کشور فرانسه را مشخص کنید یا …

با یکی دیگر از مباحث مبانی در حوزه گراف کاوی و تحلیل شبکه های اجتماعی با عنوان ساختار های منطقی ذخیره سازی گراف را خدمتتان هستیم. ❗️توجه: هر چند این مبحث ساده به نظر میرسد ولی مرجعی برای خیلی از مباحث تحلیلی، در حوزه بیگ دیتا و شبکه های اجتماعی که در آینده مطرح خواهم …

هوش تجاری (Business intelligence)، اصطلاحی است که در کسب و کار سازمان مورد استفاده قرار می‌گیرد و امکان دسترسی سریعتر به داده­های سازمان و تحلیل آن ها را بر اساس نیاز کاربران ارشد سازمان ممکن می­سازد. تعداد زیادی از برنامه­ها و نرم‌افزارها برای پردازش و تحلیل اطلاعات خام یک سازمان بکار گرفته می­شود که خود …

ایست واژه‌ها یا Stop Word: کلماتی هستند که با وجود به تکرار بسیار زیاد آن و حضور آنها در اغلب اسناد فاقد اطلاعات معنابخش هستند. بنابراین با حذف آن‌ها کارایی الگوریتم‌ها افزایش  و حجم پردازش کاهش می‌یابد. ایست واژه ها لغاتی هستند که علی رغم تکرار فروان در متن، از لحاظ معنایی دارای اهمیت کمی …

پروتکل Gossip یا پروتکل شایعه به منظور ارتباط بین ماشین هایی که در کلاستر های مختلف در حال سرویس دهی هستند بکار می رود به جهت اینکه سرویس دهنده ها آخرین وضعیت خود را به دیگران اطلاع دهند و همچنین از آخرین وضعیت دیگر سرور ها با خبر باشند. تا بتوانند اطلاعات خود را با …

فراموش کردن تاریخ تولد در فیس بوک اکانت فیسبوک من مدتی است غیر فعال شده و هنگام ورود به فیسبوک از من تاریخ تولید و نام دوست های من را می پرسد ولی من تاریخ تولید و نام دوستانم را فراموش کرده ام. به علیت این که در زمان درست کردن اکانت فیسبوک تاریخ پیش …

معرفی کتابخانه beautifulsoup پایتون : به منظور تجزیه کردن یا پارس کردن صفحات وب با پایتون (فایل های HTML) میتوان از این کتاب خانه استفاده کرد. همچنین از این کتابخانه میتوان برای تجزیه کردن فایل های XML استفاده کرد. مفاهیم کتابخانه beautifulsoup به منظور تجزیه کردن یا پارس کردن کتابخانه beautifulsoup یک کتابخانه پایتون است …

جمع آوری اطلاعات از توئیتر یکی از منابع اصلی برای جمع آوری اطلاعات در فضای سایبر شبکه های اجتماعی هستند. شبکه های اجتماعی مختلف از لحاظ جمع آوری اطلاعات درجه اهمیت متفاوتی دارند. این اهمیت با توجه با کشور نوع کشور نیز متغییر است چراکه در برخی از کشورها ممکن است اقبالی به یک شبکه …

نصب دستی پایگاه داده کاساندرا از این جهت  برای ما اهمیت دارد که ممکن است گاهی دسترسی به اینترنت برای نصب خودکار کاساندرا نداشته باشم  یا اینکه در مواردی اتصال سرورهای ما به اینترنت مجاز نباشد (که معمولا با این مورد در اکثر پروژه های دولتی با آن مواجه هستیم). در پست های قبلی نحوه …

نصب دستی JDK در ابونتو: نصب دستی JDK برای ما از این جهت اهمیت دارد که ممکن است گاهی دسترسی به اینترنت برای نصب اتوماتیک JDK نداشته باشم  یا اینکه در مواردی اتصال سرور به اینترنت ممنوع باشد. تمام ابزار های جاوایی در حوزه بیگ دیتا که در این سایت ارائه شده اند (مثل پایگاه …

پیکره واژگان یا WordNet یک مجموعه ی نسبتا بزرگ از لغات و ارتباط آن ها در ساختار متون است. وردنت در حقیقت رابطه معنایی بین دو کلمه را بیان میکند. به عنوان مثال کبوتر از نوع پرنده است و پرنده یک نوع حیوان است و حیوان یک نوع جاندار است. از پيکره براي متن کاوی، …

OSINTدر این مبحث به کتابخانه ی با ارزش پایتون وب اسکرپ (web scraping) به منظور جمع آوری اطلاعات از یک صفحه وب خواهیم پرداخت. همگی میدانیم که یکی از منابع اصلی داده در دنیا امروز، متون و محتوای موجود در سایتهای اینترنتی است. اسکرپ عبارت است از جمع آوری داده از طریق یک برنامه که درخواست …

خلاصه ­سازی متن یا summarization، فشرده ­سازی متن به حالت کوتاه­تر از متن اصلی است، به طوری که محتوای اطلاعاتی متن و به طور کلی مفاهیم کلی متن حفظ شود. به توجه به اینکه اسناد زیادی در اینترنت موجود است که بیشتر آنها محتوی اطلاعات غیر ضروری می­باشد، اهمیت خلاصه­ سازی متون به منظور کاهش …