خانه بیگ دیتا تحلیل شبکه های اجتماعی، متن کاوی، داده کاوی، اوسینت و داده های حجیم

میر سامان تاجبخش دانشجوی ترم آخر دکتری فناوری اطلاعات دانشگاه ارومیه، ارومیه، ایران s.tajbakhsh@chmail.ir ms.tajbakhsh@urmia.ac.ir https://mstajbakhsh.ir در پست قبلی در ارتباط با وب تاریک و لایه‌های مختلف آن بحث شد. در این مطلب در ارتباط با نحوه اتصال به شبکه TOR و نحوه مسیر …

I Forget Birthday on Facebook Forgetting Birthday on Facebook:  My Facebook account has been disabled and when I log in to Facebook, it asks me the Birthday and the name of my friends, but I have forgotten the Birthday  and the names of my …

نکته مهم (خطر برای تمرین کنندگان): حضور در وب تاریک (دارک وب) و وب عمیق (دیپ وب) حتی برای کنجکاوی می تواند عواقب جبران ناپذیری برای فرد داشته باشد. لذا این پست را صرفا برای افزایش سطح معلومات خود مطالعه کنید و وسوسه ورود …

قبل از شروع نصب و استفاده از جاوا بهترست با چند اصطلاح کلیدی در این حوزه آشنا شویم. در این مبحث به توضیحاتی پیرامون JSR و JCP و RI در جاوا خواهیم پرداخت. Java Community Process: گروهی متشکل 1200 نفر از شرکت های مختلف …

مدیریت حافظه فرایند تخصیص و عدم تخصیص اشیا می‌باشد که در جاوا به آن مدیریت حافظه گفته می‌شود و این مورد در جاوا به صورت خودکار انجام می‌شود. به طور کلی می‌توان گفت برنامه‌نویسی که از نحوه قرارگیری بخش‌های مختلف برنامه خود بر روی …

? واحدهای ظرفیت حافظه در دنیای دیجیتال ? Bit(b) ? Byte(B) ? Kilobyte(KB) ? Megabyte(MB) ? Gigabyte(GB) ? Terabyte(TB) ? Petabyte(PB) ? Exabyte(EB) ? Zettabyte(ZB) ? Yottabyte(YB) Visits: 407

در این مبحث به آموزش الستیک سرچ (Elastic Search) میپردازیم. ElasticSearch یا (ES) یک موتور جستجو و تحلیل منعطف، قدرتمند، متن باز، توزیع شده­، دسترسی بالا[1] و بلادرنگ می­باشد که هسته شاخص­ گذار آن کتابخانه Lucene می­ باشد.گاهی از موتور جستجو به عنوان یک …

مقدمه امروزه به علت گستره وسیع موتورهای جستجو و کارکردهای متفاوت آنها در حوزه های مختلف، انتخاب یک موتورجستجوی مناسب در راستای مرتفع کردن نیازمندی های مورد نظر مستلزم، مطالعه و مقایسه موتورجستجوهای موجود است. از این رو در این مبحث پیرامون مقایسه­ ی …

با یکی دیگر از مباحث مبانی در حوزه گراف کاوی و تحلیل شبکه های اجتماعی با عنوان ساختار های منطقی ذخیره سازی گراف را خدمتتان هستیم. ❗️توجه: هر چند این مبحث ساده به نظر میرسد ولی مرجعی برای خیلی از مباحث تحلیلی، در حوزه …

ایست واژه‌ها یا Stop Word: کلماتی هستند که با وجود به تکرار بسیار زیاد آن و حضور آنها در اغلب اسناد فاقد اطلاعات معنابخش هستند. بنابراین با حذف آن‌ها کارایی الگوریتم‌ها افزایش  و حجم پردازش کاهش می‌یابد. ایست واژه ها لغاتی هستند که علی …

پروتکل Gossip یا پروتکل شایعه به منظور ارتباط بین ماشین هایی که در کلاستر های مختلف در حال سرویس دهی هستند بکار می رود به جهت اینکه سرویس دهنده ها آخرین وضعیت خود را به دیگران اطلاع دهند و همچنین از آخرین وضعیت دیگر …

فراموش کردن تاریخ تولد در فیس بوک اکانت فیسبوک من مدتی است غیر فعال شده و هنگام ورود به فیسبوک از من تاریخ تولید و نام دوست های من را می پرسد ولی من تاریخ تولید و نام دوستانم را فراموش کرده ام. به …

معرفی کتابخانه beautifulsoup پایتون : به منظور تجزیه کردن یا پارس کردن صفحات وب با پایتون (فایل های HTML) میتوان از این کتاب خانه استفاده کرد. همچنین از این کتابخانه میتوان برای تجزیه کردن فایل های XML استفاده کرد. مفاهیم کتابخانه beautifulsoup به منظور …

یکی از منابع اصلی برای جمع آوری اطلاعات در فضای سایبر شبکه های اجتماعی هستند. شبکه های اجتماعی مختلف از لحاظ جمع آوری اطلاعات درجه اهمیت متفاوتی دارند. این اهمیت با توجه با کشور نوع کشور نیز متغییر است چراکه در برخی از کشورها …

نصب دستی پایگاه داده کاساندرا از این جهت  برای ما اهمیت دارد که ممکن است گاهی دسترسی به اینترنت برای نصب خودکار کاساندرا نداشته باشم  یا اینکه در مواردی اتصال سرورهای ما به اینترنت مجاز نباشد (که معمولا با این مورد در اکثر پروژه …

نصب دستی JDK برای ما از این جهت اهمیت دارد که ممکن است گاهی دسترسی به اینترنت برای نصب اتوماتیک JDK نداشته باشم  یا اینکه در مواردی اتصال سرور به اینترنت ممنوع باشد. تمام ابزار های جاوایی در حوزه بیگ دیتا که در این …

پیکره واژگان یا WordNet یک مجموعه ی نسبتا بزرگ از لغات و ارتباط آن ها در ساختار متون است. وردنت در حقیقت رابطه معنایی بین دو کلمه را بیان میکند. به عنوان مثال کبوتر از نوع پرنده است و پرنده یک نوع حیوان است …

در این مبحث به کتابخانه ی با ارزش پایتون وب اسکرپ (web scraping) به منظور جمع آوری اطلاعات از یک صفحه وب خواهیم پرداخت. همگی میدانیم که یکی از منابع اصلی داده در دنیا امروز، متون و محتوای موجود در سایتهای اینترنتی است. اسکرپ …

خلاصه ­سازی متن یا summarization، فشرده ­سازی متن به حالت کوتاه­تر از متن اصلی است، به طوری که محتوای اطلاعاتی متن و به طور کلی مفاهیم کلی متن حفظ شود. به توجه به اینکه اسناد زیادی در اینترنت موجود است که بیشتر آنها محتوی …

فراییند تشخیص موجودیت های اسمی (NER) named entity recognition برای تشخیص اسامی و نوع آنها به کار می ­رود. تشخیص موجودیت­ های اسمی فرآیندی است که هدف از آن تشخیص و شناسایی کلمات یا عباراتی است که نمایانگر یک موجودیت می­باشند. برای تشخیص موجودیت­ …