خانه بیگ دیتا تحلیل شبکه های اجتماعی، متن کاوی، داده کاوی، اوسینت و داده های حجیم

پیمانگی Louvain جهت خوشه بندی: پیمانگی (modularity) ابتدا به عنوان معیاری جهت تعیین مرحله توقف الگوریتم گیروان و نیومن مورد توجه بود، ولی به سرعت به جزء پر اهمیت تعداد زیادی از الگوریتم‎های تشخیص انجمن تبدیل شد. این معیار فرمولی برای محاسبه کیفیت تقسیم …

در مباحث قبل مقدمه ای در رابطه با بصری سازی یا بازنمایی گراف ارائه شد. در این مبحث به بصری سازی گراف شبکه های اجتماعی به روش الگوریتم FA یا (Force-Atlas) میپردازیم. این الگوریتم در ابزار محبوب بصری سازی گفی (Gephi) مورد استفاده قرار …

یکی از مسائل مهم حوزه گراف کاوی، ترسیم گراف یا بصری سازی است. یک گراف، یک شکل هندسی چندبعدی است که به خاطر همین خاصیت چندبعدی بودن آن بی‌نهایت ترسیم مختلف می‌توان از آن به وجود آورد که فقط تعداد معدودی از این ترسیم‌ها …

بصری سازی گراف یا بازنمایی  روشی به منظور قابل درک کردن گراف برای ذهن انسان است. نمایش بصری گراف برای استخراج اطلاعات و تحلیل گراف توسط انسان بسیار حائز اهمیت است. در حقیقت بخش نمایش بصری، وظیفه خلاصه سازی اطلاعات را نیز بعهده دارد. …

به منظور فرایند گراف کاوی در تحلیل شبکه های اجتماعی میبایست گراف ها را در ساختار مناسب ذخیره کنیم. ساختار داده گراف یا مدل داده گراف دارای عناصر متفاوتی است که برای نگهداری اطلاعات گراف استفاده میشود. بنابراین ساختار فایل های گراف باید به …

معیارهای مرکزیت (centrality) نحوه اتصال یک نود به نودهای دیگر در یک شبکه اجتماعی میتواند اطلاعاتی راجع به مهم بودن و یا مهم نبودن آن نود در کاربردهای خاص مشخص نماید. بعنوان مثال میتوانیم مشخص کنیم کدام نود در انتشار شایعه بیشترین تاثیر را …

بررسی ساختار و توپولوژی گراف شبکه های اجتماعی شبکه‌هاي اجتماعي  به طور عمده از دو ديدگاه قابل بررسي مي‌باشند: ساختار و ديناميک ( به زبان ساده داینامیک یعنی تحلیل در بستر زمان). بررسي‌ها نشان مي‌دهد که اين شبکه ها در خصوصيات مشترک ساختاري به …

نکته­ مهمی که باید پیش از نصب و راه ­اندازی Cassandra به آن توجه کرد، نسخه آن است. جدیدترین نسخه Cassandra (در زمان تحریر این سند) 3.9 و جدیدترین نسخه پایدار آن، 2.2.8 است. نسخه 2.2.8 ، پایان حیات سری 2.0 است (یعنی آخرین …

نکته­ مهمی که باید پیش از نصب و راه­ اندازی Cassandra به آن توجه کرد، نسخه آن است. جدیدترین نسخه Cassandra (در زمان تحریر این سند) 3.9 و جدیدترین نسخه پایدار آن، 2.2.8 است. نسخه 2.2.8 ، پایان حیات سری 2.0 است (یعنی آخرین …

در این مبحث به توضیحات مختصصری در رابطه با معماری پایگاه داده مانگو در بخشبندی داده و نوزیع شدگی میپردازیم. در مباحث قبل با واحد های داده ای در MongoDB آشنا شدیم. معماری پایگاه داده مانگو در روش بخشبندی Sharding: به معنی پردازش از …

مدل واحدهای داده ای در MongoDB: بلعکس پایگاه داده های رابطه ای که همگی از ایده جداول (مجموعه ها) و رابطه ها ایجاد شده اند، هر پایگاه داده غیر رابطه ای (NOSQL) ایده ای خاص در نگهداری داده های مطلوب به خود دارد که …

مقایسه کاساندرا با HBase, MongoDB, CouchDB, Neo4j در این مطالعه در دانشگاه Coimbra پایگاه داده‌های Neo4j، Cassandra، Hbase، MongoDB، OrientDB، و Redis مورد ارزیابی قرار گرفته‌اند. همچنین محققان دانشگاه تورنتو مطالعه‌ای در جهت بررسی عمکرد چندین پایگاه داده NoSQL یک سری آزمایش انجام داده …

اغلب پایگاه داده های مبتنی بر گراف به طور طبیعی زیرمجموعه‌ای از NoSql ها محسوب می‌شوند و اطلاعاتشان را به صورت key-value یا دیتابیس سند محور (document-oriented database) ذخیره می‌کنند. در شرایط کلی آنها می‌توانند به عنوان دیتابیس key-value با بهره‌گیری از مفهوم روابط …

انواع پایگاه داده های NOSQL: پایگاه داده های غیر رابطه ای براساسِ روشی که داده­  ها را ذخیره می­کنند، دسته ­بندی می­شوند. هر چند امروزه بعضی از پایگاه داده های غیر رابطه ای پا را از دسته بندی مطرح شده در این مبحث فراتر …

قضیه CAP : عبارت CAP ترکیب سرنام مفاهیم زیر است: سازگاری (Consistency): در هنگام توزیع شدگی، بخش‌ها اطلاعات یکسانی را در لحظه داشته باشند. دسترسی‌پذیری (Availability): هر درخواست خواندن و نوشتنی همیشه بدون پاسخ نباشد. تحمل بخش‌ها(Partition tolerance): در هنگام توزیع شدگی هر بخشی …

شاید باور اینکه  پایگاه داده قدرتمند کاساندرا به راحتی بر روی سیستم عامل ویندوز نصب میشود سخت باشد ولی از آنجایی که این پایگاه داده با زبان جاوا توسعه داده شده است، توسعه دهندگان آن بسته متانسب با اجرای کاساندرا در ویندوز را برای …

بررسی MongoDB: مانگو در سال 2007 توسط شرکت 10gen شروع به توسعه شد و در مارس 2010 اولین نسخه آن منتشر شد. Mangodb یک پایگاه داده سند گرا می‌باشد که از اعضای خانواده NOSQL می‌باشد. ساختار استفاده شده در  پایگاه داده مانگو JSON می‌باشد …

پایگاه داده های NoSQL ها در واقع همان بانک های اطلاعاتی غیر رابطه ای و توزیع شده هستند که لزوما برای نگهداری داده ها نیازی به ساختار جدول ندارد و میتواند به سادگی عملیات Replication را انجام دهد. البته ایده پایگاه داده NoSQL تقریبا بیش …

کاساندرا از یک تعادل بین سازگاری و در دسترس بودن از طریق سطوح سازگاری ایجاد می‌کنند. اساساً، سطح سازگاری یک عملیات مشخص‌کننده این است چه تعداد replica  باید پاسخ دهند تا از صحت یک عمل مطمئن شویم. قبل از هر چیز بهتر است مفهوم …

در پست های قبل مراحل نصب کسندرا به تفضیل مورد بررسی قرار گرفت. در این مطلب به نحوه کار با کاسندرا با زبان پرسوجوی CQL ا اشاره میکنیم. بعد از نصب پايگاه داده مي­توان با استفاده از امکانات شل cli با آن کار کرد …