خصوصیات بیگ دیتا یا کلان داده چیست؟ و جایگاه هدوپ کجاست

کلان داده

کلان‌داده (Big Data) اصطلاحی است که برای تعریف داده‌ها در حجم انبوه استفاده می‌شود: حجم بزرگ یا پیچیده‌ای از داده‌ها که ابزارهای متداول پردازش داده‌ها برای تحلیل و کاوش آن ناتوان باشد. «کلان‌داده دارایی‌های اطلاعاتی را شامل می‌شود که ویژگی‌هایی همچون حجم بسیار زیاد …

ادامه مطلب

ایجاد انبارداده(DWH)، دریاچه داده(Data Lake)، بازار داده(Data Mart) و مکعب داده(Data Cube)

دریاچه داده

داده ها با توجه به حجم و کاربرد آنها در منطق هاي مختلف ذخيره سازي مي شوند که منجر به بوجود آمدن اصطلاحات تخصصي در اين مورد شده است. که هر کدام بار معنايي خودش را به همراه دارد. واژه هايي مثل ديتا ليک، …

ادامه مطلب

آپاچی دروید (druid) پایگاه داده ای برای انبارش داده، تحلیل سری زمانی و OLAP

قابلیت های آپاچی دروید

این مبحث شما را با Apache Druid و برخی از ویژگی های اساسی آن آشنا می کند. پس از این مراحل، Druid را نصب می‌کنید و داده‌های نمونه را با استفاده از ویژگی جذب دسته‌ای بومی آن بارگیری می‌کنید. آپاچی دروید (druid) نیازمندی های …

ادامه مطلب

آموزش کامل شبکه عصبی ( artificial neural network) و نحوه استفاده آن

جایگاه شبکه عصبی

از چند دهه گذشته که رایانه‌ها امکان پیاده‌سازی الگوریتم‌های محاسباتی را فراهم ساخته‌اند، در راستای شبیه‌سازی رفتار محاسباتی مغز انسان، کارهای پژوهشی بسیاری از سوی متخصصین علوم رایانه، مهندسین و همچنین ریاضی‌دان‌ها شروع شده است، که نتایج کار آن‌ها، در شاخه‌ای از علم هوش مصنوعی و در …

ادامه مطلب

روش های داده کاوی (Data Mining) به زبان ساده

مدل داده کاوی CRISP

امروزه داده کاوی به عنوان پایه و مبنای تصمیم های مهم محسوب می‌شود. داده کاوی به ما کمک می‌کند که سامانه هایی را توسعه دهیم که قادر است از میان میلیون‌ها یا میلیاردها رکورد، روابط غیر آشکار را شناسایی کند. داده کاوی در حال …

ادامه مطلب

طراحی انبار داده و هوش تجاری دو مولفه اصلی برای هوشمندسازی سامانه ها

انبار داده

هدف از ارائه این مبحث آشنایی خواننده با مفاهیم انبار داده Data wareHouse و فن آوری های مرتبط  در هوش تجاری (BI) می باشد. انباره های داده، پایه گذار فن آوری لازم برای ساخت و بهره برداری از برنامه های هوشمند هستند. انبار داده …

ادامه مطلب

آموزش کامل پلتفرم کلودرا (Cloudera) در هدوپ با رویکرد ساده سازی بیگ دیتا

کلودرا در هدوپ

 هدوپ یک پروژه مبتنی بر برنامه نویسی متن باز است که توسط سازمان نرم افزاری آپاچی ایجاد شده است. ایده اولیه هدوپ اولین بار در شرکت گوگل رقم خورد اما خیلی ها باور به پیاده سازی این سیستم نداشتن و در چند سال اول …

ادامه مطلب

معماری لامبدا در مقابل معماری کاپا برای بیگ دیتا و پردازش سريع درData Lake

معماری لامبدا

تولید بی‌­وقفه داده­‌ها در دنیای امروز، نیاز به پایش لحظه­‌ای و سریع اطلاعات در کنار ذخیره آنها برای پردازش­های تحلیلی، ما را به سمت ساختاری هدایت می­کند که بتواند هر دو وجه از این نیازمندی یعنی پردازش جریان­‌های داده به صورت لحظه­‌ای و بدون تاخیر وپردازش­های …

ادامه مطلب

آموزش کامل مالتگو (Maltego) ابزاری برای جمع آوری اطلاعات و جرم شناسی

مالتگو

ابزارهای زیادی برای استخراج داده ها، مدل سازی داده ها و مشاهده اطلاعات تهدید مانند Maltego، Splunk و Tenable وجود دارد. مالتگو ابزاری بسیار محبوب برای هکر ها و متخصصان جرم شناسی که باعث اسان شدن عملیات فارنزیک و جمع اوری اطلاعات میشود به …

ادامه مطلب

گیمیفیکیشن (gamification) یا بازیگونه سازی چیست؟

گیمیفیکیشن

اگر به دنبال بهترین نمونه های گیمیفیکیشن در زمینه تجاری هستید ، به مکان مناسب رسیده اید. آیا می دانستید 83 درصد از کارکنان وقتی آموزش های خود را به صورت گیمیفیکیشن انگیزه می دهند بسیار بیشتر هستند؟ علاوه بر این ، بازی سازی …

ادامه مطلب

مرز خودکفایی، برون سپاری، بومی سازی و استقلال در حوزه نرم افزار کجاست؟

برون سپاری نرم افزار و فناوری اطلاعات

مدتی پیش مطلبی در حوزه سیاست مطالعه کردم که میتواند مقدمه ای خوبی برای تعیین رویکردهای بکارگیری و حتی راهبردهای تهیه نرم افزاری یک سازمان یا شرکت بزرگ و حتی کشور باشد. به همین دلیل عین مطلب را در ادامه کپی میکنم و البته …

ادامه مطلب

علائم و حروف و نمادهای ریاضی و آمار همراه با تلفظ و کاربرد (علائم لاتین و یونانی)

علائم ریاضی و حروف و نمادهای ریاضی و آمار همراه با تلفظ و کاربرد (علائم لاتین و یونانی)

در این پست سعی کردیم کلیه نمادهای یونانی و انگلیسی به کار رفته در ریاضی را بررسی کنیم، خوشحال می‌شویم در صورتی که انتقادی به متن دارید، در بخش نظرات با مطرح کنید. در ریاضیات علامت‌های بسیار زیادی وجود دارد که هرکدام مقادیر مختلفی …

ادامه مطلب

مدل داده ای ستون گرا و تعریف شِمای مبتنی بر ستون در کاساندرا

مدل داده ای ستون گرا در کسندرا

پایگاه داده های ستون گرا به طور بالقوه می توانند به عنوان یک انبار داده استفاده شوند که قادر است به طور طبیعی پرس و جوهای OLAP را اداره کند. این روش در سال 2012 در مطالعات مختلف ارائه شده است و اکنون محبوبیت …

ادامه مطلب

آشنایی با موسسه استانداردNIST یا مؤسسه ملی فناوری و استانداردها

NIST

موسسه ملی فناوری و استانداردها(NIST)، تاسیس ۱۹۰۱، نام یک موسسه دولتی علمی در آمریکا است. این موسسه زیر نظر وزارت بازرگانی ایالات متحده آمریکا فعالیت می‌کند، و هدف از آن تشویق نوآوری و رقابت صنعتی توسط پیشبرد علوم سنجشی و فناوری در آمریکا بگونه‌ایکه …

ادامه مطلب

تعاریف سه واژه دکترین، راهبرد و نقشه راه و تفاوت های آنها

دکترین

دکترین در سیاست معمولاّ مجموعه اقدامات و خط‌مشی سیاسی یک دولت‌مرد است که دارای جنبه ابتکاری بوده و آثاری برجای می‌گذارد و مشابه اقدامات و سیاست‌های دولت‌مردان دیگر نیست. در منطق، دکترین بر دو نوع آمده است؛ یکی برای کشف حقیقت به‌کار می‌رود که …

ادامه مطلب

جنگل تصادفي يا رندم فارست چيست و چگونه و در چه مواردي بايد استفاده شود

جنگل تصادفي

جنگل‌ تصادفی یا جنگل‌های تصمیم تصادفی (Random forest) یک روش یادگیری ترکیبی برای دسته‌بندی، رگرسیون می‌باشد، که بر اساس ساختاری متشکل از شمار بسیاری درخت تصمیم، بر روی زمان آموزش و خروجی کلاس‌ها (کلاس‌بندی) یا برای پیش‌بینی‌های هر درخت به شکل مجزا، کار می‌کنند. …

ادامه مطلب

درخت تصمیم چیست و چگونه از الگوريتم هاي آن وضعیت آینده را پیشبینی کنیم

درخت تصمیم

اگر میخواهید تا تصمیم پیچیده‌ای بگیرید و تصمیم دارید تا مسائل را برای خودتان به بخش‌های کوچک‌تری تقسیم کرده تا به شکل بهتری قادر به حل آن‌ها شوید، می‌توانید از درخت تصمیم استفاده کنید. درخت تصمیم نقشه‌ای از نتایج احتمالی یکسری از انتخاب‌ها متوالی …

ادامه مطلب

آموزش تست و ارزیابی کیفیت نرم افزار(QC) و تضمین کیفیت(QA) سیستم های نرم افزاری(SQA)

ارزیابی کیفیت نرم افزار

ارزیابی کیفیت نرم افزار فرایندِ تلاش جهت پیدا کردن نقص است. یکی از مسائل مورد توجه توسعه‌دهندگان نرم‌افزار، ارزیابی کیفیت نرم‌افزار و به تبع آن، پرداختن به موضوع تعیین شاخص های مؤثر ارزیابی است. با توجه به چرخه حیات نرم‌افزار می‌توان گفت بررسی و …

ادامه مطلب

تفرقه ادیان الهی توسط یهود بعد از حضرت ابراهیم(ع) و قتل پیامبران الهی

مسیر-مهاجرت-حضرت-ابراهیم

از روز نخست و پس از هبوط حضرت آدم (ع) بر زمین، ابلیس برای اغوای انسان‌ها کمر همّت بسته و عزم خود را با سوگندی بزرگ جزم کرده بود. او خدا را به عزّتش خوانده و سوگند خورده بود که فرزندان آدم را اغواء کرده و …

ادامه مطلب