انواع User Agent برای خزش در وب به صورت مودبانه (politeness)

پروتکل  HTTP یک پروتکل درخواست و پاسخ  است که بین یک کلاینت و یک سرور برقرار می شود . در اینجا کلاینت همان  User Agent (مرورگر شما) است و منظور از سرور یک وب سایت اینترنتی می باشد . نکته : User agent نوع مرورگر و سیستم عامل سرویس گیرنده را مشخص می نماید و این موضوع می تواند مواد اولیه لازم برای تدارک برخی حملات توسط مهاجمان را تامین نماید .

وبسایتها رابط کاربری مجزایی را برای نمایش محتوای وب سایت خود روی گوشیهای موبایل و تبلت ها ارائه کرده اند.هر مرورگری یه پارامتری داره بنام USER AGENT (بطور خلاصه UA) که مثل شناسنامه ی مرورگر است و اطلاعاتی از سیستم عامل ، نوع مرورگر ، موتور رندر مرورگر و نوع دستگاهی که این مرورگر روش نصب هست را ارائه میده. شما بعنوان برنامه نویس سایت می توانید هنگامی که کلاینت، صفحه ای را درخواست میکند ، همون اول کار با دستوراتی که در asp.net و php و بقیه زبانها وجود دارد، user agent کاربر را تشخیص دهید و بنا به نوع مرورگر کاربر، صفحات گوناگونی رو برایش response کنید.

تمامی وب سایت های موجود بر روی‌ اینترنت از پروتکل HTTP استفاده می نمایند . با این که پروتکل HTTP  با استفاده از پروتکل های دیگری نظیر IP در لایه شبکه و TCP در لایه انتقال ماموریت خود را انجام می دهد ، ولی این پروتکل HTTP است که به عنوان زبان مشترک ارتباطی بین سرویس گیرنده و سرویس دهنده وب به رسمیت شناخته شده و از‌ آن استفاده می گردد . در واقع مرورگر وب صدای خود را با استفاده از پروتکل HTTP به گوش سرویس دهنده وب رسانده و از وی درخواست یک صفحه وب را می نماید.

در ادامه میتوانید لیست تقریبا کاملی از USER AGENT ها همچنین رزولوشن های مختلف که نشان دهنده تجهیزات متصل شده به وب سایت (وب سرور) را دانلود کنید.

دانلود لیست user-agent

دانلود لیست resolution

چگونه می توان User Agent یک مرورگر را تغییر داد؟

بعضی مواقع لازم است برای تست یک وب سایت بتوان User Agent مرورگر را تغییر داد تا محتوای مربوط به آن User Agent لود شود، آیا این کار امکان پذیر است؟ رای این کار مرورگرهای مختلف پلاگین دارند که User Agent مرورگر را تغییر می دهد، برای مثال پلاگین User Agent Switcher در فایرفاکس این کار را انجام می دهد. همپنیناین قابلیت به صورت توکار در IE11 ارائه شده است. با فشردن دکمه F12 در تب Emulation این امکان وجود دارد.

آدرس کانال تلگرام سایت بیگ دیتا:

t.me/bigdata_channel

آدرس کانال سروش ما:
https://sapp.ir/bigdata_channel

جهت دیدن سرفصل های دوره های آموزشی بر روی اینجا کلیک کنید.

بازدیدها: 1450