چگونه بفهمید وبسایت شما توسط ربات بازدید می شود؟
بازدید وبسایت توسط ربات
جالب است بدانید که ربات ها بیش از نیمی از ترافیک اینترنت را در برگرفته اند. در ادامه ی این مقاله به شما خواهیم گفت که چگونه آن ها را کشف کنید و از وب سایت خود محافظت کنید.
ربات ها نرم افزارهای کاربردی هستند که اسکریپت ها (برنامه های کوچکی که به وسیله آن ها می توان برخی وظایف تکراری و یا یک وظیفه طولانی را به طور خودکار انجام داد) را بر روی اینترنت اجرا می کنند. گزارشات اخیر Radware حاکی از این است که 79% مدیران CISO و تیم امنیتی IT ادعا کرده اند که هنوز نتوانسته اند به طور قطع تشخیص دهند که آیا ترافیک وب ناشی از انسان است یا ربات ها.
Reid Tatoris یکی از معاونان فروش و بازاریابی فروش محصولات در دنیای مجازی می گوید: بسیار پر اهمیت است که فرق ربات های بد و خوب را بدانیم تا بتوانیم با آن ها اصولی برخورد کنیم. ربات های خوب موتورهای جستجو را قادر می سازند تا به محتوای وب دسترسی یابند، خدمات مقایسه ای انجام دهند (در فروشگاه های اینترنتی در مورد قیمت ها)، انواع و اقسام جستجوها را برای کاربران انجام دهند و مثلاً در فضای مجازی افراد را قادر سازند تا با یکدیگر چت کنند.
در مقابل ربات های بد برای انجام انواع فعالیت های مضر از جمله داده کاوی، کلاهبرداری های آنلاین، ربودن حساب، سرقت اطلاعات، اسپم و تبلیغات تقلبی دیجیتال استفاده می شود که شامل هکرها، اسکراپر و اسپم ربات ها می شوند و در بسیاری از وب سایت ها توسط بسیاری از گروه ها برای اهداف مختلفی چون جرایم سازمان یافته، استفاده می شود. راه های بسیاری برای اینکه بتوانیم تشخیص دهیم آیا وب سایت توسط ربات بازدید شده است یا خیر وجود دارد. دانستن این موضوع به ما کمک می کند تا بتوانیم جلوی این فعالیت های مضر و سوء استفاده ی برخی گروه ها از وب سایت را بگیریم.
در اینجا پنج راه را پیش رویتان می گذاریم:
1- بر روی تلاش افراد برای لاگین شدن یا ورود به وب سایت نظارت کنید.
یکی از سود آورترین راه ها برای حمله به یک سایت از طریق وارد کردن یوزرنیم و پسورد می باشد. بدین گونه که ربات ها هزاران هزار یوزرنیم و پسورد را با هم ترکیب کرده و در هزاران هزار سایت با حجم بسیار وسیع و سرعتی بسیار بالا انجام می دهند تا بالاخره یکی از نام کاربری و رمز عبور با هم تطابق یافته و سایتی را باز کند؛ که نتیجه ی آن سوء استفاده از اطلاعات سایت می باشد.
ساده ترین راه برای شناسایی این نوع ربات ها، کنترل میزان موفقیت و شکست تلاش ها برای ورود به سایت در حجم بالاست. اگر چه این ربات ها بسیار پیشرفته بوده و شناسایی آن ها بسیار دشوار است، اما لاگین های شکست خورده ی زیادی را برای وارد شدن به سایت تجربه می کنند. پس می توان گفت لاگین های شکست خورده ی زیاد نشانی از تلاش برای ورود این ربات هاست.
2- هیستوری و تاریخچه ی وقایع سرور را چک کنید.
از دیگر اقدامات لازم برای شناسایی ربات، چک کردن وقایع و تاریخچه مربوط به سرور است. هر کامپیوتری که به وب سایتتان متصل می شود، روی سرور شما ردیابی خواهد شد. پس با توجه به تاریخچه و هیستوری مربوط به هر کاربری که به وب سایتتان متصل شده است، می توان همه ی کاربران را تجزیه و تحلیل کرد تا اگر مورد مشکوکی یافت شد، به ربات شک شد.
اکثر ربات ها به طور منظم و چند بار در روز از یک وب سایت بازدید می کنند. یعنی در صورتی که یک IP مشابه را چند بار در روز در تاریخچه ی سرور دیدید، احتمالاً ربات است. آدرس IP، موقعیت مکانی و نام هاست. میزبان را به صورت دستی بررسی کنید. اگر متوجه شدید که آدرس یک محل مسکونی نیست، به احتمال بسیار زیاد ربات است.
3- Outbox ایمیلتان را چک کنید.
اگر پوشه ی ارسالی ایمیلتان شامل پیام هایی است که به صورت پیش نویس آماده شده، ارسال شده یا به شما بازگردانده شده است که خودتان خبر ندارید و اصلاً به طور کلی خودتان آن ها را ننوشته اید، نشانه ای بارز از وجود ربات است. این ربات قصد دارد با ارسال ایمیل ها، نرم افزارها و malware های مخرب به افراد، به رایانه های افرادی با اکانت ایمیل نفوذ کند.
4- اگر سرعت وب سایت کند شده است به دنبال علت باشید.
ربات ها سریعاً در میان وب سایت ها حرکت می کنند. این کار در حافظه ی کش ذخیره می شود. بنابراین شما درخواست های سرور زیادی را در هر ثانیه دریافت می کنید که می تواند سیستم را بیش از حد کند کرده و موجب کاهش شدید بارگیری شود. این کاهش سرعت را در نظر داشته باشید و در صورتی که به وجود ربات پی بردید برای عدم سقوط سایتتان چاره ای بیندیشید. زیرا سایتی که سرعت کمی داشته باشد، مخاطب را خسته کرده و دور می کند.
5- بررسی کنید که آیا محتویات سایت شما در دیگر سایت ها نمایش داده می شود یا خیر؟
ربات ها می توانند محتویات وب سایت ها را بدون اجازه کپی کرده و در جاهای دیگر پست کنند. سایت Copyscape می تواند به شما کمک کند تا اطلاع پیدا کنید که آیا محتویات سایتتان در سایت های دیگر کپی شده است یا نه؟ اگر آدرس URL یکی از صفحات وب سایتتان را در فیلد جستجوی این سایت وارد کنید، هر صفحه ای را که محتویاتش بیشترین شباهت را به صفحه ی شما داشته باشد، برایتان نمایش می دهد. بدین صورت می توانید مطمئن شوید که آیا مطالبتان کپی می شود یا خیر.
همچنین می توانید جملاتی را از وب سایت خود در گوگل جستجو کنید تا اگر مطالب شما کپی شده است شناسایی کنید.
* وارد بحث شوید و دیدگاه هایتان را به اشتراک بگذارید.
* پس از تایید دیدگاه، ارسال پاسخ توسط دیگران، و یا ثبت دیدگاه جدید توسط سایر کاربران در مطالب مورد علاقه خود، ایمیل اطلاع رسانی دریافت کنید.
* با دریافت لایک از سایر کاربران دیدگاه خود را به جایگاه های بالاتر برسانید.
* با ثبت دیدگاه سازنده و مفید، نظر نویسنده مطلب را جهت پین کردن دیدگاهتان جلب کنید.
* تنها با آموزش و یادگیری می توان آینده را ساخت. پس اگر مطلب یا دیدگاه مفیدی در رابطه با این مقاله دارید، حتما در قسمت دیدگاه ها با دوستان خود در میان بگذارید.
سلام. یک آی پی که تمام ساعت در طول روز از وبلاگم بازدید میکنه و isp اون google LLC است، میتواند روبات باشد؟