.•**•. پرند وب .•**•.

سلام باید خدمت شما عرض کنم که من یه چند وقتی بود که منتظر بودم یکی از کاربران در مورد ربات های گوگل سوالی بپرسد واقعا" سوال خوبی پرسیدید:

این Googlebot  دیگه چیه اگه میشه دربارش توضیح بدید؟ متشکرم

گوگل از تعداد بسیار زیادی از کامپیوتر های قدرتمند برای واکشی میلیارد ها صفحه ی روی وب استفاده می کند. برنامه ای که عمل واکشی یا Crawl را انجام می دهد Googlebot نام دارد. به Googlebot اصطلاحات دیگری مانند robot، bot، spider و روبات گوگلی نیز شناخته می شود. Googlebot از یک سری برنامه های کامپیوتری پردازش الگوریتمیک استفاده می کند که تصمیم بگیرد چه سایتی را Crawl کند و این که چند وقت یکبار و هربار چه تعداد صفحه واکشی شود.

عملیات crawl گوگل بایک لیست از ادرس ها (URL) صفحات وب شروع می شود که از عملیات Crawl پیشین و اطلاعات نقشه های سایت که توسط دارندگان سایت ها ارسال می شود ساخته شده است. ربات گوگل با بررسی هر کدام از این وبسایت ها آدرس لینک های موجود را پیدا کرده و درلیست خود برای Crawl آینده ثبت می کند. سایت های جدید به لیست اضافه می شوند و سایت های موجود هم برای بررسی به روز رسانی های فهرست گوگل در لیست ثبت می شود.

گوگل برای Crawl کردن بیشتر یک سایت پول نمی گیرد. به گفته سایت گوگل بخش موتور جستجو به طور کل از بخش تجاری گوگل جداست و تغییر در تاریخ یا تعداد Crawl کردن صفحه با پرداخت پول و امثال آن غیر ممکن است.

Googlebot هر یک از صفحات Crawl شده را پردازش می کند و کلمات و موقعیت قرار گرفتن هر کدام را مشخص می کند. ضمنا داده های موجود در در تگ های مختلف و ویزگی های ALT را نیز پردازش می کند. ربات گوگل می تواند بسیاری از انواع فایل ها را پردازش کند ولی در بعضی موارد نمی تواند تمام فایل ها را بپذیرد. مثلا گوگل هنوز در پردازش بعضی صفحات دینامیک و بعضی از فایل های رسانه ای (media) مشکل دارد. در واقع در مرحله ایندکس روبات گوگل صفحات crawl شده را را پردازش می کند و با بررسی محتوا و کلمات و … آن را در دسته بندی های مناسب فهرست می کند و از این پس می توانید آن را جستجو کنید.