آموزش ساخت فایل Robots.txt و دستورات آن

همانطور که پیش از این بیان کرده ایم وظیفه ی این فایل جلوگیری از دسترسی ربات های موتور جستجو به برخی از محتویات طراحی سایت شماست. این ربات به صور اتوماتیک کار می کند.
برای آشنایی بیشتر با این مفهوم و نحوه کارکرد آن به مقاله " فایل Robots.txt در طراحی سایت چه نقشی دارد؟ " مراجعه نمایید.
در این پست قصد داریم تا نحوه تولید این فایل و دستوراتی که باید در این فایل قرار بگیرند را بررسی کنیم.
برای تولید یک فایل زمانی که کار طراحی وب سایت به پایان رسید و در مرحله قرار دادن سایت بر روی هاست بودید می توانید اقدام کنید. پس از وارد شدن بر روی هاست شما باید آن را بر روی ریشه اصلی کپی کنید. 
اگر به هر دلیلی دسترسی شما به سرور محدود شده باشد می توانید با استفاده از متاتگ ها در هدر صفحه از دسترسی ربات جلوگیری کنید.

دستوراتی که می توان در این فایل وارد نمود:
قبل از هر چیز باید بدانید که ربات های اینترنتی از دو قانون استفاده می کنند. که به شرح زیر است.
User Agent: رباتی است که نباید به صفحه دسترسی داشته باشد.
Disallow: نشان دهنده آدرس صفحه ای است باید از دید ربات پنهان باشد.
این دو دستور بسیار کاربردی هستند و با ترکیب آنها می توانید برای دسترسی های مختلف به صفحات داخلی سایت قوانین متفاوتی را وضع کنید.
تمامی ربات های اینترنتی معتبر در دیتابیس Web Robots Database موجود می باشد و شما می توانید با قرار دادن نام آنها به عنوان User Agent قوانین معینی را تعریف و مشخص کنید.
همچنین می توانید با استفاده از برخی کراکتر های خاص قوانینی تعریف کنید. به طور مثال با قرار دادن کراکتر *  به جای نام در فایل Robots.txt یک قانون را بر تمامی ربات ها اعمال نمایید.
User-Agent: *
Disallow: /NEW1/

طراحان وب سایت به خوبی اطلاع دارند که موتور جستجوی گوگل چندین ربات ویژه دارد که معروف ترین آن Google Bot است.
این بات وظیفه ی بررسی و ایندکس کردن صفحات وب را برعهده دارد.
User-Agent: Googlebot
Disallow: /NEW2/

باید به این مسئله توجه داشته باشید که فایل Robots.txt نسبت به کوچکی و بزرگی حروف حساس بوده و باید در وارد کردن آدرس صفحات دقت لازمه را انجام دهید.

 اعمال محدودیت و قوانین می تواند به یک صفحه خاص و یا بک دسته از صفحات باشد.
استفاده از کاراکتر / برای عدم دسترسی ربات به محتویات صفحات:
Disallow: /
جهت عدم دسترسی ربات به یک فولدر خاص با دستور روبرو
Disallow: /Article/
جهت اعمال محدودیت به صفحه ای خاص با آدرس دقیق آن
Disallow: /Article/Anythings/
محدود کردن یک تصویر بر روی سایت با استفاده از دستور زیر 
User-Agent: Googlebot-Image
Disallow: /Pic/Art.jpg
پنهان سازی تمام تصاویر موجود بر روی سایت از دیدگاه موتور جستجو 
User-Agent: Googlebot-Image
Disallow: /
و یا حتی پنهان سازی نوعی از فایل های مشخص، مثال زیر تمامی عکس هایی با فرمت JPG:
User-Agent: Googlebot
Disallow: /*.gif$


_________________________________________

خدمات سان وب در استان البرز: طراحی سایت در کرج ، سئو در کرج