فایل Robots.txt در طراحی سایت چه نقشی دارد؟

زمانی که کار طراحی سایت به پایان می رسد و وب سایت آماده است تا بر روی هاست قرار بگیرید نوبت به ثبت سایت در وبمسترهایی همچون گوگل و پینگ می رسد.
اگر شما در علم برنامه نویسی صفحات وب حرفه ای باشید به خوبی می دانید که ضرورت انجام این کار بسیار مهم است اما در این بین می خواهیم به توضیح مختصری از فایل Robots.txt بپردازیم. برای آگاهی از این مفهوم به شما پیشنهاد می کنیم تا انتهای این مقاله را مطالعه نمایید.
وظیفه فایل Robots.txt محدود کردن دسترسی ربات های گوگل و سایر موتورهای جستجو به محتویات سایت شماست.
زمانی که طراحی وب سایت کامل شد و در مرحله ثبت بر روی هاست است پس از اینکه آن را بر روی وبمستر ثبت نمودید موردی به نام Robots.txt وجود دارد که برای تست این فایل خود وبمستر پیشنهاداتی دارد.


اما این فایل چیست و چه کاربردی دارد؟
توسط این فایل به راحتی می تواند به ربات های وبمستر دستور دهید که چه نگاهی به فایل ها و پوشه های شما داشته باشد.
این ربات ها به طور خودکار صفحات وب را پیمایش نموده و اطلاعات هر صفحه را بدست می آورند و آنها را به موتور جستجوها ارسال می کنند. تعداد دفعات مراجعه ربات ها متفاوت می باشد و بسته به زمان هایی که وب سایت آپدیت می شود.
به طور مثال می توانید با استفاده از این فایل به موتورهای جستجو بگویید که صفحه و پوشه ادمین را ایندکس نکند و یا می توانید آدرس نقشه سایت را قرار داده و به ربات ها ارجاع دهید.
از موارد دیگر استفاده از فایل ربات بلاک نمودن تعدادی صفحه خاص برای جستجوگران می باشد. البته در این مورد باید دقت کنید که هر فایلی را نباید بلاک کرد چون ممکن است پیامد بدی در انتظار سایت شما باشد پس با احتیاط پیش بروید.
شما می توانید صفحاتی از سایت تان را که بلاک شده در گوگل وبمستر تولز نظارت کنید. برای مشاهده صفحات بلاک شده در ابزار وبمستر گوگل می توانید به بخش Blocked Resources مراجعه نمایید.
برای اطلاع از مفهوم و کارکرد گوگل وبمستر تولز و ابزار هایی که در اختیار برنامه نویسان طراحی وب سایت می گذارد به مقاله " دلیل ثبت سایت در وب مستر گوگل " مراجعه کرده و آن را مطالعه نمایید.

اما چگونه می توانیم یک فایل Robots.txt بسازیم؟
این کار بسیار ساده است. در اول کار باید وارد هاست خود شوید و یک فایل با این نام و پسوند txt بسازید و سپس کد های مربوطه و لازم را وارد کنید.
بدانید که وجود این فایل بر روی وب سایت شما کمک شایانی در ارتقا طراحی سایت تان دارد.