شاید ساده‌ترین تعریفی که می‌توانیم در مورد این فایل داشته باشیم این است که این فایل همانند یک کتاب قانون سفت و سخت عمل می‌کند؛ شما از طریق این فایل به موتورهای جست‌وجو و اکثر روبات‌ها و خزنده‌ها دستور می‌دهید که چه صفحاتی را نبینند و یا اگر در حال حاضر نمی‌توانند ببینند، ببینند.
کاربردهای این فایل زمانی مشخص می‌شود که شما برروی سایتتان بخش‌هایی دارید که نمی‌خواهید خزنده‌ها ببینند و یا اصلا نیازی نمی‌بینید که آن بخش‌ها بخواهند در نتایج جست‌وجو دیده شوند.
بگذارید با تشریح این فایل شروع کنم. اصولا در ابتدای هر بخش دستوری ما مشخص می‌کنیم که این دستورات مختص چه خزنده‌ای است؛ پس:
user agent: google-image-search
حال می‌توانیم هر کدام از خزنده‌هایی که می‌خواهیم برای آنها قانون مشخص کنیم را روبروی user agent بنویسیم و در ابتدای فایل قرار دهیم. اکثر فایل‌های روبوت به صورت Universal نوشته می‌شوند؛ یعنی قوانین را برای تمامی خزنده‌ها وضع می‌کنند؛ برای این که بتوانیم قوانین را برای همه یکسان در نظر بگیریم می‌توانیم به‌جای دستور فوق از user agent: * استفاده کنیم. علامت * تمامی user agent ها را موظف به خواندن این دستورات وادار می‌کند.
سپس باید ببینیم که چه پوشه‌هایی (دایرکتوری‌ها) را می‌خواهیم از دید گوگل پنهان کنیم. در ادامه عبارت فوق همانند چند خط زیر این قوانین را مشخص می‌کنیم:
Disallow: /wp-includes/
disallow: /wp-content/plugins
با این دستورات ما پوشه wp-includes را کلا بستیم و حال خزنده‌ها به‌هیچ عنوان نمی‌توانند فایل‌ها و پوشه‌های زیرشاخه این فولدر را ببینند. حالا اگر بخواهیم در همین پوشه، دسترسی پوشه‌ای را باز کنیم می‌توانیم به شکل زیر بنویسیمش:
allow: /wp-includes/js/
دقت کنید که وقتی پوشه‌ای را می‌بندید تمامی زیرشاخه‌هایش را نیز محدود کرده‌اید.
یکی از مواردی که می‌توانیم برای دسترسی سریع‌تر خزنده‌ها در فایل Robots.txt مشخص کنیم، نقشه سایت است. برای این کار کافیست صرفا از ساختار زیر پیروی کنید:
sitemap: http://1admin.ir/sitemap.xml
حال این فایل به پنالتی شدن چه ارتباطی دارد؟
شاید اینی که می‌گویم خیلی اتفاق جدیدی نباشد اما گاهی می‌بینم که سایت‌ها به این خاطر پنالتی می‌شوند؛ راستش تا چندی پیش می‌گفتند که گوگل نمی‌تواند فایل‌های JS و CSS را اجرا کند تا ظاهر سایت را ببیند یا بر طبق آنها نیز سایت را بررسی کند. اما بهتر است بگویم که گوگل چنین کاری می‌کند و نسبت به این قضیه بسیار هم حساس است.
اگر شما از طریق فایل Robots دسترسی به پوشه‌ای را بسته باشید (به طور مثال دسترسی به پوشه پلاگین‌های وردپرستان)، اما این پلاگین‌ها در سایت شما تاثیرگذار باشند و فایل بارگذاری کنند عملا گوگل نمی‌تواند آنها را ببیند و به همین خاطر سایت شما به درستی آن چیزی که برای کاربران بارگذاری می‌شود، برای گوگل بارگذاری نمی‌شود. گوگل هم نمی‌تواند آن فایل را از نظر امنیتی بررسی کند و ممکن است شما را جریمه کند.
همانطور که قبلا گفتم اگر می‌خواهید گوگل صفحه‌ای را ایندکس نکند بهتر است از متاتگ Noindex استفاده کنید نه این که از طریق Robots.txt آن را ببندید.
توصیه می‌کنم همین حالا این فایل را بررسی کنید و ببینید که در نوشتن آن دچار اشتباه نشده باشید.
منبع:1admin
- ۹۴/۰۸/۱۳