همانطور که می دانید فایل Robots.txt فایل مهم برای راهنمایی خزنده ها در سایت و مورد قابل توجه در سئو سایت وردپرسی می باشد.
با افزونه Better Robots.txt می توانید بصورت داینامیک و با صفحه تنظیمات بسیار آسان فایل Robots.txt سایت وردپرس خود را تنظیم نمایید.
با استفاده از Better Robots.txt می توانید مشخص کنید کدام موتورهای جستجو اجازه پیمایش وب سایت شما را داشته باشند .
همچنین جزئیات دسترسی خزنده ها به صفحات و محتواهای مختلف سایت وردپرسی خود را مشخص نمایید.
پرونده robots.txt چیست ؟
◾پرونده robots.txt یک فایل متنی ساده است که در وب سرور شما قرار داده شده است و به خزنده های وب (مانند Googlebot) می گوید آیا باید به یک فایل و مسیر دسترسی پیدا کنند یا خیر
◾پرونده robots.txt نحوه مشاهده و تعامل عنکبوتهای موتور جستجو با صفحات وب شما را کنترل می کند.
◾اولین چیزی که خزنده موتور جستجو هنگام بازدید از یک صفحه به آن نگاه می کند ، پرونده robots.txt است.
ویژگی های نسخه Pro (ویژگی های اضافی):
1. با نقشه سایت خود محتوای خود را در موتورهای جستجو تقویت کنید!
2. از داده ها و محتوای خود محافظت کنید
3. بک لینک های خود را مخفی و محافظت کنید
4- از بک لینک های هرزنامه خودداری کنید
5. ابزارهای جستجوگرها
6. از تله های خزنده جلوگیری نمایید.
و…
تصاویر :
