Robots.txt
Robots.txt
فایلی در دایرکتوری اصلی وبسایت است که دسترسی ربات خزنده (Spider) به وبسایت را کنترل میکند. این فایل میتواند اجازه دسترسی ربات خزنده خاصی به صفحه های خاصی از وب سایت را ایجاد و یا این دسترسی را محدود کند. وجود این فایل در سایت در مباحث سئو مهم میباشد.