Как работает robots.txt?
- Файл в корне сайта, указывает поисковикам, какие страницы индексировать
- Синтаксис:
User-agent: *(для всех ботов),Disallow: /admin/(запретить),Allow: /public/(разрешить),Sitemap: url - Не блокирует доступ к страницам, только индексацию