Генератор Robots.txt
Создайте действующий файл robots.txt для вашего сайта с директивами Allow, Disallow, Sitemap и Crawl-delay.
Advertisement
Созданный robots.txt
Заполните форму и нажмите создать, чтобы увидеть ваш robots.txt здесь.
Генератор Robots.txt
Генератор Robots.txt создаёт действующий файл robots.txt, который сообщает краулерам поисковых систем, какие страницы индексировать, а какие пропускать. Используйте его для контроля доступа ботов к сайту, защиты приватных каталогов и направления краулеров к карте сайта.