Robots & Sitemap Generator

Генератор robots.txt и sitemap.xml

Сформируйте готовые файлы robots.txt и sitemap.xml по стандартам поисковиков, скопируйте или скачайте для публикации.

Настройка

Основные параметры

Host (домен сайта) *

Эти данные используются для генерации robots.txt.

Sitemap URL (опционально)

Добавим ссылку на sitemap.xml, если указан адрес.

Правила индексации

Disallow

Указывайте пути, каждый с новой строки.

Allow (опционально)

Указывайте пути, каждый с новой строки.

Дополнительные настройки

User-agent

Несколько значений — через запятую или с новой строки.

Crawl-delay

Задержка между запросами (в секундах).

Дополнительные строки

Любые дополнительные директивы, каждая на новой строке.