robots.txt

Разрешает всех краулеров и указывает на ваш sitemap.

User-agent: *
Allow: /

Sitemap: https://example.com/sitemap.xml

Об этом инструменте

Разрешает всех краулеров и указывает на ваш sitemap.

Готовый к использованию robots.txt — просмотрите содержимое, скопируйте или скачайте с правильным именем. Бесплатно, 100% в браузере.