Генератор robots.txt онлайн — создать файл за пару минут

Файл robots.txt обычно копируют с форума, кладут в корень и забывают про него на годы. Через полгода выясняется, что в нём осталась строка Disallow: / с тестового домена, и сайта нет в поиске. Ошибка в этом файле стоит дороже, чем его отсутствие.

Форма выше собирает файл построчно. Выбираете пресет под свою CMS, дописываете свои запреты, указываете адрес карты сайта. Результат меняется в соседнем поле сразу.

Зачем сайту robots.txt

Файл говорит роботам, какие разделы обходить не нужно. Бюджет обхода не бесконечен. Без файла краулер тратит его на внутренний поиск, корзину, фильтры с параметрами и личный кабинет, а нужные страницы ждут своей очереди и попадают в индекс медленнее.

Как собрать файл

1. Отметьте галочку согласия, иначе форма не отзывается.
2. Выберите пресет: 1C-Bitrix, WordPress, Drupal, Tilda или универсальный, где открыто всё.
3. Допишите свои пути в поле Disallow, по одному в строке: /search/, /cart/.
4. Укажите полный адрес карты сайта, если она есть. Строка Sitemap встанет в конец файла.
5. Нажмите «Скопировать», вставьте текст в robots.txt и положите файл в корень сайта.

Он должен открываться по адресу ваш-домен/robots.txt. У каждого поддомена свой файл, один общий на всех не сработает.

Генератор собирает один блок User-agent: *, то есть правила сразу для всех роботов. Отдельных секций для Яндекса и Google здесь нет, при необходимости допишете их руками.

Что уже лежит в пресетах

Каждая CMS сорит своими служебными адресами, поэтому наборы правил разные.

• 1C-Bitrix: /bitrix/, /search/, /auth/, /personal/ плюс параметры печати, регистрации и служебных действий.
• WordPress: /wp-admin/, /wp-includes/, /wp-json/, /xmlrpc.php, поиск по /?s=, архивы авторов и трекбеки.
• Drupal: /admin/, /user/, /node/add/, /search/, /filter/tips, /comment/reply/.
• Tilda: /search, /cart, /members/.
• Универсальный: правил нет, в файл уходит одна строка Allow: /.

Пресет это отправная точка, а не готовая настройка. Пробегитесь по строкам глазами: половины этих разделов у вас может не быть, зато найдётся свой служебный раздел, которого нет в списке.

Где чаще всего ошибаются

• Закрывают CSS и JS. Робот должен видеть страницу так же, как её видит посетитель, поэтому закрытые стили и скрипты портят оценку.
• Путают Disallow и noindex. Запрет обхода не убирает страницу из выдачи: по внешним ссылкам она там останется. Убирают метатегом noindex или заголовком X-Robots-Tag.
• Тащат директиву Host. Яндекс не учитывает её с 2018 года, Google не понимал никогда, а главное зеркало давно задаётся обычным 301-редиректом.
• Пишут несколько путей в одной строке. Одно правило живёт в одной строке, и слеш в начале пути обязателен.

Готовый файл прогоните через «Анализ robots.txt» в Яндекс Вебмастере или отчёт в Google Search Console. Важные страницы должны открываться роботу, служебные закрываться. Новую версию роботы подхватят не сразу, обычно в течение суток.