Robots.txt для 1С-Битрикс: два готовых шаблона

Ниже — два базовых файла robots.txt: для обычного корпоративного сайта и для интернет-магазина на 1С-Битрикс. Их можно взять за основу, заменить домен и удалить строки, которые не соответствуют структуре вашего сайта.

Слово «идеальный» здесь означает не самый длинный файл, а самый предсказуемый: он не мешает поисковику видеть полезные страницы и ресурсы сайта, но отсекает очевидные технические адреса. Чем больше запретов добавлено без проверки, тем выше риск потерять обход нужных страниц.

Что делает robots.txt — и чего он не делает

Файл robots.txt сообщает поисковым роботам, какие адреса сайта им разрешено или запрещено обходить. Он должен находиться в корне сайта:

https://example.ru/robots.txt

При этом запрет на обход не гарантирует удаление страницы из поиска. Если на закрытый URL ведут ссылки, поисковик может сохранить сам адрес без содержимого страницы. Яндекс и Google прямо предупреждают: robots.txt управляет сканированием, но не служит надёжным способом запретить индексацию.

Если страницу нужно убрать из поиска, поисковый робот должен увидеть метатег:

<meta name="robots" content="noindex">

Либо сервер должен закрывать доступ авторизацией или возвращать подходящий HTTP-статус. Нельзя одновременно запретить URL в robots.txt и рассчитывать, что робот прочитает на этой странице noindex.

robots.txt также не защищает личные данные и административные разделы. Его содержимое доступно всем. Кабинет клиента, заказы и служебные панели должны быть защищены настройками сайта и авторизацией.

Три правила перед копированием

1. Замените example.ru на основной домен. Адрес карты сайта в директиве Sitemap должен быть абсолютным.
2. Сверьте служебные пути. На одном сайте корзина находится по адресу /basket/, на другом — /cart/ или /personal/cart/. Оставьте только реальные пути.
3. Не закрывайте каталог, услуги и ресурсы оформления. Роботу нужны страницы, изображения, CSS и JavaScript, чтобы понять и отрисовать сайт.

Правила относятся к тому хосту, на котором расположен файл. Если публичный контент работает и на отдельном поддомене, например shop.example.ru, для него нужен собственный robots.txt.

Шаблон robots.txt для корпоративного сайта

Этот вариант подходит сайту компании с услугами, статьями, кейсами, контактами и формами обратной связи.

User-agent: *

# Bitrix system areas
Disallow: /bitrix/admin/
Disallow: /bitrix/tools/

# Keep only paths that exist on the website
Disallow: /personal/
Disallow: /search/

# Bitrix diagnostic parameters
Disallow: /*?clear_cache=
Disallow: /*&clear_cache=
Disallow: /*?clear_cache_session=
Disallow: /*&clear_cache_session=
Disallow: /*?show_include_exec_time=
Disallow: /*&show_include_exec_time=

# Yandex Clean-param
Clean-param: utm_source&utm_medium&utm_campaign&utm_term&utm_content&yclid&ysclid&gclid

Sitemap: https://example.ru/sitemap.xml

Что делает каждая группа правил

В шаблоне нет общего запрета Disallow: /bitrix/. На многих проектах внутри /bitrix/ находятся CSS, JavaScript и другие файлы, нужные поисковику для корректной отрисовки страниц. Точечные запреты безопаснее длинного списка исключений Allow.

По той же причине не стоит закрывать целиком /local/, /upload/, /images/ или /assets/: там часто лежат шаблон, фотографии, шрифты и скрипты сайта.

Шаблон robots.txt для интернет-магазина

В интернет-магазине к служебным адресам добавляются корзина, оформление заказа, сравнение товаров и личный кабинет. Ниже — расширенная основа для магазина на 1С-Битрикс. Она сохраняет типовые технические правила, но не содержит параметров отдельных модулей, фильтров и структуры конкретного магазина.

User-agent: *

# Bitrix system areas
Disallow: /bitrix/
Disallow: /local/
Disallow: /cgi-bin/
Disallow: /include/

# Keep only paths that exist on the website
Disallow: /personal/
Disallow: /auth/
Disallow: /search/
Disallow: /basket/
Disallow: /cart/
Disallow: /checkout/
Disallow: /order/
Disallow: /compare/
Disallow: /favorites/

# Bitrix diagnostic parameters
Disallow: /*?show_include_exec_time=
Disallow: /*&show_include_exec_time=
Disallow: /*?show_page_exec_time=
Disallow: /*&show_page_exec_time=
Disallow: /*?show_sql_stat=
Disallow: /*&show_sql_stat=
Disallow: /*?bitrix_include_areas=
Disallow: /*&bitrix_include_areas=
Disallow: /*?clear_cache=
Disallow: /*&clear_cache=
Disallow: /*?clear_cache_session=
Disallow: /*&clear_cache_session=

# Authentication and service parameters
Disallow: /*?register=
Disallow: /*&register=
Disallow: /*?forgot_password=
Disallow: /*&forgot_password=
Disallow: /*?change_password=
Disallow: /*&change_password=
Disallow: /*?login=
Disallow: /*&login=
Disallow: /*?logout=
Disallow: /*&logout=
Disallow: /*?auth=
Disallow: /*&auth=
Disallow: /*?backurl=
Disallow: /*&backurl=
Disallow: /*?back_url=
Disallow: /*&back_url=
Disallow: /*?print=
Disallow: /*&print=
Disallow: /*?bxajaxid=
Disallow: /*&bxajaxid=

# Product actions
Disallow: /*?ADD_TO_COMPARE_LIST=
Disallow: /*&ADD_TO_COMPARE_LIST=

# Resources required for rendering
Allow: /bitrix/components/
Allow: /bitrix/cache/
Allow: /bitrix/js/
Allow: /bitrix/templates/
Allow: /bitrix/*.css
Allow: /bitrix/*.js
Allow: /local/components/
Allow: /local/cache/
Allow: /local/js/
Allow: /local/templates/
Allow: /local/*.css
Allow: /local/*.js
Allow: /local/*.jpg
Allow: /local/*.jpeg
Allow: /local/*.png
Allow: /local/*.gif

# Yandex Clean-param
Clean-param: utm_source&utm_medium&utm_campaign&utm_term&utm_content&yclid&ysclid&gclid

Sitemap: https://example.ru/sitemap.xml

Шаблон закрывает /bitrix/ и /local/, но более длинными правилами Allow открывает вложенные каталоги и типы файлов, которые могут понадобиться для отрисовки страниц. После загрузки нужно обязательно проверить CSS, JavaScript и изображения в инструментах поисковых систем.

Не нужно оставлять одновременно /basket/, /cart/, /checkout/ и /order/, если на сайте используется только часть этих адресов. Лишний запрет обычно ничего не ломает, но засоряет файл и усложняет будущую проверку. Хороший robots.txt описывает реальную структуру сайта.

Комментарии в копируемом шаблоне написаны латиницей: Яндекс запрещает использовать кириллицу в robots.txt. Если комментарии не нужны, их можно удалить полностью.

Что можно добавить после проверки URL

Если магазин создаёт отдельные URL для добавления товара в корзину, после проверки можно добавить реальные названия параметров. Например:

Disallow: /*?ADD2BASKET=
Disallow: /*&ADD2BASKET=

Общий параметр action в базовый файл не включён: такое название может использоваться разными модулями, и без просмотра сайта нельзя считать все эти адреса техническими. Параметр ADD_TO_COMPARE_LIST уже есть в шаблоне как типовой для Битрикс; если сравнения на сайте нет, эти две строки нужно удалить.

Сортировка, вид списка и количество товаров на странице нередко создают дубли одной категории. Если вы убедились, что параметры не меняют набор товаров и не образуют полезные посадочные страницы, для Яндекса их можно добавить в отдельную директиву:

Clean-param: sort&order&view&display

Это пример, а не обязательная часть шаблона. На вашем сайте параметры могут называться иначе. Значение order также может использоваться не для сортировки, а для заказа — поэтому сначала нужно посмотреть реальные URL и назначение каждого параметра.

Для Google дубли с сортировкой и метками обычно контролируют согласованными каноническими адресами, внутренними ссылками и корректной генерацией URL. Простое закрытие всех адресов с ? не решает задачу и может скрыть от робота полезные страницы.

Что нельзя автоматически закрывать в интернет-магазине

Фильтры каталога

Правило вида

Disallow: */filter/

может закрыть тысячи бесполезных комбинаций, но одновременно лишить обхода страницы вроде «красные женские пальто» или «насосы 12 В». Такие страницы могут отвечать отдельному поисковому спросу и приводить целевой трафик.

Сначала разделите фильтры на две группы:

• полезные посадочные страницы с отдельным спросом, понятным заголовком, текстом, товарами и самостоятельным каноническим URL;
• случайные сочетания характеристик, которые не нужно продвигать.

Только после этого настраивайте обход и индексацию. Одно глобальное правило для всех фильтров редко бывает правильным.

Пагинацию

Не добавляйте без анализа правила вроде:

Disallow: /*?page=
Disallow: /*?PAGEN_1=

Через страницы пагинации робот может находить товары, которые не видны на первой странице категории. Перед запретом нужно проверить внутренние ссылки, карту сайта и глубину обхода карточек.

Изображения, CSS и JavaScript

Не закрывайте каталоги ресурсов только потому, что они выглядят техническими. Google рекомендует не блокировать файлы, необходимые для понимания и отображения страницы. Для магазина это особенно важно: изображения товара, адаптивный шаблон и интерактивные элементы помогают поисковику оценить страницу так, как её видит пользователь.

Как адаптировать шаблон за 15 минут

1. Выпишите типы страниц

Для корпоративного сайта обычно достаточно проверить:

• услуги;
• статьи или новости;
• кейсы;
• контакты;
• внутренний поиск;
• формы, авторизацию и личный кабинет;
• административные и служебные адреса.

Для магазина добавьте:

• категории и подкатегории;
• карточки товаров;
• страницы брендов;
• фильтры;
• сортировку и переключение вида;
• пагинацию;
• корзину, сравнение, избранное и оформление заказа.

2. Посмотрите реальные URL

Не угадывайте названия путей. Откройте разделы сайта, выполните поиск, добавьте товар в корзину, включите сортировку и фильтр. Запишите адрес до и после каждого действия.

Особое внимание уделите параметрам после знака ?. Один параметр может быть безобидной меткой аналитики, другой — менять товары на странице, регион, цену или доступность.

3. Проверьте связку robots, canonical и sitemap

Эти инструменты решают разные задачи:

• robots.txt управляет обходом;
• статья как настроить canonical в 1С-Битрикс объясняет, как указать предпочтительный URL среди похожих страниц;
• sitemap.xml перечисляет адреса, которые вы хотите отдать поисковику;
• noindex просит не показывать страницу в поисковой выдаче.

В карте сайта не должно быть корзины, внутреннего поиска, технических URL и адресов с метками. Полезные страницы из карты не должны быть закрыты в robots.txt.

4. Уберите неподтверждённые запреты

Если вы не понимаете, зачем нужна строка, не переносите её из чужого файла. Большой robots.txt интернет-магазина часто хранит правила от старого шаблона, удалённых модулей и прошлой структуры каталога. Они не делают файл надёжнее.

Как проверить файл после загрузки

Проверка 1. Файл открывается

Откройте в браузере:

https://ваш-домен.ru/robots.txt

Сервер должен вернуть сам текстовый файл со статусом 200 OK. По правилам Яндекса размер файла не должен превышать 500 КБ. Для обычного сайта это огромный запас: рабочий файл обычно занимает несколько килобайт.

Проверка 2. Нужные страницы разрешены

Проверьте по одному URL каждого типа:

https://example.ru/services/development/
https://example.ru/blog/article/
https://example.ru/catalog/category/
https://example.ru/catalog/category/product/

Для магазина отдельно проверьте фильтр и вторую страницу категории, если они участвуют в поисковом продвижении.

В Яндекс Вебмастере для этого есть анализатор robots.txt. Правила Google и доступность отдельных страниц можно проверять в Search Console.

Проверка 3. Служебные страницы запрещены или защищены

Проверьте фактические адреса административного раздела, корзины, оформления заказа, поиска и личного кабинета. Для приватных данных обязательна авторизация: одного Disallow недостаточно.

Проверка 4. Карта сайта доступна

Откройте URL из строки Sitemap. Карта должна возвращать 200 OK, содержать основной домен и актуальные канонические страницы.

Проверка 5. После изменения нет резкого ухудшения обхода

В следующие дни следите за сообщениями Яндекс Вебмастера и Google Search Console. Изменение robots.txt не гарантирует рост позиций, но ошибка в нём может быстро ограничить обход значительной части сайта.

Семь опасных правил

1. Запрет всего сайта

User-agent: *
Disallow: /

Такой файл запрещает обход всех страниц. Он уместен только в редких технических сценариях и опасен на рабочем сайте.

2. Запрет всех URL с параметрами

Disallow: /*?

Вместе с дублями правило может закрыть фильтры, пагинацию, региональные страницы и другие адреса, нужные для обнаружения контента.

3. Запрет каталога целиком

Disallow: /catalog/

Для интернет-магазина это фактически запрет обхода основных посадочных страниц и карточек товаров.

4. Запрет всех файлов Битрикс без доступных ресурсов

Disallow: /bitrix/

Такой вариант требует тщательно настроенных Allow. Ошибка может перекрыть CSS и JavaScript. В базовом шаблоне проще закрыть только конкретные служебные подпапки.

5. Закрытие /local/ и /upload/

В /local/ обычно лежат файлы шаблона и компонентов, а в /upload/ — изображения и документы. Общий запрет способен помешать роботу увидеть оформление и медиаконтент страницы.

6. Попытка удалить страницу через Disallow

Закрытый от обхода URL всё равно может появиться в выдаче. Для удаления нужен доступный роботу noindex, защита авторизацией либо удаление страницы с корректным HTTP-ответом.

7. Комментарий без пробела после пути

В robots.txt символ # начинает комментарий. Строка

Disallow: /# временный запрет

читается как Disallow: / и способна закрыть весь сайт. Комментарий лучше ставить отдельной строкой над правилом.

Короткий чек-лист

Перед публикацией убедитесь, что:

• файл находится по адресу /robots.txt и возвращает 200 OK;
• в Sitemap указан настоящий домен и доступная XML-карта;
• главная, услуги, категории, товары и статьи разрешены;
• CSS, JavaScript, изображения и шрифты доступны роботам;
• корзина, оформление заказа, поиск и кабинет проверены по реальным URL;
• фильтры и пагинация не закрыты автоматически;
• параметры в Clean-param действительно не меняют содержание страницы;
• приватные разделы защищены авторизацией;
• каждый важный тип URL проверен в инструментах Яндекса и Google.

Готовый шаблон сокращает риск, но финальный robots.txt всегда зависит от структуры сайта. Перед переносом правил из другого проекта нужно проверить реальные URL, канонические адреса, карту сайта и страницы, которые уже получают поисковый трафик.

Если в robots.txt накопились десятки правил от старых модулей, фильтров и прошлых версий сайта, одной заменой файла проблему не решить. Сначала нужно сопоставить правила с реальными URL и данными поисковых систем. Это входит в SEO-аудит и продвижение сайтов на 1С-Битрикс: мы проверяем индексацию, дубли, canonical, фильтры, пагинацию и служебные страницы, а затем составляем правила под конкретную структуру сайта.

Официальные источники

• Яндекс: robots.txt
• Яндекс: директивы Allow и Disallow
• Яндекс: Clean-param
• Яндекс: Sitemap
• Google: введение в robots.txt
• Google: спецификация robots.txt