Метатег Robots и X-Robots-Tag

«Метатег Robots и X-Robots-Tag» — модуль для управления индексацией и отображением страниц сайта в поисковых системах через HTML-метатеги robots и HTTP-заголовок X-Robots-Tag без правок шаблонов, компонентов и участия разработчика.Зачем нужен модульНа сайтах с каталогами, фильтрами и сложной структурой URL появляются технические страницы и дубли. Они попадают в индекс поисковых систем Яндекса, Google и Bing, конкурируют с важными страницами сайта, создают дубли в выдаче и мешают SEO-продвижению.Модуль позволяет управлять не только индексацией страниц, но и тем, как поисковые системы обрабатывают и показывают их в выдаче: переходами по ссылкам, сниппетами, сохранёнными копиями, индексацией изображений и сроком показа страницы.SEO-специалист или администратор сайта через административную панель создаёт правило, указывает URL или условие, выбирает нужные директивы — и модуль автоматически выводит их на подходящих страницах через метатег robots или HTTP-заголовок X-Robots-Tag.Основные возможности1. Управление robots-директивами для любых страниц Вы можете задавать правила индексирования:для конкретной страницы;для раздела сайта;по маске URL, например /catalog/*;по регулярному выражению, например #^/catalog/.*/filter/#;Это позволяет управлять индексацией как обычных страниц, так и технических URL, которые не должны попадать в поисковую выдачу.2. Два способа вывода директив Модуль поддерживает два способа передачи директив поисковым роботам:через HTML-метатег robots;через HTTP-заголовок X-Robots-Tag;одновременно обоими способами. Для каждого правила можно выбрать подходящий способ вывода: использовать стандартный метатег или передавать директивы на уровне HTTP-ответа через X-Robots-Tag.3. Правила для разных поисковых системМодуль позволяет задавать директивы для разных поисковых роботов:robots — общие правила для поисковых роботов;yandex — отдельные правила для Яндекса;googlebot — отдельные правила для Google;bingbot — отдельные правила для Bing. Можно задать общее правило для всех роботов или отдельные директивы для Яндекса, Google и Bing.4. Поддержка популярных SEO-директив В модуле реализованы директивы, которые чаще всего используются в техническом SEO:index / noindex — разрешить или запретить индексацию страницы;follow / nofollow — разрешить или запретить переход по ссылкам;noarchive — запретить показ сохранённой копии страницы в результатах поиска;nosnippet — запретить показ текстового фрагмента страницы в поисковой выдаче;noimageindex — запретить индексацию изображений на странице;notranslate — запретить предложение перевода страницы;unavailable_after — указать дату, после которой страницу не нужно показывать в поиске.5. Работа с GET-параметрами Модуль позволяет учитывать или не учитывать GET-параметры при применении правил.Это помогает управлять индексацией страниц фильтрации, сортировки, поиска, пагинации и других URL с параметрами, которые часто создают дубли и попадают в индекс поисковых систем.Вы можете задавать правила с учётом конкретных GET-параметров: одни URL с параметрами оставлять открытыми для индексации, а другие закрывать от поисковых систем.6. Импорт и экспорт правил Модуль поддерживает импорт и экспорт правил в форматах CSV и XLSX. Это удобно для крупных сайтов, SEO-аудитов и проектов, где нужно быстро настроить большое количество правил.Импорт и экспорт помогают:массово создавать правила;переносить настройки между сайтами;готовить правила в таблице;внедрять рекомендации после SEO-аудита;делать резервную копию настроек;анализировать правила вне административной панели. SEO-специалист может подготовить таблицу с правилами и загрузить её в модуль, не создавая каждое правило вручную.7. Работа без изменения шаблонов сайта Модуль подключается через системные события 1С-Битрикс и не требует изменения:шаблонов сайта;компонентов;серверных конфигов для типовых сценариев. После установки можно сразу создавать и менять правила через административную панель. SEO-специалист или администратор сам управляет индексацией страниц, не ставит отдельную задачу разработчику на каждое изменение и экономит бюджет на мелких технических доработках.8. Поддержка многосайтовости Модуль поддерживает режим многосайтовости 1С-Битрикс. Можно использовать:общие настройки модуля;отдельные настройки для каждого сайта;правила, привязанные к конкретному сайту. Это удобно для проектов с несколькими доменами, региональными версиями или разными сайтами на одной установке 1С-Битрикс.Важно: отличие от robots.txt Модуль управляет директивами HTML-метатега robots и HTTP-заголовка X-Robots-Tag.Файл robots.txt управляет доступом поисковых роботов к URL: он сообщает, можно ли сканировать страницу.Метатег robots и заголовок X-Robots-Tag управляют индексированием и отображением уже просканированной страницы: можно ли показывать её в поиске, переходить по ссылкам, показывать сниппет, сохранять копию и применять другие правила.Если страница запрещена в robots.txt, поисковик может не увидеть директивы мета-тега robots или X-Robots-Tag. Поэтому для применения таких директив страница должна быть доступна для сканирования.Поддержка и совместимостьПоддержка PHP 8.x;Работает на актуальных версиях 1С-Битрикс;Поддерживает многосайтовость;Совместим с композитным режимом;Корректно работает с готовыми шаблонами и индивидуальным дизайном.

Метатег Robots и X-Robots-Tag

Купить: 1 990 1 393 руб.

от Вебтактика

Купить продление

Другие решения разработчика

Канонические страницы (canonical) 1 990 руб.