Каталог решений

Модуль помогает защитить контент вашего вебсайта от автоматического парсинга ботами конкурентов. Например: статьи, описания и характеристики товаров и прочее. В ряде случаев модуль помогает существенно снизить нагрузку на сайт, т.к. блокирует многих паразитных ботов. Лучше всего модуль подходит для защиты вебсайтов с тысячами страниц/товаров. Функционал блокировки парсеров:По активности (блокирует тех, кто слишком быстро и много просматривает страниц)По IP-адресуПо User-агенту (предусмотрен набор для самых популярных ботов) Настройки исключений:Поисковых роботов через обратный DNS (для гарантии 100% доступности поисковых роботов). Нехорошие роботы притворяющиеся поисковыми - сразу блокируются. Доступно с версии 1.11.0По сайту (мультисайтовость 1С-Битрикс)По URL страниц По группе пользователейПо IP-адресуПо User-агенту (не рекомендуется) Присутствует удобный интерфейс для анализа заблокированных IP адресов, чтобы при необходимости можно было усложнить или упростить правила блокировки. Демо-период не ограничен по функциональности. Если на сайте используется композитный режим, то необходимо провести несложные манипуляции (смотрите инструкцию по установке).

Защита от парсинга

Купить: 3 500 руб.

Попробовать (10 дней)

от Протобайт

Скриншоты

Описание

Технические данные

Опубликовано:: 02.02.2023
Обновлено:: 09.03.2025
Версия:: 1.11.1
Установлено:: 100 - 499 раз
Подходящие редакции:: «Старт», «Стандарт», «Малый бизнес», «Бизнес»
Адаптивность:: Нет
Поддержка Композита:: Да
Совместимо с Сайты24: Нет
Совместимо с PHP 8.1: Да

Пользовательское соглашение

Описание

Модуль помогает защитить контент вашего вебсайта от автоматического парсинга ботами конкурентов. Например: статьи, описания и характеристики товаров и прочее.

В ряде случаев модуль помогает существенно снизить нагрузку на сайт, т.к. блокирует многих паразитных ботов.

Лучше всего модуль подходит для защиты вебсайтов с тысячами страниц/товаров.

Функционал блокировки парсеров:

По активности (блокирует тех, кто слишком быстро и много просматривает страниц)
По IP-адресу
По User-агенту (предусмотрен набор для самых популярных ботов)

Настройки исключений:

Поисковых роботов через обратный DNS (для гарантии 100% доступности поисковых роботов). Нехорошие роботы притворяющиеся поисковыми - сразу блокируются. Доступно с версии 1.11.0
По сайту (мультисайтовость 1С-Битрикс)
По URL страниц
По группе пользователей
По IP-адресу
По User-агенту (не рекомендуется)

Присутствует удобный интерфейс для анализа заблокированных IP адресов, чтобы при необходимости можно было усложнить или упростить правила блокировки.

Демо-период не ограничен по функциональности.

Если на сайте используется композитный режим, то необходимо провести несложные манипуляции (смотрите инструкцию по установке).

Отзывы (0)

Обсуждения (6)

Авторизуйтесь , чтобы оставить отзыв или задать вопрос разработчику.

Пользователь 8022790 29 января 2025 01:00

Здравствуйте! Подскажите, а ваш модуль хотлинки не блокирует случайно? А то в статистике Яндекс Вебмастера куча каких-то ГСов, на которых висят наши картинки по прямым ссылкам.

Алексей Смирнов (разработчик) 29 января 2025 11:06

pkvst, добрый день. Нет, такой функционал не предусмотрен.

Пользователь 1083529 12 сентября 2024 16:10

Здравствуйте, подскажите пожалуйста от отказных ботов по идеи тоже должно отработать решение если по User-агенту есть блокировка?

Алексей Смирнов (разработчик) 12 сентября 2024 16:13

Руслан Шкиль, добрый день. К сожалению, я не понимаю, что такое отказные боты.
По User-агенту блокировка есть, рекомендую попробовать демо-период модуля, чтобы решить подходит вам модуль или нет.

Пользователь 114532 22 февраля 2023 09:20

Добрый, приоретен модуль, у нас не композит, но подтверждаю предыдущее: ощущение, что модуль не блокирует..., с списке ip появляется, но не блокирует, также не блокирует адрес внесенный вручную в черный список. Время блокировки усиановлено в 1ч.

Алексей Смирнов (разработчик) 23 февраля 2023 17:37

Sergey, спасибо за ваше обращение. Проблема исправлена в обновлении 1.0.2

Пользователь 1242163 4 февраля 2023 11:33

И ощущение, что модуль не блокирует...
Попробовали массовое открытие страниц, на странице Заблокированные IP-адреса адрес появился с причиной (1) Превышение лимита.
Но... с "заблокированного" IP-адреса доступ к сайту доступен, страницы открываются без проблем.

Алексей Смирнов (разработчик) 4 февраля 2023 13:07

Сергей, у вас, как я понимаю используется композит и вы по инструкции добавили код в конец dbconn.php? Тогда, при нормальной работе пользователи должны блокироваться на страницах из инфоблоков (товары, новости, категории и т.п.) Статические страницы продолжат открываться. Чтобы не открывались вообще все страницы сайта - надо использовать второй вариант внедрения.
Если всеравно не работает:
- Проверьте в настройках композита "Параметры URL, при которых не будет работать композитный режим", должно быть "ncc"
- Проверьте корректность настроек доступов к базе данных в файле dbconn.php (бывает, что сайт переносили и там остается не корректные данные для подключения к БД)
- Проверьте сколько времени прошло после блокировки. Модуль блокирует на время, указанное в настройках (изначально 900 секунд). Далее блокировка снимается, но запись о ней остается.
- Возможно у вас используется битрикс окружение и переведен композит на работу с NGINX - тогда только, если перевести работу nginx обратно на php
Будет замечательно, если вы расскажете о результатах нам на почту support@protobyte.ru, или можете туда прислать доступы, мы сами проверим.

Пользователь 1242163 4 февраля 2023 11:29

Разобрались с ошибкой Call to undefined function AdminListCheckDate() (0) — обязательно должен быть установлен модуль Веб-аналитика (statistic).
Что делать, если модуль Веб-аналитика (statistic) не используем и не планируем использовать?
Есть возможность поправить?

Алексей Смирнов (разработчик) 4 февраля 2023 12:56

Сергей, спасибо за обратную связь. Обязательно исправим и выпустим обновление в понедельник-вторник

Что нового

1.11.1 (09.03.2025)	Доработка интерфейса. Отображение причины блокировки «Подменный поисковый робот». Отображение статуса проверки поискового робота через обратный DNS (работает для Яндекса, Google, Bing)
1.11.0 (06.03.2025)	Внедрение способа для определения поисковых роботов через запрос обратного DNS. Это позволяет обеспечить 100% доступность к вашему сайту поисковых роботов от Яндекс, Гугл и Бинг. При этом другие боты, притворяющиеся поисковыми роботами, будут заблокированы По-умолчанию опция отключена в настройках модуля
1.10.1 (11.02.2025)	Изменение работы с композитом для поддержки новых версий ядра 1С-Битрикс
1.10.0 (06.01.2025)	Добавлен удобный интерфейс для анализа хитов
1.0.4 (04.01.2025)	Улучшение интерфейса (на странице хитов помечаем заблокированные хиты), повышение скорости работы
1.0.3 (29.12.2024)	Важное исправление для повышения точности работы модуля
1.0.2 (22.02.2023)	исправлена ошибка блокирования исправление ошибки в интерфейсе настроек исправлен текст страницы заглушки
1.0.1 (05.02.2023)	fix ошибки при отсутствии модуля статистики

Установка

Установка стандартная. Если на сайте не используется композит, дополнительно ничего включать не надо.

----------------

Если у вас используется технология композит, необходимо провести одну из двух манипуляций:

К сожалению, обойти композит иначе не получится, он отдается раньше, чем загружается ядро Битрикс.

Поэтому, далее идут инструкции для специалиста по 1С-Битрикс.

Для правки используйте ftp-доступ, и сделайте перед изменениями резервную копию изменяемого файла.

Если все эти слова вам не знакомы, лучше напишите нам на support@protobyte.ru, мы сами добавим.

Вариант 1 (предпочтительный): Чтобы защитить только страницы товаров/статей необходимо в файле /bitrix/php_interface/dbconn.php - добавить вконец ():

if ( file_exists( $_SERVER["DOCUMENT_ROOT"] . "/local/modules/protobyte.antiparsing/composite.php" ) ) {
 include( $_SERVER["DOCUMENT_ROOT"] . "/local/modules/protobyte.antiparsing/composite.php" );
} elseif ( file_exists( $_SERVER["DOCUMENT_ROOT"] . "/bitrix/modules/protobyte.antiparsing/composite.php" ) ) {
 include( $_SERVER["DOCUMENT_ROOT"] . "/bitrix/modules/protobyte.antiparsing/composite.php" );
}

Вариант 2: в файле /bitrix/header.php - заменить содержимое на:

<?require_once($_SERVER["DOCUMENT_ROOT"]."/bitrix/php_interface/dbconn.php");
 if ( file_exists( $_SERVER["DOCUMENT_ROOT"] . "/local/modules/protobyte.antiparsing/composite.php" ) ) {
   include( $_SERVER["DOCUMENT_ROOT"] . "/local/modules/protobyte.antiparsing/composite.php" );
 } elseif ( file_exists( $_SERVER["DOCUMENT_ROOT"] . "/bitrix/modules/protobyte.antiparsing/composite.php" ) ) {
   include( $_SERVER["DOCUMENT_ROOT"] . "/bitrix/modules/protobyte.antiparsing/composite.php" );
 }
 require_once($_SERVER["DOCUMENT_ROOT"]."/bitrix/modules/main/include/prolog.php");?>

Если используется отдача композита через NGINX (это возможно настроить в битрикс окружении). Тогда необходимо перевести отдачу композитного кэша на php (стандартный режим). Подробнее https://dev.1c-bitrix.ru/learning/course/?COURSE_ID=37&CHAPTER_ID=08863

Поддержка

Вопросы по работе модуля и свои пожелания можно отправить по адресу support@protobyte.ru

Техническая поддержка предоставляется только по электронной почте при предоставлении доступов в административную часть и доступов по ftp/sftp/ssh.

Сроки технической поддержки бесплатных модулей не нормируются и оказываются по мере освобождения специалистов.

Другие решения разработчика

Все решения

ProtoMarket - универсальный интернет-магазин 29 900 руб.

Перенос пользователей и заказов 1 500 руб.

История изменения элементов инфоблока Бесплатно 1

Готовые решения

О маркетплейсе

Для разработчиков

1С-Битрикс http://www.1c-bitrix.ru Общие вопросы info@1c-bitrix.ru Приобретение и лицензирование продуктов: sales@1c-bitrix.ru Маркетинг/мероприятия/PR marketing@1c-bitrix.ru Партнерская программа partners@1c-bitrix.ru Мы работаем с 10:00 до 19:00 по московскому времени.