Bussol: Парсер и импорт данных PRO: сайты, REST API, Excel, JSON, XML, товары, цены и остатки
Технические данные
- Опубликовано:
- 20.10.2026
- Версия:
- 1.0.1
- Установлено:
- Менее 50 раз
- Подходящие редакции:
- «Старт», «Стандарт», «Малый бизнес», «Бизнес», «Интернет-магазин + CRM»
- Адаптивность:
- Нет
- Поддержка Композита:
- Нет
- Совместимо с Сайты24
- Нет
Пользовательское соглашение
Описание
Универсальный модуль импорта, парсинга и синхронизации данных для 1С-Битрикс.
Модуль позволяет получать данные с сайтов, из REST API, файлов поставщиков и внешних систем, преобразовывать их по заданным правилам и автоматически загружать в инфоблоки, торговый каталог и Highload-блоки 1С-Битрикс.
Подходит для интернет-магазинов, контентных проектов, каталогов, интеграций с поставщиками, агентств и разработчиков, которым нужен единый инструмент вместо набора отдельных скриптов для HTML-парсинга, импорта Excel/XML/CSV и синхронизации API.
Что можно автоматизировать- наполнение сайта товарами, новостями, статьями и другим контентом;
- регулярное обновление цен и остатков;
- импорт товаров и торговых предложений SKU;
- синхронизацию нескольких типов цен и валют;
- загрузку изображений, файлов и характеристик;
- создание и обновление разделов и свойств инфоблоков;
- импорт данных в Highload-блоки;
- получение данных из REST API с авторизацией;
- обработку больших прайс-листов и каталогов по расписанию;
- контроль исчезнувших товаров и автоматическую деактивацию;
- массовый обход страниц сайтов и пагинации;
- парсинг сайтов, контент которых формируется JavaScript.
Поддерживаемые источники
| Источник | Возможности |
|---|---|
| HTML-сайты | CSS-селекторы, XPath, обход ссылок, пагинация, изображения, Headless/JavaScript-парсинг |
| REST API / JSON | GET/POST/PUT/PATCH/DELETE, headers, Bearer, Basic Auth, OAuth2, mapping вложенных данных |
| XML / YML | XPath, потоковая обработка больших файлов, товары и предложения |
| CSV | Работа по заголовкам колонок, большие файлы, потоковый импорт |
| XLSX / ODS | Импорт таблиц, выбор листа, mapping колонок |
| FTP / SFTP | Получение файлов поставщиков напрямую с удалённых серверов |
Для HTML-источников предусмотрен отдельный инструмент Visual Selector PRO. Он помогает настроить парсер без ручного поиска селекторов в DevTools.
- визуальный выбор элементов страницы;
- автоматическое построение CSS-селектора;
- формирование XPath;
- несколько вариантов устойчивых селекторов;
- подсчёт количества совпадений;
- автоматическое обнаружение повторяющихся карточек товаров и элементов списков;
- работа с DOM после JavaScript-рендеринга в Headless-режиме.
Headless / JavaScript-парсинг
Если сайт построен на React, Vue, SPA или загружает данные после открытия страницы, можно использовать Headless-режим.
Модуль поддерживает локальный Playwright/Chromium или внешний headless-renderer. Обычные HTML-профили при этом продолжают работать без Node.js.
Гибкий MappingКаждый профиль содержит правила соответствия между данными источника и полями 1С-Битрикс.
Можно передавать данные в:
- NAME, CODE, PREVIEW_TEXT, DETAIL_TEXT;
- PREVIEW_PICTURE и DETAIL_PICTURE;
- любые свойства инфоблока;
- множественные и файловые свойства;
- цены и валюты;
- остатки и склады;
- параметры торгового каталога;
- SKU и характеристики торговых предложений;
- UF-поля Highload-блоков.
Преобразование данных
Перед сохранением значения можно обработать цепочкой преобразований. Это позволяет адаптировать данные поставщика к структуре вашего сайта без отдельного PHP-скрипта.
- trim;
- замена текста;
- регулярные выражения;
- извлечение чисел;
- округление;
- умножение и деление;
- префиксы и суффиксы;
- преобразование дат;
- ограничение длины;
- работа с HTML и текстом.
Пример:
Цена поставщика: "12 990 руб."↓
number
↓
multiply 1.15
↓
round
↓
14 939
Товары, SKU, цены и остатки
Модуль рассчитан не только на контентные инфоблоки, но и на полноценную работу с торговым каталогом.
- создание и обновление товаров;
- создание торговых предложений SKU;
- автоматическая связь SKU с родительским товаром;
- несколько типов цен;
- отдельная валюта для каждого типа цены;
- конвертация валют;
- общий остаток;
- остатки по складам;
- вес и габариты;
- НДС и единицы измерения;
- загрузка изображений и файлов.
Автоматическое создание структуры
- создание разделов по данным источника;
- поддержка вложенного дерева разделов;
- создание недостающих свойств;
- создание значений списочных свойств;
- автоматическое создание простых UF-полей Highload-блоков.
Dry-run и Diff перед импортом
Перед реальной синхронизацией можно выполнить Dry-run. Модуль анализирует источник, но не изменяет данные на сайте.
В результате видно:
- какие элементы будут созданы;
- какие элементы будут обновлены;
- какие данные не изменились;
- старое и новое значение полей;
- изменения цен и валют.
Это особенно удобно перед первым запуском нового поставщика или после изменения правил mapping.
Исчезнувшие товарыПосле полного успешного импорта модуль может определить позиции, которые ранее присутствовали в источнике, но больше в нём не находятся.
Доступны режимы:
- ничего не делать;
- деактивировать товар;
- обнулить остаток;
- деактивировать и обнулить остаток.
Защитная логика не выполняет массовую деактивацию при ошибке источника, неполном обходе или достижении лимитов импорта.
Автоматизация и расписание- ручной запуск профиля;
- Bitrix Agents;
- cron;
- индивидуальный интервал запуска;
- пакетная обработка;
- ограничение количества страниц и элементов;
- повтор ошибочных задач;
- уведомления о результатах.
Многопроцессные Workers
Для больших каталогов предусмотрена параллельная обработка очереди несколькими worker-процессами.
- настраиваемое количество workers;
- атомарный захват задания;
- lease-блокировки;
- heartbeat активного worker;
- защита от двойной обработки одной задачи;
- автоматический возврат зависших задач в очередь.
Пример запуска:
php /local/modules/bussol.contentparser/tools/cron.php --workers=4Автоматическое восстановление после сбоев
Watchdog контролирует состояние очереди и workers. Если PHP-процесс, cron или сервер завершили работу аварийно, модуль способен вернуть зависшие задачи в очередь и продолжить обработку.
Также обрабатываются «осиротевшие» запуски, когда все задания уже выполнены, но процесс не успел корректно завершить Run.
Авторизация и сетевые настройки- Basic Auth;
- Bearer Token;
- OAuth2 Client Credentials;
- произвольные HTTP headers;
- cookies;
- HTTP/HTTPS proxy;
- proxy authentication;
- FTP;
- SFTP с проверкой fingerprint;
- настраиваемые таймауты.
Streaming больших файлов
Для крупных CSV, XML, YML, XLSX и ODS модуль использует потоковую обработку, чтобы не загружать весь файл целиком в оперативную память.
Это позволяет использовать модуль для крупных каталогов и прайс-листов, где обычный импорт одним PHP-процессом может упираться в memory_limit.
Highload-блокиHighload-блок можно выбрать как самостоятельную цель профиля. Mapping записывает данные непосредственно в UF-поля.
- создание новых записей;
- обновление существующих;
- настраиваемое поле идентификации;
- автоматическое создание простых UF-полей.
Профили импорта
Для каждого источника создаётся независимый профиль со своими настройками: источник, mapping, инфоблок или Highload-блок, раздел, расписание, авторизация, proxy, transformations и правила обновления.
Профили можно экспортировать и импортировать в JSON. Чувствительные данные при экспорте по умолчанию удаляются.
Журнал, Dashboard и диагностикаАдминистратор получает единый интерфейс контроля:
- Dashboard состояния импорта;
- последние запуски;
- количество созданных и обновлённых элементов;
- очередь задач;
- ошибки по конкретным URL и записям;
- статусы workers;
- проверка PHP-расширений;
- проверка модулей iblock, catalog, highloadblock, currency;
- проверка агента и очереди;
- диагностика Headless, FTP/SFTP и других зависимостей.
Уведомления
После завершения синхронизации модуль может отправлять уведомления:
- по Email;
- через административные уведомления 1С-Битрикс;
- на внешний Webhook.
Можно уведомлять только об ошибках, только об успешных запусках или о каждом завершении профиля.
БезопасностьМодуль разработан с учётом сценариев работы с внешними источниками и прошёл отдельный security-аудит.
- защита от SSRF и обращений к приватным/служебным сетям;
- CSRF-проверки административных действий;
- проверка административных прав;
- защита чувствительных данных профилей;
- защита HTTP headers и cookies от injection;
- проверка SFTP fingerprint;
- фильтрация опасного HTML;
- ограничение типов загружаемых файлов;
- защита от передачи Authorization/Cookie на сторонние origin;
- безопасная работа с XML и внешними файлами.
Кому подходит модуль
- Интернет-магазинам — товары, SKU, цены, остатки, склады и автоматическая синхронизация.
- Поставщикам и дистрибьюторам — REST API, Excel, XML/YML, CSV, FTP/SFTP.
- Контентным проектам — автоматическая загрузка новостей, статей и каталогов.
- Интеграторам 1С-Битрикс — единый инструмент для разных источников вместо индивидуальных импорт-скриптов.
- Digital-агентствам — профили можно переносить между проектами и использовать как основу типовых интеграций.
Основные преимущества
- Один модуль вместо нескольких инструментов. Сайты, API, Excel и файлы поставщиков работают через единый интерфейс.
- Настройка без переписывания интеграции. Mapping и transformations задаются в профиле.
- Поддержка реального e-commerce. SKU, несколько цен, валюты, склады и исчезнувшие товары.
- Работа с современными сайтами. Headless/JavaScript и Visual Selector PRO.
- Масштабирование. Очередь, streaming и многопроцессные workers.
- Контроль перед запуском. Dry-run и diff позволяют заранее увидеть изменения.
- Надёжность. Retry, lease, heartbeat, watchdog и восстановление зависших задач.
- Контроль администратора. Dashboard, журнал, диагностика и уведомления.
Пример сценария
REST API поставщика
↓
OAuth2
↓
JSON
↓
Mapping + Transformations
↓
Dry-run / Diff
↓
Товары + SKU
↓
Розничная и оптовая цены
↓
Остатки по складам
↓
Очередь Workers
↓
Автоматическая синхронизация 1С-Битрикс
Требования
Базовые возможности работают в стандартной среде 1С-Битрикс. Некоторые дополнительные функции требуют соответствующих серверных компонентов:
- DOM/XMLReader/ZIP — для XML, XLSX и ODS;
- модуль «Торговый каталог» — для товаров, цен и SKU;
- Highload-блоки — для HL-назначения;
- модуль «Валюты» — для конвертации валют;
- Node.js + Playwright/Chromium или внешний renderer — для локального Headless/JavaScript-парсинга;
- PHP FTP — для FTP;
- PHP SSH2 — для SFTP.
Итог
Bussol: Парсер и импорт данных PRO — это универсальная платформа для автоматизации получения, преобразования и синхронизации внешних данных с 1С-Битрикс.
От простого импорта статьи с сайта до регулярной синхронизации большого товарного каталога через OAuth2 REST API, Excel, XML/YML или SFTP — всё настраивается через единые профили, mapping, очередь и расписание.
Настройте источник один раз — дальше модуль будет поддерживать данные сайта в актуальном состоянии автоматически.
- Сделайте резервную копию файлов и базы данных сайта.
- Установите модуль штатным механизмом Marketplace
- В административной панели откройте Marketplace → Установленные решения и установите модуль.
- Откройте Bussol → Парсер и импорт данных PRO → Диагностика и устраните обязательные проблемы окружения.
- Создайте первый профиль и выполните Preview/Dry-run до включения автоматического запуска.
- Сделайте резервную копию и экспортируйте критичные профили в JSON.
- Замените файлы модуля, сохраняя код bussol.contentparser.
- Откройте административную часть под администратором: модуль синхронизирует admin-wrapper, CSS/JS/иконки и внутреннюю схему.
- Проверьте Диагностику, затем один профиль в режиме Dry-run.
- После проверки верните cron/автозапуск в рабочий режим.
Удаление выполняйте через штатный менеджер модулей. Перед удалением сохраните экспорт профилей и убедитесь, что бизнес-данные, созданные модулем в инфоблоках/каталоге/Highload, сохранены отдельно. Удаление самого модуля не является резервным копированием данных назначения.
ПОДРОБНЕЕ О НАСТРОЙКАХ И РАБОТЕ С МОДУЛЕМ ЧИТАЙТЕ В ДОКУМЕНТАЦИИ https://docs.bussolweb.ru/BUSSOL_ContentParser.htmlЛибо воспользуйтесь виджетами обратной связи на нашем сайте https://bussolweb.ru, контактами в шапке, подвале или на странице "Контакты"
Также по всем вопросам пишите на почту нашей техподдержки support@bussolweb.ru
Время работы поддержки: Пн-Пт с 10:00 до 19:00
Время реакции на обращение - в течение 1-го рабочего дня
Другие решения разработчика
© 2001-2026 «Битрикс», «1С-Битрикс». Работает на 1С-Битрикс: Управление сайтом.