Каталог решений

Покупка продления купона

Продолжительность:
Общая сумма:
0 руб.
Ваш запрос успешно отправлен!
Условия использования
Продлить
Продолжить покупки

Парсер контента: сайты, excel, xml, yml, csv, rss

Для кого предназначен: - Интернет-магазины. Интеграция с поставщиками. - Новостные и городские порталы. Наполнение контентом. Модуль позволяет интегрировать товарную номенклатуру поставщиков с интернет-магазином на 1С-Битрикс. Поддерживает следующие форматы данных: - Сайт-каталог - EXCEL - XML - YML - CSV Решение поможет с наполнением контента новостным и городским порталам. Работает со следующими форматами данных: - RSS лента - Сайты-новостники Возможна загрузка информации в: - Инфоблок - Highload-блок Функциональные возможности: 0. Парсинг любых сайтов: любые CMS либо самописные системы 1. Загрузка и обновление товаров(свойства, картинки, цены, остатки) 2. Загрузка и обновление торговых предложений (характеристики, цены, остатки) 3. Работа со складами и остатками 4. Возможность указания отдельных параметров для обновления: цена, свойства, картинки, параметры каталога, описание 5. Корректно работает при интеграции с 1С 6. Указание свойств по умолчанию 7. Загрузка документов и файлов 8. Загрузка картинок по FTP 9. Работает с большинством типов свойств: строка, число, текст, список, highload 10. Возможность использования гибких условий изменений цены (абсолютная величина, процент) 11. Конвертация валют 12. Авторизация на удаленном сайте (сайт-донор) 13. Загрузка файлов на сервер (EXCEL, YML, XML, CSV) 14. Автоматический перевод текста (Яндекс.Переводчик) 15. Отправка уникального текста в Яндекс 16. Изменение состояния товаров(активация, деактивация, удаление) в случае их отсутствия на сайте доноре 17. Email оповещения о состоянии работы парсера 18. Запуск парсера по агенту(крону) 19. Использование прокси сервера 20. Логирование ошибок В демо-режиме действуют ограничения по количеству загружаемых товаров: 1. Для сайтов-доноров, excel, xml, yml, csv файлов - парсинг трех страниц, по три товара с каждой страницы 2. Для страницы и rss лент - парсинг по одному источнику. Внимание! Перед приобретением модуля настоятельно рекомендуем протестировать его работу в демо-режиме, чтобы убедиться в работоспособности продукта под Ваши требования.

Парсер контента: сайты, excel, xml, yml, csv, rss

Парсер контента: сайты, excel, xml, yml, csv, rss

Купить: 19 990 руб.
Попробовать (14 дней)
Скриншоты
Описание

Технические данные

Опубликовано:
03.12.2012
Обновлено:
21.09.2017
Версия:
5.6.23
Установлено:
Более 1000 раз
Подходящие редакции:
«Первый сайт», «Старт», «Стандарт», «Малый бизнес», «Эксперт», «Бизнес»
Адаптивность:
Нет
Поддержка Композита:
Нет

Описание














Для кого предназначен:

- Интернет-магазины. Интеграция с поставщиками.
- Новостные и городские порталы. Наполнение контентом.


Модуль позволяет интегрировать товарную номенклатуру поставщиков с интернет-магазином на 1С-Битрикс. Поддерживает следующие форматы данных:




- Сайт-каталог
- EXCEL
- XML
- YML
- CSV


Решение поможет с наполнением контента новостным и городским порталам. Работает со следующими форматами данных:





- RSS лента
- Сайты-новостники


Возможна загрузка информации в:

- Инфоблок
- Highload-блок



Функциональные возможности:

0. Парсинг любых сайтов: любые CMS либо самописные системы
1. Загрузка и обновление товаров(свойства, картинки, цены, остатки)
2. Загрузка и обновление торговых предложений (характеристики, цены, остатки)
3. Работа со складами и остатками
4. Возможность указания отдельных параметров для обновления: цена, свойства, картинки, параметры каталога, описание
5. Корректно работает при интеграции с 1С
6. Указание свойств по умолчанию
7. Загрузка документов и файлов
8. Загрузка картинок по FTP
9. Работает с большинством типов свойств: строка, число, текст, список, highload
10. Возможность использования гибких условий изменений цены (абсолютная величина, процент)
11. Конвертация валют
12. Авторизация на удаленном сайте (сайт-донор)
13. Загрузка файлов на сервер (EXCEL, YML, XML, CSV)
14. Автоматический перевод текста (Яндекс.Переводчик)
15. Отправка уникального текста в Яндекс
16. Изменение состояния товаров(активация, деактивация, удаление) в случае их отсутствия на сайте доноре
17. Email оповещения о состоянии работы парсера
18. Запуск парсера по агенту(крону)
19. Использование прокси сервера
20. Логирование ошибок









В демо-режиме действуют ограничения по количеству загружаемых товаров:

1. Для сайтов-доноров, excel, xml, yml, csv файлов - парсинг трех страниц, по три товара с каждой страницы
2. Для страницы и rss лент - парсинг по одному источнику.

Внимание! Перед приобретением модуля настоятельно рекомендуем протестировать его работу в демо-режиме, чтобы убедиться в работоспособности продукта под Ваши требования.










































Отзывы (36)

1 - 10 из 36
Обсуждения (268)
1 - 5 из 268
Что нового
5.6.23 (18.09.2017) - исправлена кодировка для "Селектор названия товара:"
5.6.22 (08.09.2017) -тип парсера "catalog " устранена ошибка парса урлов с якорем -тип парсера "xml" в содержимом по селектору "Селектор-атрибут названия товара" данные вида
5.6.21 (28.08.2017) - исправлена ошибка, которая появлялась, если в свойстве типа справочник инфоблока указать "создать новый справочки"
5.6.20 (25.08.2017) Тип парсера XML:
- Добавлена возможность привязки товаров к нескольким разделам, если в селекторе или в атрибуте указать id разделов через зяпятую;
- Так же реализована возможность указывать селекторы "Селектор-атрибут категории товара:" через зяпятую
5.6.19 (15.08.2017) Устранены неисправности работы парсера тип xml:
  • работа с локальными файлами;
  • деление файла на части и работа с ними;
  • работа опции "Что делать с товарами, присутствующими в предыдущей выгрузке и отсутствующими в текущей" закладка "Обновление / Уникальность".
5.6.18 (19.06.2017) - в xml парсере добавлена возможность парсить атрибуты категорий(описание, картинка, доп поля)
5.6.17 (02.06.2017) - небольшие обновления
5.6.16 (24.05.2017) - добавлена возможность загрузки в HL-блоки - добавлены типы парсеров xls+catalog и xml+catalog - незначительные правки
5.6.15 (15.05.2017) - небольшие правки
5.6.14 (04.04.2017) - Небольшие правки и исправления
5.6.13 (27.01.2017) - добавлена возможность выгружать остатки на несколько складов
5.6.12 (26.01.2017) - добавлена возможность загрузки картинок из xls файлов; - добавлена возможность загружать товары из csv, xls в указанные в товаре разделы(по названию);
5.6.11 (25.01.2017) - Загрузка картинок по FTP для парсеров типа csv, xls - Загрузка изображений из файла для парсера типа xls
5.6.10 (19.01.2017) -небольшие правки
5.6.9 (04.01.2017) - Внедрен парсинг нескольких типов цен(для парсеров xml, catalog, csv, xls) - Реализована работа с информерами наличия(для парсеров xml, catalog, csv, xls)
5.6.8 (15.12.2016) - Внедрено деление больших xml файлов - Сопоставление категорий из xml файла с уже существующими категориями инфоблока - Фильтр по свойствам(для парсера xml)
5.6.7 (02.12.2016) - Исправлены мелкие недоработки - Внедрен парсинг торговых со страницы каталога(для парсера каталог)
5.6.6 (21.11.2016) - Добавлена возможность отправлять email-оповещения о начале и завершении парсинга. Незначительные правки
5.6.5 (02.11.2016) - Внедрено "Умное логирование"
5.6.4 (25.10.2016) - Незначительные правки
5.6.3 (10.10.2016) - Исправлена авторизация для xml, csv, xls парсеров
5.6.2 (04.10.2016) - Незначительные изменения
5.6.1 (03.10.2016) - Внедрены склады
5.6.0 (28.09.2016) - Внедрен парсинг XLS и XLSX файлов
5.5.6 (13.09.2016) Внедрен парсинг CSV файлов
5.5.5 (14.06.2016) - Парсинг картинок для офферов(только для офферов из отдельного контейнера) - Уникализация создаваемых разделов при парсинге xml
5.5.4 (08.06.2016) - Введен шаг постраничной навигации - Парсинг офферов из нескольких контейнеров
5.5.3 (24.05.2016) - Исправлена ошибка работы с highload свойствами - Исправлена ошибка кодировки при работе с xml
5.5.2 (19.05.2016) - Незначительные доработки
5.5.1 (18.05.2016) - Внедрены доп условия изменения цен по разделу - Исправлена ошибка парсинга разделов в xml - Другие мелкие доработки и исправления
5.5.0 (04.05.2016) - Мелкие доработки
5.4.9 (07.04.2016) - Добавлена функциональность - Обновление только текущих товаров без создания новых - Принудительное удаление файлов из временной папки tmp
5.4.8 (05.04.2016) - Внедрен функционал обнуления остатков, если товар отсутствует в выгрузке - Исправление ошибок многораздельности
5.4.7 (16.03.2016) - Многораздельность! Теперь вы можете выгружать каталог с множеством разделов с помощью одного парсера!
5.4.6 (14.03.2016) - Введен функционал парсинга количества товара - Небольшие доработки и правки
5.4.5 (03.03.2016) - Небольшие доработки и улучшения
5.4.4 (17.02.2016) - добавлена возможность создания разделов с одинаковыми названия (XML) - парсинг торговых с разделителем x, xl, xxl, m (XML) - внедрены видео-уроки (XML)
5.4.3 (09.02.2016) - Внедрение торговых предложений в XML парсинг
5.4.2 (03.02.2016) - Внедрение вкладок Сервисы и Авторизация в XML парсинг
5.4.1 (02.02.2016) - Доработка и исправление ошибок XML парсинга
5.4.0 (31.01.2016) - Внедрен XML парсинг
5.3.1 (13.12.2015) - Добавлена возможность парсинга свойств из атрибутов элементов
5.3.0 (12.11.2015) - Незначительные доработки
5.2.9 (28.10.2015) - Внедрение новых событий для разработчиков - Мелкие доработки решения
5.2.8 (09.09.2015) - Устранена ошибка с использованием настроек инфоблока при ресайзе изображений
5.2.7 (15.08.2015) - внедрены события: начала парсинга, окончание парсинга, перед созданием элемента, после создания элемента
5.2.6 (11.08.2015) - Незначительные доработки
5.2.5 (06.08.2015) - Устранение варнингов
5.2.4 (04.08.2015) - Исправление мелких недоработок
5.2.3 (05.07.2015) - Незначительные исправления
5.2.2 (03.07.2015) - Исправление критической ошибки, вызванной обновлением Битрикса
5.2.1 (01.07.2015) - Добавлена HTTP-аутентификация
5.2.0 (01.07.2015) - Доработка js скриптов
5.1.10 (01.07.2015) - Доработаны js скрипты
5.1.9 (05.06.2015) - Незначительные доработки
5.1.8 (11.05.2015) - Усовершенствована работа с параметрами товара
5.1.7 (10.05.2015) - Возможность перевода текста (Яндекс.Переводчик) - Отправка уникального текста в Яндекс
5.1.6 (07.05.2015) - Усовершенствована работа с постраничной навигацией. Теперь вы можете самостоятельно настраивать логику работы постраничной навигации, если это невозможно сделать стандартным способом.
5.1.5 (06.05.2015) - Мелкие доработки
5.1.4 (04.05.2015) - Добавлен новый вид парсинга офферов - с одиночными характеристиками - Изменен принцип создания имен офферов, если имя оффера отсутствует. - Незначительные доработки и исправления
5.1.3 (29.04.2015) - Исправление мелких недоработок
5.1.2 (10.04.2015) - Добавлен функционал категорий для rss и page типа
5.1.1 (10.04.2015) - Исправление критической ошибки в новом функционале категорий парсера
5.1.0 (09.04.2015) - Появилась возможность создавать папки-категории для парсеров - Возможность загружать товары в неактивные разделы
5.0.6 (05.04.2015) - Загрузка картинок из фонового изображения background
5.0.5 (30.03.2015) - Переработана логика округления цен
5.0.4 (25.03.2015) - Появилась возможность удалять/добавлять символы или слова у полей и свойств типа Строка(S)
5.0.3 (21.03.2015) - Удаление из доп. картинок детальной картинки
5.0.2 (19.03.2015) - Значения свойств по умолчанию вынесены в отдельный блок
5.0.1 (05.03.2015) - Незначительные доработки
5.0.0 (05.03.2015) - Парсинг офферов табличного вида - Возможность удаления, деактивации товаров, не участвующих в текущей выгрузке
4.8.0 (26.02.2015) - Добавлена работа со свойствами типа Справочник(highload) - Внедрена событийная модель - Теперь все файлы в описании сохраняются на сервер через Медиабиблиотеку и вы легко сможете удалить любой файл - Мелкие доработки и улучшения
4.7.0 (24.02.2015) - Переработана визуализация свойств. Теперь управлять парсингом свойств удобнее и проще - Появилась возможность добавлять новые свойства прямо из парсера - Возможность парсинга свойств из превью - Добавлена поддержка HTML свойств - Добавлена поддержка свойств типа файл(F). Теперь вы можете легко грузить инструкции и другие документы - Округление цен - Устранение мелких багов
4.6.2 (17.02.2015) - Мелкие доработки
4.6.1 (16.02.2015) - Незначительные доработки
4.6.0 (27.01.2015) - Незначительные улучшения парсинга детального описания. Теперь парсить можно по нескольким селекторам.
4.5.9 (15.01.2015) - Работа с куками
4.5.8 (15.01.2015) - Добавлена возможность добавлять наименование атрибута в постраничную навигацию
4.5.7 (22.12.2014) - Устранена ошибка занесения символьного кода при запуске парсера по агенту(rss и page)
4.5.6 (16.12.2014) - Исправление мини-бага с тегом base
4.5.5 (13.11.2014) - Поддержка https протокола
4.5.4 (05.10.2014) - Исправление мелких багов
4.5.3 (26.09.2014) - Устранение недоработок
4.5.2 (09.09.2014) - Устранен баг удаления тегов
4.5.1 (31.08.2014) - Обновление информационного текста
4.5.0 (30.08.2014) - Добавлена возможность установки формата цен
4.4.9 (29.08.2014) - Устранение мелких багов
4.4.8 (19.08.2014) - Доработка page парсера, если родитель=ссылке
4.4.7 (04.08.2014) - Парсер работает с учетом мета-тега base для относительных ссылок
4.4.6 (03.08.2014) - Для page парсинга устранены ошибки относительных ссылок
4.4.5 (06.07.2014) - Добавлен выбора типа уникализации в режиме page и rss - Возможность парсинга в режиме page, если ссылка находится в самом селекторе
4.4.4 (29.06.2014) Небольшие доработки
4.4.3 (16.06.2014) - Незначительные доработки и исправления
4.4.2 (03.06.2014) - Устранены мелки баги
4.4.1 (29.05.2014) - Добавлена возможность парсинга кириллических доменов
4.4.0 (18.05.2014) - Парсинг нескольких разделов одновременно - Добавлена возможность парсинга цен в офферы - Добавлены значения свойств по умолчанию
4.3.5 (13.05.2014) - Исправления мини-бага при парсе свойств по названию
4.3.4 (29.04.2014) - Добавлена дата активности при парсинге типа Каталог - Устранены мелкие баги
4.3.3 (27.04.2014) - Исправлен баг html типа описания
4.3.2 (24.04.2014) - Устранена ошибка при парсинге свойств через тег br
4.3.1 (23.04.2014) - Устранен мелкий баг при определении уникальности новости/статьи
4.3.0 (21.04.2014) - При page-парсинге первоисточник остается неизменным, то есть не переводится в нижний регистр
4.2.9 (05.04.2014) - Добавлена возможность парсинга названия товара с детальной страницы - Автоматическое создание уникального символьного кода - Сохранение активной вкладки при нажатии кнопки "Применить" - Исправлен баг при удалении атрибутов элементов
4.2.8 (22.03.2014) - Увеличены размеры полей для удаления элементов и атрибутов - Добавлена возможность парсить свойства по наименованию через тег br - Устранение мелких багов
4.2.7 (02.03.2014) - Исправлены ошибки при авторизации парсера
4.2.6 (02.03.2014) - Отлажена работоспособность модуля при php 5.4
4.2.5 (27.02.2014) - Добавлен парсинг картинок, с расширением в верхнем регистре
4.2.4 (25.02.2014) - Устранен баг при копировании парсеров
4.2.3 (24.02.2014) - Удаление лишних пробелов в описании
4.2.2 (24.02.2014) - Изменен порядок удаления тегов и элементов
4.2.1 (19.02.2014) - Исправление ошибки: Класс неопределен.
4.2.0 (19.02.2014) - Добавлен функционал авторизации на сторонних сайтах.
- Добавлена возможность изменения цен по нескольким условиям.
- Фикс мелких багов
4.1.0 (16.02.2014) - Исправлена проблема кодировки на некоторых версиях php
4.0.9 (16.02.2014) - Исправление работы парсера при работе в демо-режиме
4.0.3 (09.02.2014) - Исправление мелких багов
4.0.2 (07.02.2014) - Скорректирована работа парсера из под агента
4.0.1 (06.02.2014) - Корректировка работы прелоадера - Исправление мелких багов
4.0.0 (03.02.2014) - Добавлен функционал парсинга каталогов - Исправление мелких багов
3.1.1 (27.01.2014) - Исправление мелких багов
3.1.0 (08.12.2013)
  • - Добавлена возможность парсинга не только по rss лентам, но и по страницам новостей
  • - Добавлена возможность установки времени задержки между запросами к источнику, чтобы обойти систему контроля активности
  • - Исправлены мелки баги
3.0.3 (17.11.2013) - Добавлена возможность копирования парсеров - На странице парсера реализован аджакс парсинг и прелоадер - Удаление тегов в титлах, мета-описании и ключевиках - Добавлены доп. поля в фильтр и сортировку списка парсеров
3.0.2 (04.11.2013) Исправлены мелкие баги
Установка
Стандартная установка через marketplace.

Модуль работает только при наличии на сервере библиотеки DOM и cURL!!!

Для парсинга файлов .xlsx обязательна установка библиотеки XMLReader

Также оказываем услуги по выгрузке каталогов и другого контента с помощью данного решения.

Документация

Обучающий видео-курс 2.0:
Парсер контента: Запуск нового видео-курса
Парсер контента: Установка модуля
Парсер контента: Категории и вложенность модуля
Парсер контента: Азы и основы
Парсер контента: Предварительная настройка парсера
Парсер контента: Настройка постраничной навигации
Парсер контента: Настройка вкладки Превью
Парсер контента: Настройка вкладки Детально
Парсер контента: Настройка парсинга свойств
Парсер контента: Настройка торгового каталога
Парсер контента: Настройка выгрузки торговых предложений
Парсер контента: Доп. настройки
Парсер контента: Настройка обновления товаров и уникальности
Парсер контента: Настройка действий над элементами
Парсер контента: Авторизация
Парсер: Логи
Парсер контента: Сервисы
Парсер контента: Загрузка YML файлов
Парсер контента: Загрузка XML файлов
Парсер контента: Парсинг офферов из нескольких контейнеров
Поддержка
Перед обращением в техподдержку рекомендуем ознакомиться со следующими материалами:

- Документация
- Обучающий видеокурс
- Статьи о модуле

В большинстве случаев Вы сможете найти ответы на Ваши вопросы в материалах, представленных Выше.

Если же Вы не нашли ответ на свой вопрос, тогда всегда можете обратиться в нашу службу технической поддержки. Оформить запрос в техподдержку можно следующими способами:
Чтобы Ваше обращение рассматривалось более оперативно, рекомендуем в  каждом новом обращении обязательно оставлять следующие данные:

1. Адрес сайта
2. Доступы (логин и пароль) к сайту 1С-Битрикс с правами администратора
3. Адрес сервера, логин и пароль к FTP или SSH.
4. Подробное описание проблемы и механизмы ее воспроизведения
5. Скрины или видео подтверждения проблемы будут очень желательны

Если Вы обращаетесь в техподдержку для тестирования работы модуля и настройки первого парсера, то обязательно просим указать следующие данные:

1. Тип парсинга: catalog, xml, xls, csv, page, rss
2. Доступы на сайт 1С-Битрикс с правами администратора
3. Указать адрес сайта-донора (раздел каталога) либо адрес файла, с которого будут загружаться товары
4. В какой инфоблок и раздел загружать товары
5. Какие поля, свойства и цены выгружать
5. Другие доп. данные, которые Вы посчитаете нужными.

Техподдержка работает в будние дни с 10:00 до 18:00 (время московское).
Время ответа: от 1 минуты до 4 часов.
____________________________________________________________

Возникла претензия к техподдержке?

Если  Вас не устраивает работа нашей техподдержки, то прежде, чем писать в  комментарии или отзывы, просим обратиться в наш отдел качества с  оформленной претензией. Претензия оформляется  следующим образом:

Заголовок письма: Претензия по обращению №{Номер тикета, если их несколько, то перечислить через запятую}
Тело письма: Подробно  описываете суть претензии к нашей  техподдержке. Старайтесь избегать  эмоциональной составляющей, хотя  иногда это бывает очень сложно  сделать.
Претензия направляется по адресу: info@sotbit.ru

В кратчайшие сроки Ваша претензия будет рассмотрена и Вы получите ответ. И мы постараемся оперативно решить Вашу проблему.

Оформив претензию, Вы поможете сделать наш сервис лучше.

Лицензионное соглашение

Другие решения разработчика

еще 23 решения

Рекомендуем

Решение добавлено в корзину

Перейдите в корзину и оформите заказ или продолжите покупки
Перейти в корзину
Продолжить покупки