Каталог решений

Парсер контента

Модуль позволяет парсить любой контент с любых сайтов: - каталоги(торговые предложения, цены, картинки, свойства) - xml(yml) файлы - csv файлы - новости - статьи - rss ленты Функциональные возможности: 1. Загрузка и обновление товаров(свойства, картинки, цены) 2. Загрузка и обновление торговых предложений (характеристики, цены) 3. Возможность указания отдельных параметров для обновления: цена, свойства, картинки, параметры каталога, описание 4. Загрузка свойств как из списка товаров, так и из детальной карточки 5. Указание свойств по умолчанию 6. Работает с большинством типов свойств: строка, число, текст, список, higload 7. Возможность использования гибких условий изменений цены (абсолютная величина, процент) 8. Конвертация валют 9. Авторизация на удаленном сайте (сайт-донор) 10. Автоматический перевод текста (Яндекс.Переводчик) 11. Отправка уникального текста в Яндекс 12. Изменение состояния товаров(активация, деактивация, удаление) в случае их отсутствия на сайте доноре 13. Запуск парсера по агенту(крону) 14. Использование прокси сервера 15. Логирование ошибок Преимущества: 1. Загрузка партнерских каталогов со сторонних сайтов. 2. Загрузка товаров с YML выдачи сторонних сайтов 3. Перенос сайта с других платформ на платформу 1С-Битрикс 4. Быстрое наполнение сайта контентом и соответственно быстрый запуск продаж 5. Оперативность. Для новостных порталов счет идет на минуты, вы получите секунды. Новостник отследит и запостит свежую новость не менее, чем за час. «Парсер контента» сделает это за секунды. 6. Многопоточность. Качать контент с сотен сайтов одновременно в режиме реального времени?! Не проблема. «Парсер контента» позволяет создавать неограниченное число потоков. 7. Привлечение посетителей. Свежая и актуальная информация привлечет и удержит посетителей на вашем сайте, что повысит его прибыльность. 8. Экономия на контент-менеджере. Основную работу сделает парсер. Помогите своему контент-менеджера работать эффективно! 9. Быстрота. Заполнение 10000 позиций товара. Контент-менеджер справится с данной задачей за 3 месяца, «Парсер контента» - за 3 часа!!! Что планируется реализовать в будущем: 1. Парс-паук. На данный момент необходимо указать непосредственно раздел с товарами, чтобы парсинг шел успешно. Мы планируем разработать паука, который сам будет искать товары по всему каталогу. 2. Парсинг товаров по определенному фильтру. Например, указываете ключевые названия, и парсер находит, и парсит только нужные товары. 3. Автоматическое создание настроенного парса для ЯндексМаркета, Амазона и подобных ресурсов. 4. Усовершенствование логирования. Сейчас логирование осуществляется в простом формате записи в текстовый файл. Планируется, чтобы все выгружаемые товары и логи по ним выгружались в отдельную таблицу. Далее уже с этой таблицей можно будет легко работать, находить и обновлять нужные товары. Ограничения в демо-режиме(14 дней): 1. Для парсинга каталогов - парсинг трех страниц, по три товара с каждой страницы 2. Для страницы и rss лент - парсинг по одному источнику. Документация Действуют партнерские скидки! Компания «Сотбит» также рекомендует: - Модуль «1С инструменты». Расширяет возможности выгрузки из 1С в пару кликов. - Компонент «Похожие товары - как инструмент увеличения среднего чека». Выводит блок похожих товаров в карточке товара и в корзине, что позволяет увеличить средний чек вашего интернет-магазина. - Компонент «Заказ по телефону». Увеличивает конверсию и упрощает оформление заказа. - Модуль «Заказы Wikimart». Для привлечения большего числа покупателей и увеличения конверсии рекомендуем интеграцию с внешней площадкой Wikimart, а в частности выше названный модуль. - Модуль «Расчет DPD доставки». Осуществляет расчет стоимости и срока доставки службой экспресс-доставки DPD. - Модуль «Расчет доставки (Почта России/EMS)». Гарантирует бесперебойный расчет доставки сервисами "Почта России" и EMS. - Модуль «Вакансии HeadHunter» . Для увеличения тематического трафика. Чтобы работа с Парсером была легка и проста, вам необходимо знать(или изучить) минимальные знания css стилей и верстки. Также, рекомендуем ознакомиться с материалами, представленными ниже: Обучающий видео-курс 2.0: Парсер контента: Запуск нового видео-курса Парсер контента: Установка модуля Парсер контента: Категории и вложенность модуля Парсер контента: Азы и основы Парсер контента: Предварительная настройка парсера Парсер контента: Настройка постраничной навигации Парсер контента: Настройка вкладки Превью Парсер контента: Настройка вкладки Детально Парсер контента: Настройка парсинга свойств Парсер контента: Настройка торгового каталога Парсер контента: Настройка выгрузки торговых предложений Парсер контента: Доп. настройки Парсер контента: Настройка обновления товаров и уникальности Парсер контента: Настройка действий над элементами Парсер контента: Авторизация Парсер: Логи Парсер контента: Сервисы Парсер контента: Загрузка YML файлов Парсер контента: Загрузка XML файлов Парсер контента: Парсинг офферов из нескольких контейнеров Видео-уроки: Промо-ролик Обучающий видео-курс 2.0 Парсер контента в режиме работы с YML файлами Парсер контента в режиме работы с XML файлами Парcер контента в режиме работы с rss лентами Парcер контента в режиме работы с новостными страницами Парcер контента в режиме работы с каталогами Статьи: Парсер контента: Внедрение парсинга XML(YML) файлов Парсер контента: Глобальное обновление до версии 5.0.0 Глобальное обновление модуля «Парсер контента» до версии 4.0.0 - теперь парсим каталоги! Инструкция пользователя при работе с модулем «Парсер контента» в режиме каталога Поможем в настройке первого парсера абсолютно бесплатно! Ждем ваших предложений и рекомендаций по совершенствованию и улучшению модуля. Оказываем услуги по разработке на платформе 1C-Bitrix, обращайтесь - http://www.sotbit.ru/contacts/

Парсер контента

Парсер контента

Купить: 14 990 руб.
Попробовать (14 дней)
Скриншоты
Описание

Технические данные

Опубликовано:
03.12.2012
Обновлено:
13.09.2016
Версия:
5.5.6
Установлено:
Более 1000 раз
Подходящие редакции:
«Первый сайт», «Старт», «Стандарт», «Малый бизнес», «Эксперт», «Бизнес»
Адаптивность:
Нет
Поддержка Композита:
Нет

Описание решения

Модуль позволяет парсить любой контент с любых сайтов:

- каталоги(торговые предложения, цены, картинки, свойства)
- xml(yml) файлы
- csv файлы
- новости
- статьи
- rss ленты


Функциональные возможности:

1. Загрузка и обновление товаров(свойства, картинки, цены)
2. Загрузка и обновление торговых предложений (характеристики, цены)
3. Возможность указания отдельных параметров для обновления: цена, свойства, картинки, параметры каталога, описание
4. Загрузка свойств как из списка товаров, так и из детальной карточки
5. Указание свойств по умолчанию
6. Работает с большинством типов свойств: строка, число, текст, список, higload
7. Возможность использования гибких условий изменений цены (абсолютная величина, процент)
8. Конвертация валют
9. Авторизация на удаленном сайте (сайт-донор)
10. Автоматический перевод текста (Яндекс.Переводчик)
11. Отправка уникального текста в Яндекс
12. Изменение состояния товаров(активация, деактивация, удаление) в случае их отсутствия на сайте доноре
13. Запуск парсера по агенту(крону)
14. Использование прокси сервера
15. Логирование ошибок

Преимущества:

1. Загрузка партнерских каталогов со сторонних сайтов.
2. Загрузка товаров с YML выдачи сторонних сайтов
3. Перенос сайта с других платформ на платформу 1С-Битрикс
4. Быстрое наполнение сайта контентом и соответственно быстрый запуск продаж
5. Оперативность. Для новостных порталов счет идет на минуты, вы получите секунды. Новостник отследит и запостит свежую новость не менее, чем за час. «Парсер контента» сделает это за секунды.
6. Многопоточность. Качать контент с сотен сайтов одновременно в режиме реального времени?! Не проблема. «Парсер контента» позволяет создавать неограниченное число потоков.
7. Привлечение посетителей. Свежая и актуальная информация привлечет и удержит посетителей на вашем сайте, что повысит его прибыльность.
8. Экономия на контент-менеджере. Основную работу сделает парсер. Помогите своему контент-менеджера работать эффективно!
9. Быстрота. Заполнение 10000 позиций товара. Контент-менеджер справится с данной задачей за 3 месяца, «Парсер контента» - за 3 часа!!!

Что планируется реализовать в будущем:

1. Парс-паук. На данный момент необходимо указать непосредственно раздел с товарами, чтобы парсинг шел успешно. Мы планируем разработать паука, который сам будет искать товары по всему каталогу.
2. Парсинг товаров по определенному фильтру. Например, указываете ключевые названия, и парсер находит, и парсит только нужные товары.
3. Автоматическое создание настроенного парса для ЯндексМаркета, Амазона и подобных ресурсов.
4. Усовершенствование логирования. Сейчас логирование осуществляется в простом формате записи в текстовый файл. Планируется, чтобы все выгружаемые товары и логи по ним выгружались в отдельную таблицу. Далее уже с этой таблицей можно будет легко работать, находить и обновлять нужные товары.

Ограничения в демо-режиме(14 дней):
1. Для парсинга каталогов - парсинг трех страниц, по три товара с каждой страницы
2. Для страницы и rss лент - парсинг по одному источнику.

Документация

Действуют партнерские скидки!

Компания «Сотбит» также рекомендует:

- Модуль «1С инструменты». Расширяет возможности выгрузки из 1С в пару кликов.


- Компонент «Похожие товары - как инструмент увеличения среднего чека». Выводит блок похожих товаров в карточке товара и в корзине, что позволяет увеличить средний чек вашего интернет-магазина.

- Компонент «Заказ по телефону». Увеличивает конверсию и упрощает оформление заказа.

- Модуль «Заказы Wikimart». Для привлечения большего числа покупателей и увеличения конверсии рекомендуем интеграцию с внешней площадкой Wikimart, а в частности выше названный модуль.


- Модуль «Расчет DPD доставки». Осуществляет расчет стоимости и срока доставки службой экспресс-доставки DPD.

- Модуль «Расчет доставки (Почта России/EMS)». Гарантирует бесперебойный расчет доставки сервисами "Почта России" и EMS.

- Модуль «Вакансии HeadHunter» . Для увеличения тематического трафика.

Чтобы работа с Парсером была легка и проста, вам необходимо знать(или изучить) минимальные знания css стилей и верстки. Также, рекомендуем ознакомиться с материалами, представленными ниже:

Обучающий видео-курс 2.0:

Парсер контента: Запуск нового видео-курса
Парсер контента: Установка модуля
Парсер контента: Категории и вложенность модуля
Парсер контента: Азы и основы
Парсер контента: Предварительная настройка парсера
Парсер контента: Настройка постраничной навигации
Парсер контента: Настройка вкладки Превью
Парсер контента: Настройка вкладки Детально
Парсер контента: Настройка парсинга свойств
Парсер контента: Настройка торгового каталога
Парсер контента: Настройка выгрузки торговых предложений
Парсер контента: Доп. настройки
Парсер контента: Настройка обновления товаров и уникальности
Парсер контента: Настройка действий над элементами
Парсер контента: Авторизация
Парсер: Логи
Парсер контента: Сервисы
Парсер контента: Загрузка YML файлов
Парсер контента: Загрузка XML файлов
Парсер контента: Парсинг офферов из нескольких контейнеров


Видео-уроки:

Промо-ролик
Обучающий видео-курс 2.0
Парсер контента в режиме работы с YML файлами
Парсер контента в режиме работы с XML файлами

Парcер контента в режиме работы с rss лентами
Парcер контента в режиме работы с новостными страницами
Парcер контента в режиме работы с каталогами


Статьи:

Парсер контента: Внедрение парсинга XML(YML) файлов
Парсер контента: Глобальное обновление до версии 5.0.0

Глобальное обновление модуля «Парсер контента» до версии 4.0.0 - теперь парсим каталоги!

Инструкция пользователя при работе с модулем «Парсер контента» в режиме каталога

Поможем в настройке первого парсера абсолютно бесплатно!

Ждем ваших предложений и рекомендаций по совершенствованию и улучшению модуля.

Оказываем услуги по разработке на платформе 1C-Bitrix, обращайтесь - http://www.sotbit.ru/contacts/
Отзывы (22)
Обсуждения (175)
1 - 5 из 175
Что нового
5.5.6 (13.09.2016) Внедрен парсинг CSV файлов
5.5.5 (14.06.2016) - Парсинг картинок для офферов(только для офферов из отдельного контейнера) - Уникализация создаваемых разделов при парсинге xml
5.5.4 (08.06.2016) - Введен шаг постраничной навигации - Парсинг офферов из нескольких контейнеров
5.5.3 (24.05.2016) - Исправлена ошибка работы с highload свойствами - Исправлена ошибка кодировки при работе с xml
5.5.2 (19.05.2016) - Незначительные доработки
5.5.1 (18.05.2016) - Внедрены доп условия изменения цен по разделу - Исправлена ошибка парсинга разделов в xml - Другие мелкие доработки и исправления
5.5.0 (04.05.2016) - Мелкие доработки
5.4.9 (07.04.2016) - Добавлена функциональность - Обновление только текущих товаров без создания новых - Принудительное удаление файлов из временной папки tmp
5.4.8 (05.04.2016) - Внедрен функционал обнуления остатков, если товар отсутствует в выгрузке - Исправление ошибок многораздельности
5.4.7 (16.03.2016) - Многораздельность! Теперь вы можете выгружать каталог с множеством разделов с помощью одного парсера!
5.4.6 (14.03.2016) - Введен функционал парсинга количества товара - Небольшие доработки и правки
5.4.5 (03.03.2016) - Небольшие доработки и улучшения
5.4.4 (17.02.2016) - добавлена возможность создания разделов с одинаковыми названия (XML) - парсинг торговых с разделителем x, xl, xxl, m (XML) - внедрены видео-уроки (XML)
5.4.3 (09.02.2016) - Внедрение торговых предложений в XML парсинг
5.4.2 (03.02.2016) - Внедрение вкладок Сервисы и Авторизация в XML парсинг
5.4.1 (02.02.2016) - Доработка и исправление ошибок XML парсинга
5.4.0 (31.01.2016) - Внедрен XML парсинг
5.3.1 (13.12.2015) - Добавлена возможность парсинга свойств из атрибутов элементов
5.3.0 (12.11.2015) - Незначительные доработки
5.2.9 (28.10.2015) - Внедрение новых событий для разработчиков - Мелкие доработки решения
5.2.8 (09.09.2015) - Устранена ошибка с использованием настроек инфоблока при ресайзе изображений
5.2.7 (15.08.2015) - внедрены события: начала парсинга, окончание парсинга, перед созданием элемента, после создания элемента
5.2.6 (11.08.2015) - Незначительные доработки
5.2.5 (06.08.2015) - Устранение варнингов
5.2.4 (04.08.2015) - Исправление мелких недоработок
5.2.3 (05.07.2015) - Незначительные исправления
5.2.2 (03.07.2015) - Исправление критической ошибки, вызванной обновлением Битрикса
5.2.1 (01.07.2015) - Добавлена HTTP-аутентификация
5.2.0 (01.07.2015) - Доработка js скриптов
5.1.10 (01.07.2015) - Доработаны js скрипты
5.1.9 (05.06.2015) - Незначительные доработки
5.1.8 (11.05.2015) - Усовершенствована работа с параметрами товара
5.1.7 (10.05.2015) - Возможность перевода текста (Яндекс.Переводчик) - Отправка уникального текста в Яндекс
5.1.6 (07.05.2015) - Усовершенствована работа с постраничной навигацией. Теперь вы можете самостоятельно настраивать логику работы постраничной навигации, если это невозможно сделать стандартным способом.
5.1.5 (06.05.2015) - Мелкие доработки
5.1.4 (04.05.2015) - Добавлен новый вид парсинга офферов - с одиночными характеристиками - Изменен принцип создания имен офферов, если имя оффера отсутствует. - Незначительные доработки и исправления
5.1.3 (29.04.2015) - Исправление мелких недоработок
5.1.2 (10.04.2015) - Добавлен функционал категорий для rss и page типа
5.1.1 (10.04.2015) - Исправление критической ошибки в новом функционале категорий парсера
5.1.0 (09.04.2015) - Появилась возможность создавать папки-категории для парсеров - Возможность загружать товары в неактивные разделы
5.0.6 (05.04.2015) - Загрузка картинок из фонового изображения background
5.0.5 (30.03.2015) - Переработана логика округления цен
5.0.4 (25.03.2015) - Появилась возможность удалять/добавлять символы или слова у полей и свойств типа Строка(S)
5.0.3 (21.03.2015) - Удаление из доп. картинок детальной картинки
5.0.2 (19.03.2015) - Значения свойств по умолчанию вынесены в отдельный блок
5.0.1 (05.03.2015) - Незначительные доработки
5.0.0 (05.03.2015) - Парсинг офферов табличного вида - Возможность удаления, деактивации товаров, не участвующих в текущей выгрузке
4.8.0 (26.02.2015) - Добавлена работа со свойствами типа Справочник(highload) - Внедрена событийная модель - Теперь все файлы в описании сохраняются на сервер через Медиабиблиотеку и вы легко сможете удалить любой файл - Мелкие доработки и улучшения
4.7.0 (24.02.2015) - Переработана визуализация свойств. Теперь управлять парсингом свойств удобнее и проще - Появилась возможность добавлять новые свойства прямо из парсера - Возможность парсинга свойств из превью - Добавлена поддержка HTML свойств - Добавлена поддержка свойств типа файл(F). Теперь вы можете легко грузить инструкции и другие документы - Округление цен - Устранение мелких багов
4.6.2 (17.02.2015) - Мелкие доработки
4.6.1 (16.02.2015) - Незначительные доработки
4.6.0 (27.01.2015) - Незначительные улучшения парсинга детального описания. Теперь парсить можно по нескольким селекторам.
4.5.9 (15.01.2015) - Работа с куками
4.5.8 (15.01.2015) - Добавлена возможность добавлять наименование атрибута в постраничную навигацию
4.5.7 (22.12.2014) - Устранена ошибка занесения символьного кода при запуске парсера по агенту(rss и page)
4.5.6 (16.12.2014) - Исправление мини-бага с тегом base
4.5.5 (13.11.2014) - Поддержка https протокола
4.5.4 (05.10.2014) - Исправление мелких багов
4.5.3 (26.09.2014) - Устранение недоработок
4.5.2 (09.09.2014) - Устранен баг удаления тегов
4.5.1 (31.08.2014) - Обновление информационного текста
4.5.0 (30.08.2014) - Добавлена возможность установки формата цен
4.4.9 (29.08.2014) - Устранение мелких багов
4.4.8 (19.08.2014) - Доработка page парсера, если родитель=ссылке
4.4.7 (04.08.2014) - Парсер работает с учетом мета-тега base для относительных ссылок
4.4.6 (03.08.2014) - Для page парсинга устранены ошибки относительных ссылок
4.4.5 (06.07.2014) - Добавлен выбора типа уникализации в режиме page и rss - Возможность парсинга в режиме page, если ссылка находится в самом селекторе
4.4.4 (29.06.2014) Небольшие доработки
4.4.3 (16.06.2014) - Незначительные доработки и исправления
4.4.2 (03.06.2014) - Устранены мелки баги
4.4.1 (29.05.2014) - Добавлена возможность парсинга кириллических доменов
4.4.0 (18.05.2014) - Парсинг нескольких разделов одновременно - Добавлена возможность парсинга цен в офферы - Добавлены значения свойств по умолчанию
4.3.5 (13.05.2014) - Исправления мини-бага при парсе свойств по названию
4.3.4 (29.04.2014) - Добавлена дата активности при парсинге типа Каталог - Устранены мелкие баги
4.3.3 (27.04.2014) - Исправлен баг html типа описания
4.3.2 (24.04.2014) - Устранена ошибка при парсинге свойств через тег br
4.3.1 (23.04.2014) - Устранен мелкий баг при определении уникальности новости/статьи
4.3.0 (21.04.2014) - При page-парсинге первоисточник остается неизменным, то есть не переводится в нижний регистр
4.2.9 (05.04.2014) - Добавлена возможность парсинга названия товара с детальной страницы - Автоматическое создание уникального символьного кода - Сохранение активной вкладки при нажатии кнопки "Применить" - Исправлен баг при удалении атрибутов элементов
4.2.8 (22.03.2014) - Увеличены размеры полей для удаления элементов и атрибутов - Добавлена возможность парсить свойства по наименованию через тег br - Устранение мелких багов
4.2.7 (02.03.2014) - Исправлены ошибки при авторизации парсера
4.2.6 (02.03.2014) - Отлажена работоспособность модуля при php 5.4
4.2.5 (27.02.2014) - Добавлен парсинг картинок, с расширением в верхнем регистре
4.2.4 (25.02.2014) - Устранен баг при копировании парсеров
4.2.3 (24.02.2014) - Удаление лишних пробелов в описании
4.2.2 (24.02.2014) - Изменен порядок удаления тегов и элементов
4.2.1 (19.02.2014) - Исправление ошибки: Класс неопределен.
4.2.0 (19.02.2014) - Добавлен функционал авторизации на сторонних сайтах.
- Добавлена возможность изменения цен по нескольким условиям.
- Фикс мелких багов
4.1.0 (16.02.2014) - Исправлена проблема кодировки на некоторых версиях php
4.0.9 (16.02.2014) - Исправление работы парсера при работе в демо-режиме
4.0.3 (09.02.2014) - Исправление мелких багов
4.0.2 (07.02.2014) - Скорректирована работа парсера из под агента
4.0.1 (06.02.2014) - Корректировка работы прелоадера - Исправление мелких багов
4.0.0 (03.02.2014) - Добавлен функционал парсинга каталогов - Исправление мелких багов
3.1.1 (27.01.2014) - Исправление мелких багов
3.1.0 (08.12.2013)
  • - Добавлена возможность парсинга не только по rss лентам, но и по страницам новостей
  • - Добавлена возможность установки времени задержки между запросами к источнику, чтобы обойти систему контроля активности
  • - Исправлены мелки баги
3.0.3 (17.11.2013) - Добавлена возможность копирования парсеров - На странице парсера реализован аджакс парсинг и прелоадер - Удаление тегов в титлах, мета-описании и ключевиках - Добавлены доп. поля в фильтр и сортировку списка парсеров
3.0.2 (04.11.2013) Исправлены мелкие баги
Установка
Стандартная установка через marketplace.

Модуль работает только при наличии на сервере библиотеки DOM и cURL!!!

Также оказываем услуги по выгрузке каталогов и другого контента с помощью данного решения.

Документация

Обучающий видео-курс 2.0:
Парсер контента: Запуск нового видео-курса
Парсер контента: Установка модуля
Парсер контента: Категории и вложенность модуля
Парсер контента: Азы и основы
Парсер контента: Предварительная настройка парсера
Парсер контента: Настройка постраничной навигации
Парсер контента: Настройка вкладки Превью
Парсер контента: Настройка вкладки Детально
Парсер контента: Настройка парсинга свойств
Парсер контента: Настройка торгового каталога
Парсер контента: Настройка выгрузки торговых предложений
Парсер контента: Доп. настройки
Парсер контента: Настройка обновления товаров и уникальности
Парсер контента: Настройка действий над элементами
Парсер контента: Авторизация
Парсер: Логи
Парсер контента: Сервисы
Парсер контента: Загрузка YML файлов
Парсер контента: Загрузка XML файлов
Парсер контента: Парсинг офферов из нескольких контейнеров
Поддержка
Тех. поддержка: http://www.sotbit.ru/support/

Время работы тех. поддержки: пн-пт, 10:00 - 18:00
Реакция ответа на обращение: 24 часа


Поможем вашему сайту: http://www.sotbit.ru/services/support/

Лицензионное соглашение

Другие решения разработчика

еще 21 решение

Решение добавлено в корзину

Перейдите в корзину и оформите заказ или продолжите покупки
Перейти в корзину
Продолжить покупки
Для установки данного решения необходимо указать адрес вашего сайта, на котором установлен 1С-Битрикс. Вам также потребуется авторизоваться на своем сайте под правами Администратора, чтобы продолжить установку.
Как установить дополнение