Каталог решений

Модуль агрегирует записи из RSS-лент и сохраняет их в инфоблок вашего сайта. За вами лишь оформить вывод в публичной части. У некоторых сайтов по умолчанию есть rss и можно сразу использовать. А ещё можно с помощью сторонних сервисов конвертировать в rss почти всё − Telegram-канал, Twitter, VK. Список сервисов конвертации, которыми можете воспользоваться самостоятельно (некоторые потребуют участия вашего веб-разработчика):RSSHub (пример rss)RSS Bridge (пример сервера)VKRSS politepolFeed43 (пример)ZapierIFTTTNotifierДополнительно в модуле вы можете настроить:• перечень ключевых выражений и стоп-слов для отбора записей; • в каком формате сохранять запись - html или plain text;• интервал обновлений;• !! фразы и url вашего сайта для автоматической внутренней линковки из текстов новостей !! Модуль позволяет добавить неограниченное количество RSS-каналов для агрегирования! Кроме того, агрегатор добавляет изображения из ленты и полный текст новости (из тега yandex:full-text), ориентированный для публикации в Яндекс Дзен.Этот модуль будет особенно полезен для вас, если вы:1. Продвигаете свой или сайт клиента на 1С-Битрикс в поисковых системах2. Занимаетесь SEO-продвижением самостоятельно3. Хотите предоставлять клиенту сводку актуальной и полезной информации4. Хотите сэкономить на специалистах по SEO-оптимизации (автоматическая внутренняя линковка и повышение веса нужных страниц)5. Заинтересованы в том, чтобы постоянно улучшать позиции (поисковики учитывают как часто обновляется ваш сайт, а с нашим модулем это будет происходить автоматически и регулярно)FAQКак настраивать модуль?- См.страницу "установка": http://marketplace.1c-bitrix.ru/solutions/webindustry.agregator/#tab-install-linkАгрегируется полный текст или анонс?- Агрегируется тот текст, который владелец канала разместил на нем. Чаще всего это только анонс. На некоторых каналах есть полный текст новости (тег yandex:full-text), и если он присутствует, то тоже агрегируется.В этом случае анонс сохраняется в описание анонса, а полный текст - в детальное описание.Сохраняется ли ссылка на источник?- Да, в элемент добавляется свойство "Ссылка на источник" - страницу на сайте автора новости, где она опубликована целиком.Сохраняются ли изображения?- Да, если они есть в канале, то в детальной картинке и картинке анонса. Сохраняются на вашем сервере.Как выводятся собранные новости?- Так как новости сохраняются в инфоблок, вы можете выводить их любым удобным вам компонентом, как встроенным в модуль, так и стандартным компонентом Битрикса (news.list).Вы можете по желанию настроить вывод каждой новости на отдельной странице или создать только одну общую, выводить анонс или полное описание.

Агрегатор новостей 4.0 (Парсер RSS-контента + SEO)

Купить: 4 000 руб.

Попробовать (10 дней)

от Web-Industry

Скриншоты

Описание

Технические данные

Опубликовано:: 16.07.2014
Обновлено:: 02.11.2023
Версия:: 4.3.5
Установлено:: 100 - 499 раз
Подходящие редакции:: «Первый сайт», «Старт», «Стандарт», «Малый бизнес», «Бизнес», «Интернет-магазин + CRM»
Адаптивность:: Да
Поддержка Композита:: Да
Совместимо с Сайты24: Нет
Совместимо с PHP 8.1: Да

Пользовательское соглашение

Описание

Модуль агрегирует записи из RSS-лент и сохраняет их в инфоблок вашего сайта. За вами лишь оформить вывод в публичной части.

У некоторых сайтов по умолчанию есть rss и можно сразу использовать. А ещё можно с помощью сторонних сервисов конвертировать в rss почти всё − Telegram-канал, Twitter, VK.

Список сервисов конвертации, которыми можете воспользоваться самостоятельно (некоторые потребуют участия вашего веб-разработчика):
RSSHub (пример rss)
RSS Bridge (пример сервера)
VKRSS
politepol
Feed43 (пример)
Zapier
IFTTT
Notifier

Дополнительно в модуле вы можете настроить:
• перечень ключевых выражений и стоп-слов для отбора записей;
• в каком формате сохранять запись - html или plain text;
• интервал обновлений;
• !! фразы и url вашего сайта для автоматической внутренней линковки из текстов новостей !!

Модуль позволяет добавить неограниченное количество RSS-каналов для агрегирования!

Кроме того, агрегатор добавляет изображения из ленты и полный текст новости (из тега yandex:full-text), ориентированный для публикации в Яндекс Дзен.

Этот модуль будет особенно полезен для вас, если вы:
1. Продвигаете свой или сайт клиента на 1С-Битрикс в поисковых системах
2. Занимаетесь SEO-продвижением самостоятельно
3. Хотите предоставлять клиенту сводку актуальной и полезной информации
4. Хотите сэкономить на специалистах по SEO-оптимизации (автоматическая внутренняя линковка и повышение веса нужных страниц)
5. Заинтересованы в том, чтобы постоянно улучшать позиции (поисковики учитывают как часто обновляется ваш сайт, а с нашим модулем это будет происходить автоматически и регулярно)

FAQ

Как настраивать модуль?
- См.страницу "установка":
http://marketplace.1c-bitrix.ru/solutions/webindustry.agregator/#tab-install-link

Агрегируется полный текст или анонс?
- Агрегируется тот текст, который владелец канала разместил на нем. Чаще всего это только анонс. На некоторых каналах есть полный текст новости (тег yandex:full-text), и если он присутствует, то тоже агрегируется.
В этом случае анонс сохраняется в описание анонса, а полный текст - в детальное описание.

Сохраняется ли ссылка на источник?
- Да, в элемент добавляется свойство "Ссылка на источник" - страницу на сайте автора новости, где она опубликована целиком.

Сохраняются ли изображения?
- Да, если они есть в канале, то в детальной картинке и картинке анонса. Сохраняются на вашем сервере.

Как выводятся собранные новости?
- Так как новости сохраняются в инфоблок, вы можете выводить их любым удобным вам компонентом, как встроенным в модуль, так и стандартным компонентом Битрикса (news.list).
Вы можете по желанию настроить вывод каждой новости на отдельной странице или создать только одну общую, выводить анонс или полное описание.

Отзывы (2)

Обсуждения (45)

Авторизуйтесь , чтобы оставить отзыв или задать вопрос разработчику.

Пользователь 8062 15 февраля 2024 13:48

Добрый день,
Агент работает только на кроне или можно на хитах?

Игорь (разработчик) 15 февраля 2024 17:52

Алексей Бородулин, на малом объёме может успеть отработать, а когда объём побольше и/или у вас много агентов, то или не выполнится или пользователь заметит значимую задержку (тк при хите все агенты захотят отработать).

Игорь (разработчик) 15 февраля 2024 18:06

Алексей Бородулин, ваш тикет видим. Коллеги ответят в ближайшее время.

Пользователь 1142745 29 июня 2023 19:53

ни какого сео тоже нет, не вводите людей в заблуждение - мета теги не прописываются в статьях, мало того, статьи парсятся вместе с ссылками на источник, а это уже анти сео, а не сео

Игорь Архипов (разработчик) 29 июня 2023 20:21

Руслан Грининцевич,

SEO это не только метатеги прописать. Поисковики, особенно гугл, ещё считают вес страниц по анкорам внутренних ссылок (это наш модуль делает). Из самых доступных сервисов где можно вес страниц проверить это seoto . me

Ссылки на источник идут отдельным полем https://cln.sh/NHB39bFm и выводить ли ссылку / не выводить ссылку / выводить но оборачивать в rel=nofollow − это уже задача владельца сайта.

Исходящие ссылки на качественные ресурсы (вы же только на такие ссылаетесь, да?) могут повышать авторитет вашего ресурса. Если мне не верите − почитайте статью от SiteClinic про исходящие ссылки.

Пользователь 1142745 29 июня 2023 19:51

вы предлагаете не бесплатную версию, а тестовый период платного модуля. Кто здесь вообще говорит о бесплатности? Я установил ваш тест чтобы проверить как будет работать модуль, за который собирался заплатить. Но ваша тестовая версия отбила у меня всякую охоту его покупать, все не то и не так как вы писали на скринах.

Игорь Архипов (разработчик) 29 июня 2023 20:25

Руслан Грининцевич,
у нас недвусмысленно на скринах и в секции Установка показано что "демо-версия" и "полная версия" это разное. Дополним чтобы это было более очевидно. Спасибо за обратную связь.

Пользователь 1142745 29 июня 2023 16:32

Я не вижу ничего сложного в том, чтобы сделать для клиентов так, как показано на ваших скринах. То, о чем вы пишете не соответствует действительности. В реальности я получил на тестовом периоде парсер, который выводит информацию не корректно, изображения вставляются в анонс вместо галереи, что крайне странно, информация отображается с тегами и крайне не равномерно. На мою просьбу настроить мне корректную работу вашего модуля я получил отказ и многочисленные отписки, не отвечающие на мои вопросы, что тоже крайне странно. В результате делаю вывод, что ваш не стоит покупать ваш модуль и тратить свое драгоценное время.

Игорь Архипов (разработчик) 29 июня 2023 16:48

Руслан Грининцевич, демо-версия отличается от платной. Соответственно настроек из платной версии https://cln.sh/WrNkF1pb не появится в демо-версии никогда, это не зависит от моего или вашего желания, просто так есть.

Если у источника нет валидного rss – ничего не поделать (правда).

Если модуль не подходит вам − не нужно его покупать.

Парсеры контента на заказ скорее всего решат вашу задачу так как вы ожидаете, но там уже другой порядок цен. Так же рекомендую ознакомиться с бесплатные парсерами в статье от xmldatafeed на VC от 2022 г.

Пользователь 1142745 29 июня 2023 10:49

Изображения у вас не туда подгружаются, куда нужно, в битриксе они никогда не отображались в анонсе, они должны подгружаться в галерею http://joxi.ru/DrlkxQOsde45JA

Игорь Архипов (разработчик) 29 июня 2023 15:06

Руслан Грининцевич, если владелец сайта положил изображение в отдельный тег в rss https://cln.sh/RpnGxt7h то оно будет пересохраняться https://cln.sh/r7M7SpC9. Когда в содержимом несколько изображений модуль не может решить какое ставить на превью.

Что нового

4.3.5 (02.11.2023)	Исправлены мелкие ошибки
4.3.4 (21.04.2023)	Исправлены ошибки
4.3.3 (18.04.2023)	Исправлены ошибки
4.3.2 (09.03.2023)	Поддерживается php 8.1 Исправлены ошибки
4.3.1 (08.03.2023)	Добавлено автоматическое вырезание эмодзи, если кодировка базы данных их не поддерживает
4.2.2 (25.11.2022)	Исправлены мелкие ошибки
4.2.1 (21.11.2022)	Добавлена возможность создания демонстрационного инфоблока и демонстрационной страницы с агрегированными новостями при установке модуля.
4.1.1 (14.07.2021)	Исправлены мелкие ошибки
4.1.0 (13.03.2021)	Добавлено чтение atom лент
4.0.0 (16.10.2020)	Добавление функций внутренней линковки
3.7.2 (16.10.2020)	Исправлены ошибки в демо режиме В демо режим добавлен третий канал RSSHub
3.7.0 (15.10.2020)	Исправлена ошибка парсинга полного текста новостей
3.6.7 (22.09.2020)	Исправлено добавление одинаковых новостей, если в заголовке больше 255 символов. Добавлена опция "Помещать длинные заголовки(>255 зн) в начало описания".
3.6.6 (12.09.2020)	Добавлен поиск ключевых выражений и стоп-слов в полном тексте новости
3.6.5 (04.09.2020)	Добавлена автоматическая замена в тексте локальных путей для картинок на абсолютные
3.6.4 (12.07.2020)	В анонсе и полном текте новостей вырезаются локальные видео
3.6.3 (06.07.2020)	Добавлена возможность делать добавленные новости неактивными
3.6.2 (14.06.2019)	Улучшена фильтрация слов и обработка спецсимволов
3.6.1 (12.03.2018)	Исправлена ошибка с созданием агентов
3.6.0 (20.02.2018)	Добавлена возможность импортировать новости без изображений Добавлена возможность импортировать новости с удалением HTML тегов
3.5.1 (15.02.2018)	Исправлены ошибки в интерфейсе, не позволяющие указывать, в каком формате сохранять новости (text/html)
3.5.0 (07.11.2016)	Небольшие правки интерфейса.
3.4.1 (19.10.2016)	Исправление ошибок
3.4.0 (06.10.2016)	Добавлены два фильтра: по сроку давности новостей и по проценту похожести на уже агрегированные.
3.3.0 (23.08.2016)	Добавлен импорт в корень инфоблока и запись изображения в картинку анонса.
3.2.0 (28.06.2016)	Добавлен демо-канал с картинками. Добавлена пагинация в компонент вывода ленты. Исправлены ошибки.
3.1.0 (15.06.2016)	Исправлены ошибки c кодировкой.
3.0.0 (18.05.2016)	Добавлено: - импорт картинок - выбор, в каком формате сохранять данные из канала - html или text - импорт подробного описания yandex:full-text - демо-данные с настроенным rss-каналом Битрикс Исправлены ошибки.
2.1.0 (07.04.2016)	Теперь при отсутствии ключевых слов агрегируются все сообщения из ленты. Исправлены ошибки: обработка исключения при некорректном формате RSS-канала, тип описания и анонса изменен на html.
2.0.0 (25.01.2016)	Улучшен внешний вид интерфейса. Добавлена возможность управления выводом с нескольких RSS-каналов. Добавлена возможность определения списка стоп-слов.
1.0.6 (27.02.2015)	Исправления ошибок
1.0.5 (26.02.2015)	Добавлена поддержка разных кодировок сайта, генерация символьного кода из заголовка новости.

Установка

После покупки модуля: в административном разделе сайта в разделе "Marketplace > Обновление решений" на вкладке "Активация купона" скопируйте код лицензионного ключа и активируйте купон.

После этого в разделе "Обновление решений" появится модуль, готовый к загрузке и установке.

ВАЖНО! Необходимые условия для корректной работы решения:
1. Инфоблок не должен содержать обязательных полей, за исключением символьного кода;
2. Фиды должны соответствовать версии RSS 2.0 и должны быть без ошибок валидатора;
3. На сайте должны быть корректно настроены агенты на кроне по инструкции:
https://dev.1c-bitrix.ru/learning/course/index.php?COURSE_ID=43&LESSON_ID=2943
4. На сервере в настройках PHP должна быть задана директива allow_url_fopen = 1.
Посмотреть его текущее значение на вашем сайте можно в панели управления Битрикс: Настройки -> Инструменты -> Диагностика -> Настройки PHP. Поддерживаемые версии PHP 7.4 и выше

Настройка
Интерфейс полной версии отображен на первом скриншоте, демо-версии - на втором.

Перейдите в Настройки -> Настройки продукта -> Настройки модулей -> Агрегатор новостей

Настройка полной версии:
1. Введите список RSS-каналов, каждый с новой строки.
2. Если требуется, внесите список ключевых выражений для поиска по ним новостей, каждое с новой строки.
3. Если требуется, внесите список стоп-слов для фильтрации, так же каждое с новой строки.
4. Выберите инфоблок и секцию инфоблока (либо его корень), куда будет идти запись; введите интервал - как часто необходимо обновлять данные из канала.
5. Необязательные дополнительные настройки (открываются при клике на кнопку "Дополнительные настройки"):
- Можете отметить галочкой опцию "импортировать как text" - по умолчанию идет импорт в формате html.
- Если вы хотите избежать агрегирования похожих новостей, можете задать процент похожести названий, при котором новость не стоит агрегировать (например, если редакторы RSS-канала редактируют новость, немного изменяя ее название, по умолчанию она будет агрегироваться второй раз, т.к. название у нее теперь другое). По умолчанию значение 100%.
- Можно настроить фильтр по давности новостей, по умолчанию они агрегируются без ограничения по времени.
7. Сохраните изменения.
6. Для добавления нового агрегатора нажмите кнопку "Добавить еще 1 секцию".

Настройка демо-версии:
Внимание! При работе в демо-режиме происходит агрегация данных только из RSS-канала Битрикс и тестового канала с картинками.
1. Поставьте галочку около интересующего вас канала, нажмите кнопку "Показать настройки".
3. В настройках выберите инфоблок и секцию инфоблока (либо его корень), куда будет идти запись и введите интервал - как часто необходимо обновлять данные из канала.
4. Если требуется, внесите список ключевых выражений для поиска по ним новостей и список стоп-слов для фильтрации, каждое с новой строки.
5. Необязательные дополнительные настройки:
- Можете отметить галочкой опцию "импортировать как text" - по умолчанию идет импорт в формате html.
- Если вы хотите избежать агрегирования похожих новостей, можете задать процент похожести названий, при котором новость не стоит агрегировать (например, если редакторы RSS-канала редактируют новость, немного изменяя ее название, по умолчанию она будет агрегироваться второй раз, т.к. название у нее теперь другое). По умолчанию значение 100%. На демо-данных это эффект можно увидеть, ставя процент примерно на уровне 40 (т.к. одинаковых новостей там обычно нет) и удалив часть собранных новостей - при следующем обновлении часть новостей с более похожими названиями не будет импортироваться.
- Можно настроить фильтр по давности новостей, по умолчанию они агрегируются без ограничения по времени.
5. Сохраните изменения.

Поддержка

Уважаемые клиенты!

Обращения в службу поддержки отправляйте по адресу: marketplace@web-industry.pro.

Чтобы сократить длительность взаимодействия со службой техподдержки и получить корректные ответы на свои вопросы как можно быстрее, придерживайтесь, пожалуйста, двух простых правил!

Пронумеруйте вопросы, если их у вас больше одного. Нам будет удобнее отвечать по пунктам, а вы будете уверены, что мы ничего не пропустим.
В обращении приложите административный доступ к сайту и доступ к FTP-аккаунту с правом на чтение/запись всех папок и файлов сайта (особенно это касается папки Bitrix).

ВАЖНО: проверьте предварительно, работают ли логины и пароли, которые вы высылаете нам.

У нас, как и у вас, есть свои принципы и правила работы, поэтому обращения, составленные не по правилам, мы можем проигнорировать!

Служба технической поддержки работает для вас с понедельника по пятницу с 11.00 до 19.00 (в рабочие дни).
Максимальное время ожидания ответа на обращение - 48 часов.

Обращайтесь, и мы будем рады вам помочь!

Другие решения разработчика

Все решения

Cloudflare CAPTCHA − Защита сайта от спама и ботов (Капча) Бесплатно 3

Готовые решения

О маркетплейсе

Для разработчиков

1С-Битрикс http://www.1c-bitrix.ru Общие вопросы info@1c-bitrix.ru Приобретение и лицензирование продуктов: sales@1c-bitrix.ru Маркетинг/мероприятия/PR marketing@1c-bitrix.ru Партнерская программа partners@1c-bitrix.ru Мы работаем с 10:00 до 19:00 по московскому времени.