Блог Евгения Попова :: Программы :: DataLife Engine

Бесплатные плагины для автонаполнения киносайтов и парсинга инфы с кинопоиска


Пришло лето, и сейчас многие ушли на каникулы на 3 месяца. Всем интересна тематика кино, но кто-то наполняет в начале своего пути сайты вручную, кто-то пытается найти платный/бесплатный парсер информации о фильмах. Есть и платный парсер и бесплатный, последний я честно говоря уже давно не проверял, поэтому о его работе не могу ничего сказать. Итак, давайте посмотрим какие же варианты есть в настоящее время для парсинга информации о фильме при добавлении новости из админки DLE, а так же в модулях присутствует массовый граббинг материалов всей базы видеобалансера.

  1. CCDN. Сам пользуюсь уже долгое время парсингом информации с этого видеобалансера, не всегда конечно полная информация, и даже рейтинги кинопоиска иногда нулевые, потому что инфа была добавлена давно и просто не обновлялась. Но в целом это не критично. Официальным модулем можно спарсить все материалы по выбранным параметрам. Так же есть платный модуль для данного балансера — тыц.
    Функции модуля:
    Массовое проставление ссылок на материалы и трейлеры из базы collaps в указанное доп. поле по: Kinopoisk id, imdb id, worldArt id, а также проставление качества, озвучек, статусов сериала и данных о последнем сезоне/серии с базы балансера;
    проставление дополнительной информации о материале при добавлении или редактировании отдельной новости;
    возможность задать приоритет по озвучкам, а также исключить те озвучки, которые не нужны;
    автоподнятие материалов по входу в новость на сайте:
    *поднятие сериалов при появлению нового эпизода в базе балансера;
    *поднятие фильмов/мультфильмов при обновлении качества в базе балансера.
    бновление шаблонов заголовка, метатега Title и ЧПУ по входу в новость на сайте. Формат заголовка необходимо обязательно вписать в поле!;
    связка частей франшиз и вывод их в качестве подсказки для пользователей;
    График выхода новых серий, а также календарь для главной страницы с отображением обновлений видео за сегодня и на N дней вперед/назад. Для использования, обязательно нужно заполнить доп. поле «id CCDN»!
    связка подборок от collaps с категориями вашего сайта, либо проставление подборок для материала в доп. поле;
    страница с новыми материалами, которые появились на балансере за последнюю неделю, с проверкой на наличие у вас на сайте и возможностью сформировать по ней новость в один клик. + возможность поиска определенного материала на балансере по id kinopoisk, также с возможностью сформировать новость, если материал есть, а новости к нему еще нет на сайте;
    страница для материалов, которым только предстоит выйти на экраны, но в базе балансера уже есть трейлер и данные для оформления новости. Можно создать страницу под фильм/сериал наперед и собирать трафик на странице с трейлером.
  2. Alloha. Тоже отличный видеобалансер, который предоставляет бесплатно модуль, аналогичный платному выше, и от того же автора. Сам его не ставил ещё, но по настройке думаю с первым модулем нет каких-либо особых отличий. Также данным модулем можно организовать постраничный/посезонный вывод для сериалов.
    Что модуль умеет:
    — автообновление при выходе новых серий для сериалов и качества у фильмов (по крону /engine/ajax/controller.php? mod=alloha&last), со сменой серии, сезона в мета-тайтл, доп. поле с серией, озвучки, плеера и качества в доп. поле качества и в причине редактирования; * пропускает, если такого материала нет на сайте или нет обновлений для материала

    — возможность поднимать новость при автообновлении (ВКЛ/ВЫКЛ);

    — ручной парсер на странице добавления и редактирования новостей с поиском по названию материала и по ID Кинопоиска, с постерами;

    — кнопки «обновить плеер» и «обновить трейлер» на странице добавления и редактирования новостей у соответствуюших доп. полей трейлера и плеера, для замены плееров от других балансеров — на плеера Alloha;

    — функция «+1 серия» к последней вышедшей серии в метатайтл через тег {plus_episode} и в причину редактирования (есть поле для указания количества серий на сколько прибавить — прибавляется через запятую вида: 1 сезон 1, 2 и 3 серия. так же из мета-тайтла можно просто убрать тег плюс одной серии, тогда будет прибавлять только в причину редактирования, или же выключить данную функцию вовсе, просто не указывая сколько прибавлять серий к последней вышедшей);

    — автонаполнение через крон новыми фильмами со всеми данными о фильме и автоматическое слежение за новинками в базе, с возможностью отправлять сначала на модерацию для написания уник. текста или на сайт, с выключенной индексацией для поисковиков., а так же с возможностью ограничения автонаполнения по странам и годам;

    — возможность отправлять новость о новой вышедшей серии или качества — в социальные сети (ВКонтакте, Телеграмм, Твиттер) — для этого сделана связка с модулем SocialPosting — для отправки новости при добавлении нового фильма, выхода нового качества или при поднятии новой серии в сериале — в группу Telegram, ВКонтакте, Твиттер или в другую выбранную соцсеть (работает только при автоподнятии или автопостинге, и с установленным модулем SocialPosting + связкой socialposting.xml из архива с модулем Alloha);

    — для парсера на странице добавления/редактирования и автонаполнения — категории можно связать с годами или странами производства материала. Например если есть категория «2020» то вы можете настроить связку всех материалов, у которых год выпуска 2020 с этой категорией, а так же по странам, например: «Русские сериалы»: сериал+Россия;

    — проверка по id kinopoisk;

    Для автонаполнения имеется:
    Функция отправления фильмов и сериалов сначала на модерацию;

    Функция отправления на модерацию при отсутствии постера;

    Функция отправления на модерацию при отсутствии описания;

    Функция запретить индексацию страницы для поисковиков;

    Плюс имеется Черный список — можно использовать для того чтобы фильмы которые под запретом РКН — не попали на сайт;

    Модуль так же проставляет:
    Метатег Title;

    Метатег Description;

    Метатег Keywords;

    Теги новости;

    ЧПУ новости;

    Причину редактирования: «при смене качества фильма» и «выхода новых серий у сериалов».

    Обновление v3.0 — 28.07.2021
    1. Сделана возможность постраничного вывода серий и сезонов при ручном парсинге, граббинге и при автообновлении серий:

    — каждый сезон — отдельная страница
    — каждая серия — отдельная страница
    — SEO-настройка для страницы с серией
    — постеры, описание для каждой серии
    — кнопки переключение на пред. / след. страницу с серией внутри сезона
    — вывод всех сезонов — на странице сериала
    — вывод всех эпизодов, внутри одного сезона
    — вывод всех последних добавленных серий на сайт, через шорт-код {serialy last="yes» limit="5"} — выведет последние пять добавленных на сайт эпизодов, например, на главной странице в main.tpl

    2. Добавлены следующие страницы для постраничного вывода серий:

    — страница с выводом всех сезонов сериала;
    — страница для отдельного сезона с выводом эпизодов внутри одного сезона;
    — страница для самой серии.

    3. Добавлены новые теги модуля:

    {season} — сезон
    {episode} — серия
    {episode-title} — название эпизода
    {kadr} — постер серии *для работы тега нужно создать доп поле «kadr», тип поля «загружаемое изображение»
    [prev-episode]{prev-episode} серия[/prev-episode] — ссылка на предыдущий эпизод, внутри сезона
    [next-episode]{next-episode} серия[/next-episode] — ссылка на следующий эпизод, внутри сезона
    {story} — описание эпизода
    {season=[xfvalue_last_season]} — тег для вывода ссылок на все сезоны сериала, где [xfvalue_last_season] — это доп. поле с последним сезоном
    {serialy news-id="{news-id}» season=»[xfvalue_last_season]» limit="5"} — для вывода серий из последнего сезона
    {serialy last="yes» limit="5"} — выведет последние пять добавленных на сайт эпизодов, например, на главной странице в main.tpl

    4. Сделан вывод:

    — Всех сезонов одного сериала на странице с сериалом.
    — Всех эпизодов внутри одного сезона — на странице с сезоном.
    — Вывод последних добавленных серий на сайт — в любой tpl сайта.

    5. Сделана настройка SEO для страниц с сезоном / серией, возможность вывести отдельно описание для каждой серии, название серии, а так же постер для серии

    6. На страницах просмотра серии реализована навигация на предыдущую и следующую серии внутри сезона

    7. Добавлен новый фильтр для граббинга:

    — Запрещенные годы: не будут добавляться публикации только определенных годов. если ничего не выбрано — то все

    8. И обновлены три фильтра (теперь отсеивание идет не во время грабинга, а сразу получаем список нужных фильмов по выставленным фильтрам)

    — Допустимые годы: будут добавляться публикации только определенных годов, если ничего не выбрано — то все
    — Допустимые страны: будут добавляться публикации только определенных стран, если ничего не выбрано — то все
    — Запрещенные страны: будут запрещены для публикации определенные страны, если ничего не выбрано — то все

    Требования:
    Версия DLE: 11.0 и выше

    Версия PHP: 7.1+

    Установлен: ioncube 10+

    Кодировка: windows-1251 и utf-8
  3. Kodik. Данный видеобалансер уже давно не добавляет новинки кино, которые идут в кинотеатрах, сконцентрировался больше на аниме и дорамах. Модуль полностью идентичен модулю от аллохи: автопарсинг базы, посерийка, посезонка… Так же его ранее выкладывал на блоге здесь.
    Основные возможности:
    Граббинг: автоматическое наполнение через Cron, без Вашего участия;
    Автоподнятие сериалов и фильмов при выходе новых серий, сезонов, озвучек и нового качества в базе;
    Ручной поиск по базе на странице добавления/редактирования новостей;
    Добавляет аниме/фильмы/сериалы со всей информацией с базы Kodik, Shikimori, MyDramaList, Кинопоиска и World Art в Title, Description, Keywords, Заголовок новости, Теги новости, краткое и полное описание, доп поля, url;
    Возможность авторазбивки постранично на страницы с сериями (каждый сезон и каждая серия — отдельная страница);
    Автоконвертирование и уменьшение картинок по выставленным параметрам
    А так же возможность автоматически отправлять новость о новом фильме — в социальные сети (ВКонтакте, Телеграмм, Твиттер). И не только (см. ниже).
  4. Bazon. Последнее время на данный балансер много жалоб идёт из-за рекламы политической пропаганды вокруг РФ и Украины в плеере, что многих в РФ просто заблокировали РКН. У данного видеобалансера разработчик модуля видимо другой, потому что в их модуле добавление всей базы на сайт идёт через консоль сервера:
    ДОБАВЛЕНИЕ СРАЗУ ВСЕХ ФИЛЬМОВ
    По умолчанию крон добавляет только последние обновления в базе. Но если вам нужно добавить сразу все фильмы на сайт, есть такая возможность.
    Для этого нужно запустить в консоли сервера файл крона и добавить к нему фразу add_all, через пробел после пароля, пример команды:

    /путь/к/php /путь/к/папке/сайта/bazon.cron.php пароль add_all

    Но главное и то, что он так же работает как и парсер инфы с кинопоиска.
  5. uStore. Про данный модуль уже давно писал, и выкладывал его у себя в блоге. Там всё подробно описано. В модуле нет массового добавления материалов на сайт из базы видеобалансера, но если вручную добавлять каждый материал — модуль спарсит все нужные данные о материале, такие как год, страна, актеры и т. д.


Эти модули можно скачать в ЛК каждого видеобалансера. Позже добавлю бесплатный парсер кинопоиска версии 3,3,0, актуализированный и оформленный в виде плагина.
Перейти на сайт (скачивать файлы можно только на сайте)