Блог Евгения Попова :: Программы :: DataLife Engine

DLE Kodik+Shikimori grabber


Граббер-парсер по базе аниме, дорам, а так же фильмов и сериалов — Kodik и данными с Shikimori и Кинопоиска, с возможностью отправки сначала на модерацию, c автоподнятием сериалов при выходе новых серий и фильмов при выходе нового качества и данными о аниме/аниме-сериалах с Shikimori, и дорам с Кинопоиска и World Art, а так же возможностью автоматически отправлять новость о новом фильме — в социальные сети (ВКонтакте, Телеграмм, Твиттер).

DLE Kodik+shikimori Grubber-Parser. Граббер-парсер по базе фильмов и сериалов Kodik для CMS DLE (DataLife Engine). Граббер автоматически наполняет Ваш сайт новыми фильмами/сериалами/аниме с базы аниме, фильмов и сериалов Kodik.

Есть возможность отправки сначала на модерацию, для написания уник. текста.
Модуль также имеет возможность поднимать вверх новость при выходе новой серии или лучшего качества для фильма.
А так же с возможностью автоматически отправлять новость о новом фильме — в социальные сети (ВКонтакте, Телеграмм, Твиттер).
А так же есть ручной поиск фильмов и сериалов на странице редактирования и добавления новостей — по названию материала.

Модуль удобен даже, если Вы пишите только оригинальные тексты для фильмов, а следить за появлением новинок на Кодике самостоятельно у Вас нет времени, — для этого предусмотрена функция отправки свежих новостей на модерацию.


v3.3 - 07.06.2021
1. Для сериалов - сделан fix для использования своих доп. полей для форматированных серий/сезонов
2. Фикс проставления формат. серий/сезонов в доп. поля и тайтл - при запуске автонаполнения граббером
3. Настройка формат. серий и сезонов - перенесена из вкладки "Сериалы" - в общую вкладку "Доп. поля"
4. Добавлен фильтр "Максимум актеров" -
можно указать ограничение на кол-во актеров
5. И фильтр "Максимум режиссёров" -
можно указать ограничение на кол-во режиссёров
v4.0 - 29.06.2021
1. Сделана возможность постраничного вывода серий и сезонов при ручном парсинге, граббинге и при автообновлении серий:
- каждый сезон - отдельная страница
- каждая серия - отдельная страница
- SEO-настройка для страницы с серией
- постеры, описание для каждой серии
- кнопки переключение на пред. / след. страницу с серией внутри сезона
- вывод всех сезонов - на странице сериала
- вывод всех эпизодов, внутри одного сезона
- Вывод всех последних добавленных серий на сайт - в любой tpl сайта, через шорт-код {serialy last="yes" limit="5"} - выведет последние пять добавленных на сайт эпизодов, например, на главной странице в main.tpl
2. Добавлены следующие страницы для постраничного вывода серий:
- Страница с выводом всех сезонов сериала;
- Страница для отдельного сезона с выводом эпизодов внутри одного сезона;
- Страница для самой серии.
3. Добавлены новые теги модуля:
{season} - сезон
{episode} - серия
{episode-title} - название эпизода
{kadr} - постер серии *для работы тега нужно создать доп поле "kadr", тип поля "загружаемое изображение"
[prev-episode]{prev-episode} серия[/prev-episode] - ссылка на предыдущий эпизод, внутри сезона
[next-episode]{next-episode} серия[/next-episode] - ссылка на следующий эпизод, внутри сезона
{story} - описание эпизода
{season=[xfvalue_last_season]} - тег для вывода ссылок на все сезоны сериала, где [xfvalue_last_season] - это доп. поле с последним сезоном
{serialy news-id="{news-id}" season="[xfvalue_last_season]" limit="5"} - для вывода серий из последнего сезона
{serialy last="yes" limit="5"} - выведет последние пять добавленных на сайт эпизодов, например, на главной странице в main.tpl
4. Сделан вывод:
- Всех сезонов одного сериала на странице с сериалом.
- Всех эпизодов внутри одного сезона - на странице с сезоном.
- Вывод последних добавленных серий на сайт - в любой tpl сайта.
5. Сделана настройка SEO для страниц с сезоном / серией , возможность вывести отдельно описание для каждой серии, название серии, а так же постер для серии
6. На страницах просмотра серии реализована навигация на предыдущую и следующую серии внутри сезона
7. Исправлена проблема с кириллицей при граббинге в URL
v4.1
1. Добавлен новый метод скачиваний материалов базы Кодик в БД сайта, в таблицу _kodik из JSON-файлов со всеми фильмами, сериалами
2. Добавлены новые кроны для скачивания материалов базы. Список крон-задач см. в файле "крон.txt".
3. Сделана возможность граббинга материалов - без ID Кинопоиска
4. Добавлена проверка на дубли - по ID Kodik *должно быть создано и заполняться поле "kodik_id"
v4.2
1. Сделан запуск кронов модуля - по секретному ключу. Ключ - указывается в настройках модуля, в поле "Секретный ключ для крона".
v.4.3
1. Переделана работа граббинга - сделан граббинг только по Kodik API, оптимизированы лимиты на переобход, упрощён сам запуск крона
2. Добавлена кнопка очистки таблицы _kodik , внутрь модуля - "Обновить очередь", - для очистки таблицы при применении новых выставленных фильтров для граббинга
3. Переделены след. фильтры - теперь отбор по фильтрам идет не во время граббинга - а сразу идет запрос на получение готового списка в API:
> по странам
> по годам
4. Добавлены новые фильтры (с фильтрацией так же при запросе сразу в API):
>Порядок добавления материалов (вы можете выбрать в каком порядке будут добавляться фильмы. по дате или по рейтингу. по возрастанию или убыванию)
>Добавлен фильтр по озвучке
>Добавлен новый фильтр по типу перевода (только голосовой перевод или только субтитры)
>Добавлен фильтр по параметру camrip. Если указать включить, то будут выведены только материалы с качественной картинкой. Если выключить, то будут выведены все материалы.
>Добавлен фильтр материалов по странам, в которых они не должны быть заблокированы.
>Добавлен фильтр материалов по жанру - для ограничения грабинга, например, только мелодрам, только боевиков и тд.
>Добавлен фильтр материалов по минимальному возрасту, с которого можно смотреть
>Добавлен фильтр по возрастному рейтингу
Добавлен фильтр по статусам Shikimori, MyDramaList (anons, ongoing, released)
5. Добавлен чекбокс "Использовать посерийный модуль (ВКЛ/ВЫКЛ)" - отключить, если на сайте не используется постраничная разбивка на серии
6. Убрана вставка названия материала в краткое/полное описание и дискрипшн при отсутствии описания у материала
7. Добавлена новая настройка регистра и размера постера: "Размер постера": - например, можно выставить автоконвертирование в 200x160 или 120 или 0 для сохранения оригинального изображения
8. Исправлены мелкие ошибки
v.4.4
- Реализована автоматическая загрузка скриншота эпизода с API базы для посерийного модуля - при автоматической разбивке на серии
- Переделана логика парсинга эпизодов для постраничного модуля с базы при граббинге - теперь берется не последний эпизод, а episodes_total - кол-во эпизодов в сезоне
- Переделена так же логика парсинга эпизодов - при ручном парсинге и автоообновлении ?last - значение кол-ва серий в сезоне берется теперь из массива "episodes" - берется последняя серия
- Добавлена поддержка указания шаблона template="abc" - для тега вывода последних добавленных на сайт эпизодов {serialy last="yes" limit="5"} - при постраничном выводе серий
- Добавлена возможность сортировки вывода серий внутри тегов: {serialy news-id="{news-id}" season="{season}"} и {serialy news-id="{news-id}" season="[xfvalue_last_season]"}
*sort="desc" - от последней до первой, sort="asc" - от первой до последней
- Добавлена настройка "Загружать скриншот к эпизодам с API" - при постраничном выводе серий сериалов
- Добавлен новый тег Смотреть с первой серии - для посерийного модуля
- Добавлен тег [active][/active] - для подсветки текущего эпизода, который просматривает пользователь
- Добавлена кнопка "Обновить kodik плеер" на странице добавления/редактирования новостей у соответствующего поля с плеером - для быстрого проставления плеера к материалу с базы
- Исправлено сохранение настроек фильтра "Допустимые страны"
v4.5
- Сделан ручной поиск всех сезонов аниме-сериалов - через ручной парсер на странице добавления/редактирования новостей
- Сделан граббинг всех сезонов аниме-сериалов (проверка идёт дополнительно по ID Shiki, если ID KP даже одинаковый - сравнение идет по ID Shiki ещё. ID Shiki если отличается - и добавляется материал)
- Добавлена поддержка DLE 15
v4.6
- Добавлена функция "Конвертировать все загружаемые изображения в формат WebP" на DLE 15 для постеров и скриншотов
- Исправлена настройка конвертирование регистра и размера постера на DLE v15
- Исправлено заполнение поля shikimori_id
- Исправлен парсинг "переводов" аниме и аниме-сериалов
- Исправлена загрузка скриншотов на DLE 15
v4.7
- Добавлена поддержка PHP 8.0
- Добавлен новый раздел "Для постраничного вывода серий"
- Оптимизация работы посерийного парсинга для слабых серверов
- Исправлена работа доп полей ID Shikimori, id_kodik
- Исправлен вывод последних серий для постраничного вывода серий {serialy last="yes" limit="20"}
v5.4
- Обновление до версии DLE 15.2
- Добавлена одновременная проверка при граббинге сразу по всем ID: ID KP, ID ShiKi, ID MDL - для избежания дублей при отсутствии какого-либо ID
- Добавлен mdl_id в тбл dle_kodik для проверки по ID MydramList
- Фикс массового проставления


v3.3

v4.1 (27.07.2021)

v4.3 (05.08.2021)

PS готовым плагином не стал его оформлять, вся инфа по установке есть архиве.
v4.4

v4.6

v4.7

v5.2

v5.4

Отдельно плагин для быстрой установки:
[attachment=199:kodik-grabber-anime-i-doram.zip]
!!!ВНИМАНИЕ!!! В данный плагин добавлен файл доп полей!
v5.5

v6.0
Перейти на сайт (скачивать файлы можно только на сайте)