metrpro 42 Жалоба Опубликовано: January 14, 2021 Добрый день. Вопрос: Происходит ли обновление ранее загруженных объявлений (актуализация цены, описания, фотографий) при повторной загрузке фида? Или если совпадает урл, то парсинг сразу брыкует и никаких дальнейших действий не происходит? Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах
Дмитрий Кондин 690 Жалоба Опубликовано: January 15, 2021 17 часов назад, metrpro сказал: Добрый день. Вопрос: Происходит ли обновление ранее загруженных объявлений (актуализация цены, описания, фотографий) при повторной загрузке фида? Или если совпадает урл, то парсинг сразу брыкует и никаких дальнейших действий не происходит? Да, все данные обновляются. Но чтобы фото обновлялись, нужно включить опцию Обновлять фотографии в цикле (требует много ресурсов сервера) (apps.yandexrealty_parser.cycle_update_images) Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах
metrpro 42 Жалоба Опубликовано: January 15, 2021 Спасибо, попробую потестить. Но вот вопрос - сильно больше ресурсов сервера требуется при "обновлении фотографий в цикле"? Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах
metrpro 42 Жалоба Опубликовано: January 15, 2021 3 часа назад, Дмитрий Кондин сказал: Да, все данные обновляются. Но чтобы фото обновлялись, нужно включить опцию Обновлять фотографии в цикле (требует много ресурсов сервера) (apps.yandexrealty_parser.cycle_update_images) Данные обновляются, действительно. И описание, и цены. Но фотографии не меняются. Тот же источник фида, фото поменяны: start parsing images records for parsing in this step: 1use cache id: 51637 url: http://domovibor.ru/crimea/id/889 from: https://test15.nedv.online/feeds/v1.xml img found: 2 status: DONE, image_md5 checking, no changes, skip this data ID Но фото 1.jpg и 2.jpg не поменялись на 3 и 4 соответственно UPD: заработало при отключении опции: Не обновлять загруженные фотографии (apps.yandexrealty_parser.images_load_once) Где-то от этого могут какие-то проблемы всплыть? Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах
Дмитрий Кондин 690 Жалоба Опубликовано: January 18, 2021 В 15.01.2021 в 12:53, metrpro сказал: Данные обновляются, действительно. И описание, и цены. Но фотографии не меняются. Тот же источник фида, фото поменяны: start parsing images records for parsing in this step: 1use cache id: 51637 url: http://domovibor.ru/crimea/id/889 from: https://test15.nedv.online/feeds/v1.xml img found: 2 status: DONE, image_md5 checking, no changes, skip this data ID Но фото 1.jpg и 2.jpg не поменялись на 3 и 4 соответственно UPD: заработало при отключении опции: Не обновлять загруженные фотографии (apps.yandexrealty_parser.images_load_once) Где-то от этого могут какие-то проблемы всплыть? Скопируйте кусок xml со списком фото до и после. Проверка идет по названиям, если названия фото не менялись, то модуль считает что не надо менять фото. Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах
metrpro 42 Жалоба Опубликовано: January 18, 2021 2 часа назад, Дмитрий Кондин сказал: Скопируйте кусок xml со списком фото до и после. Проверка идет по названиям, если названия фото не менялись, то модуль считает что не надо менять фото. Это ладно, ерунда, разобрались. Есть CRM, выгружающие фиды и вставляющие в название картинок вопросительные знаки: <offer internal-id="5862"> <type>аренда</type> <category>коммерческая</category> <commercial-type>office</commercial-type> <url>http://lider92.ru/5862</url> <creation-date>2018-12-13T20:59:01+05:00</creation-date> <last-update-date>2021-01-17T22:09:03+05:00</last-update-date> <location> <country>Россия</country> <region>Крым Респ</region> <locality-name>Севастополь</locality-name> <address>Ленина улица</address> </location> <sales-agent> <phone>+79781112623</phone> <name>Михаил Игоревич</name> <category>агентство</category> <organization>Лидер</organization> <url>http://lider92.ru</url> <email>79781112623@yandex.ru</email> <photo>http://storage.recrm.ru/Static/12091_d656f6/0/SIMG/164_148_I_MC_png_W/resources/logo/logo_header_0004.png?C71865FAF33B51016C955F0B93869C1F</photo> </sales-agent> <price> <value>50000</value> <currency>RUR</currency> <period>месяц</period> </price> <commission>0</commission> <image>http://storage.recrm.ru/Static/12091_d656f6/0/SIMG/700_525_I_MC_jpg_W/resources/properties/0105/picture_0006.jpg?0BD7E7A3B0734E1033CF78A2037BFF14</image> <image>http://storage.recrm.ru/Static/12091_d656f6/0/SIMG/700_525_I_MC_jpg_W/resources/properties/0105/picture_0001.jpg?B1D26BC1964775D59CF07F1D86829DEC</image> <image>http://storage.recrm.ru/Static/12091_d656f6/0/SIMG/700_525_I_MC_jpg_W/resources/properties/0105/picture_0002.jpg?FC648797C27E0FA93012FD92EDFCEC5E</image> <image>http://storage.recrm.ru/Static/12091_d656f6/0/SIMG/700_525_I_MC_jpg_W/resources/properties/0105/picture_0003.jpg?20FA8F7CA81C40126BC175B2DE4C7144</image> <image>http://storage.recrm.ru/Static/12091_d656f6/0/SIMG/700_525_I_MC_jpg_W/resources/properties/0105/picture_0004.jpg?119CA90FC44AA4B8A7E3630190D70D1D</image> <image>http://storage.recrm.ru/Static/12091_d656f6/0/SIMG/700_525_I_MC_jpg_W/resources/properties/0105/picture_0005.jpg?09D32124B4A5219A5945CA6CEDE5C181</image> <image>http://storage.recrm.ru/Static/12091_d656f6/0/SIMG/700_525_I_MC_jpg_W/resources/properties/0105/picture_0007.jpg?F59A357CE6EB0A9662E7C8A4C686C695</image> <image>http://storage.recrm.ru/Static/12091_d656f6/0/SIMG/700_525_I_MC_jpg_W/resources/properties/0105/picture_0008.jpg?9A6895E088C90EB59EC2DE88D144F617</image> <image>http://storage.recrm.ru/Static/12091_d656f6/0/SIMG/700_525_I_MC_jpg_W/resources/properties/0105/picture_0009.jpg?48A1C9A50BC03B585E83956CA5F84D5E</image> <image>http://storage.recrm.ru/Static/12091_d656f6/0/SIMG/700_525_I_MC_jpg_W/resources/properties/0105/picture_0010.jpg?51E4696B8790CD94A3E71FCB5C7D22CF</image> <renovation>евро</renovation> <description>Сдается Оборудованный с Техникой и Мебелью Офис на Ул Ленина г. Севастополь (центр города), площадью 55 кв.м. за сумму 55 000 рублей. Расположен на первом этаже, состоит из трех смежных помещения + кладова и кухня + санузел, есть возможность размещения рекламы и круглосуточного досту в помещение, удобная транспортная развязка, шаговая доступность до остановки, хорошая видимость с дороги. Отличное состояние, все необходимые коммуникации в помещение проведены (свет, вода, санузел, кондиционер, интернет, телефон и т.д.). Рассмотрим любые предложения, Звоните!</description> <area> <value>55.00</value> <unit>кв. м</unit> </area> <rooms>3</rooms> <floor>1</floor> <floors-total>4</floors-total> <air-conditioner>да</air-conditioner> <ventilation>да</ventilation> <fire-alarm>да</fire-alarm> <parking>да</parking> </offer> Впоследствии эти картинки парсером не грузятся. Как это починить? Если починить настройками это невозможно, то приведите, пожалуйста, строку из модуля яндекс.парсера, где обрабатывается входящее имя файла картинки, чтобы можно было удалить лишнюю информацию через mb_stristr Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах
Дмитрий Кондин 690 Жалоба Опубликовано: January 18, 2021 6 минут назад, metrpro сказал: Это ладно, ерунда, разобрались. Есть CRM, выгружающие фиды и вставляющие в название картинок вопросительные знаки: Впоследствии эти картинки парсером не грузятся. Как это починить? Если починить настройками это невозможно, то приведите, пожалуйста, строку из модуля яндекс.парсера, где обрабатывается входящее имя файла картинки, чтобы можно было удалить лишнюю информацию через mb_stristr apps/yandexrealty_parser/admin/admin.php $imgs = array(); $imgfiles = $offer->imagefile; if (!empty($imgfiles)) { foreach ($imgfiles as $if) { $imgs[] = array('preview' => (string) $if->image[0], 'normal' => (string) $if->image[1]); } } else { $imgfiles = $offer->image; if (!empty($imgfiles)) { foreach ($imgfiles as $if) { $imgs[] = (string) $if; } } } 1 metrpro reacted to this Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах
metrpro 42 Жалоба Опубликовано: January 18, 2021 Я так понимаю, мне массив $imgfiles надо перебрать? Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах
Дмитрий Кондин 690 Жалоба Опубликовано: January 18, 2021 2 часа назад, metrpro сказал: Я так понимаю, мне массив $imgfiles надо перебрать? Да, тут будет сохраняется список картинок. Только не совсем понял, что вы там хотите поменять? Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах
metrpro 42 Жалоба Опубликовано: January 18, 2021 4 часа назад, Дмитрий Кондин сказал: Да, тут будет сохраняется список картинок. Только не совсем понял, что вы там хотите поменять? Из имени каждого исходного файла изображения до его парсинга убрать то, что после последнего вопросительного знака. Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах
Дмитрий Кондин 690 Жалоба Опубликовано: January 19, 2021 13 часа назад, metrpro сказал: Из имени каждого исходного файла изображения до его парсинга убрать то, что после последнего вопросительного знака. А этот параметр после вопросительного знака не влияет на отображаемое фото? Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах
metrpro 42 Жалоба Опубликовано: January 19, 2021 2 часа назад, Дмитрий Кондин сказал: А этот параметр после вопросительного знака не влияет на отображаемое фото? Парсер берет это имя и честно пытается загрузить картинку. Но не загружает - имя в базе появляется, а физически файлов в img/data нет (( В то же время картинка в исходнике открывается и без параметра после последнего "?", поэтому просто надо при загрузке фида все далее убирать. Я не случайно пример привел - подобное идет в выдаче фидов CRM realtnavi.ru и еще некоторых других. Поделиться сообщением Ссылка на сообщение Поделиться на других сайтах