metrpro

Обновление объявлений, загруженных через парсер

Recommended Posts

Добрый день. Вопрос: 

Происходит ли обновление ранее загруженных объявлений (актуализация цены, описания, фотографий) при повторной загрузке фида? 

Или если совпадает урл, то парсинг сразу брыкует и никаких дальнейших действий не происходит?

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах
17 часов назад, metrpro сказал:

Добрый день. Вопрос: 

Происходит ли обновление ранее загруженных объявлений (актуализация цены, описания, фотографий) при повторной загрузке фида? 

Или если совпадает урл, то парсинг сразу брыкует и никаких дальнейших действий не происходит?

Да, все данные обновляются.

Но чтобы фото обновлялись, нужно включить опцию

Обновлять фотографии в цикле (требует много ресурсов сервера)
(apps.yandexrealty_parser.cycle_update_images)

 

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Спасибо, попробую потестить. Но вот вопрос - сильно больше ресурсов сервера требуется при "обновлении фотографий в цикле"?

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах
3 часа назад, Дмитрий Кондин сказал:

Да, все данные обновляются.

Но чтобы фото обновлялись, нужно включить опцию


Обновлять фотографии в цикле (требует много ресурсов сервера)
(apps.yandexrealty_parser.cycle_update_images)

 

Данные обновляются, действительно. И описание, и цены. Но фотографии не меняются. Тот же источник фида, фото поменяны:

start parsing images
records for parsing in this step: 1use cache
id: 51637 url: http://domovibor.ru/crimea/id/889 from: https://test15.nedv.online/feeds/v1.xml img found: 2 status: DONE, image_md5 checking, no changes, skip this data ID

Но фото 1.jpg и 2.jpg не поменялись на 3 и 4 соответственно

UPD: заработало при отключении опции:

Не обновлять загруженные фотографии
(apps.yandexrealty_parser.images_load_once)

Где-то от этого могут какие-то проблемы всплыть?

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах
В 15.01.2021 в 12:53, metrpro сказал:

Данные обновляются, действительно. И описание, и цены. Но фотографии не меняются. Тот же источник фида, фото поменяны:


start parsing images
records for parsing in this step: 1use cache
id: 51637 url: http://domovibor.ru/crimea/id/889 from: https://test15.nedv.online/feeds/v1.xml img found: 2 status: DONE, image_md5 checking, no changes, skip this data ID

Но фото 1.jpg и 2.jpg не поменялись на 3 и 4 соответственно

UPD: заработало при отключении опции:


Не обновлять загруженные фотографии
(apps.yandexrealty_parser.images_load_once)

Где-то от этого могут какие-то проблемы всплыть?

Скопируйте кусок xml со списком фото до и после.

Проверка идет по названиям, если названия фото не менялись, то модуль считает что не надо менять фото.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах
2 часа назад, Дмитрий Кондин сказал:

Скопируйте кусок xml со списком фото до и после.

Проверка идет по названиям, если названия фото не менялись, то модуль считает что не надо менять фото.

Это ладно, ерунда, разобрались. Есть CRM, выгружающие фиды и вставляющие в название картинок вопросительные знаки:

<offer internal-id="5862">
<type>аренда</type>
<category>коммерческая</category>
<commercial-type>office</commercial-type>
<url>http://lider92.ru/5862</url>
<creation-date>2018-12-13T20:59:01+05:00</creation-date>
<last-update-date>2021-01-17T22:09:03+05:00</last-update-date>
<location>
<country>Россия</country>
<region>Крым Респ</region>
<locality-name>Севастополь</locality-name>
<address>Ленина улица</address>
</location>
<sales-agent>
<phone>+79781112623</phone>
<name>Михаил Игоревич</name>
<category>агентство</category>
<organization>Лидер</organization>
<url>http://lider92.ru</url>
<email>79781112623@yandex.ru</email>
<photo>http://storage.recrm.ru/Static/12091_d656f6/0/SIMG/164_148_I_MC_png_W/resources/logo/logo_header_0004.png?C71865FAF33B51016C955F0B93869C1F</photo>
</sales-agent>
<price>
<value>50000</value>
<currency>RUR</currency>
<period>месяц</period>
</price>
<commission>0</commission>
<image>http://storage.recrm.ru/Static/12091_d656f6/0/SIMG/700_525_I_MC_jpg_W/resources/properties/0105/picture_0006.jpg?0BD7E7A3B0734E1033CF78A2037BFF14</image>
<image>http://storage.recrm.ru/Static/12091_d656f6/0/SIMG/700_525_I_MC_jpg_W/resources/properties/0105/picture_0001.jpg?B1D26BC1964775D59CF07F1D86829DEC</image>
<image>http://storage.recrm.ru/Static/12091_d656f6/0/SIMG/700_525_I_MC_jpg_W/resources/properties/0105/picture_0002.jpg?FC648797C27E0FA93012FD92EDFCEC5E</image>
<image>http://storage.recrm.ru/Static/12091_d656f6/0/SIMG/700_525_I_MC_jpg_W/resources/properties/0105/picture_0003.jpg?20FA8F7CA81C40126BC175B2DE4C7144</image>
<image>http://storage.recrm.ru/Static/12091_d656f6/0/SIMG/700_525_I_MC_jpg_W/resources/properties/0105/picture_0004.jpg?119CA90FC44AA4B8A7E3630190D70D1D</image>
<image>http://storage.recrm.ru/Static/12091_d656f6/0/SIMG/700_525_I_MC_jpg_W/resources/properties/0105/picture_0005.jpg?09D32124B4A5219A5945CA6CEDE5C181</image>
<image>http://storage.recrm.ru/Static/12091_d656f6/0/SIMG/700_525_I_MC_jpg_W/resources/properties/0105/picture_0007.jpg?F59A357CE6EB0A9662E7C8A4C686C695</image>
<image>http://storage.recrm.ru/Static/12091_d656f6/0/SIMG/700_525_I_MC_jpg_W/resources/properties/0105/picture_0008.jpg?9A6895E088C90EB59EC2DE88D144F617</image>
<image>http://storage.recrm.ru/Static/12091_d656f6/0/SIMG/700_525_I_MC_jpg_W/resources/properties/0105/picture_0009.jpg?48A1C9A50BC03B585E83956CA5F84D5E</image>
<image>http://storage.recrm.ru/Static/12091_d656f6/0/SIMG/700_525_I_MC_jpg_W/resources/properties/0105/picture_0010.jpg?51E4696B8790CD94A3E71FCB5C7D22CF</image>
<renovation>евро</renovation>
<description>Сдается Оборудованный с Техникой и Мебелью Офис на Ул Ленина г. Севастополь (центр города), площадью 55 кв.м. за сумму 55 000 рублей. Расположен на первом этаже, состоит из трех смежных помещения + кладова и кухня + санузел, есть возможность размещения рекламы и круглосуточного досту в помещение, удобная транспортная развязка, шаговая доступность до остановки, хорошая видимость с дороги. Отличное состояние, все необходимые коммуникации в помещение проведены (свет, вода, санузел, кондиционер, интернет, телефон и т.д.). Рассмотрим любые предложения, Звоните!</description>
<area>
<value>55.00</value>
<unit>кв. м</unit>
</area>
<rooms>3</rooms>
<floor>1</floor>
<floors-total>4</floors-total>
<air-conditioner>да</air-conditioner>
<ventilation>да</ventilation>
<fire-alarm>да</fire-alarm>
<parking>да</parking>
</offer>

Впоследствии эти картинки парсером не грузятся. Как это починить?

Если починить настройками это невозможно, то приведите, пожалуйста, строку из модуля яндекс.парсера, где обрабатывается входящее имя файла картинки, чтобы можно было удалить лишнюю информацию через mb_stristr

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах
6 минут назад, metrpro сказал:

Это ладно, ерунда, разобрались. Есть CRM, выгружающие фиды и вставляющие в название картинок вопросительные знаки:

Впоследствии эти картинки парсером не грузятся. Как это починить?

Если починить настройками это невозможно, то приведите, пожалуйста, строку из модуля яндекс.парсера, где обрабатывается входящее имя файла картинки, чтобы можно было удалить лишнюю информацию через mb_stristr

apps/yandexrealty_parser/admin/admin.php

                $imgs = array();
                $imgfiles = $offer->imagefile;
                if (!empty($imgfiles)) {
                    foreach ($imgfiles as $if) {
                        $imgs[] = array('preview' => (string) $if->image[0], 'normal' => (string) $if->image[1]);
                    }
                } else {
                    $imgfiles = $offer->image;
                    if (!empty($imgfiles)) {
                        foreach ($imgfiles as $if) {
                            $imgs[] = (string) $if;
                        }
                    }
                }

 

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах
2 часа назад, metrpro сказал:

Я так понимаю, мне массив $imgfiles надо перебрать?

Да, тут будет сохраняется список картинок.

Только не совсем понял, что вы там хотите поменять?

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах
4 часа назад, Дмитрий Кондин сказал:

Да, тут будет сохраняется список картинок.

Только не совсем понял, что вы там хотите поменять?

Из имени каждого исходного файла изображения до его парсинга убрать то, что после последнего вопросительного знака. 

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах
13 часа назад, metrpro сказал:

Из имени каждого исходного файла изображения до его парсинга убрать то, что после последнего вопросительного знака. 

А этот параметр после вопросительного знака не влияет на отображаемое фото?

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах
2 часа назад, Дмитрий Кондин сказал:

А этот параметр после вопросительного знака не влияет на отображаемое фото?

Парсер берет это имя и честно пытается загрузить картинку. Но не загружает - имя в базе появляется, а физически файлов в img/data нет (( 

В то же время картинка в исходнике открывается и без параметра после последнего "?", поэтому просто надо при загрузке фида все далее убирать. Я не случайно пример привел - подобное идет в выдаче фидов CRM realtnavi.ru и еще некоторых других.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Создайте аккаунт или войдите для комментирования

Вы должны быть пользователем, чтобы оставить комментарий

Создать аккаунт

Зарегистрируйтесь для получения аккаунта. Это просто!

Зарегистрировать аккаунт

Войти

Уже зарегистрированы? Войдите здесь.

Войти сейчас