Дмитрий Кондин

Программа для загрузки объявлений из АВИТО

Recommended Posts

Попробуем разобраться с полем "описание" из нашего парсера.
Пример:

"Описание

р-н Советский, Ленина пр-кт, 45 Квартира по по вашим потребностям!_x000D_Есть все необходимое для комфортного и длительного проживания! Квартира оборудована мягкой мебелью, шкафами, кухонным гарнитуром, современной техникой. Есть вместительная гардеробная. _x000D_Сдается на длительный срок порядочным людям. Возможно проживание с детьми, животными. _x000D_Без комиссии. Хотите узнать подробнее? Звоните!"

Вот эти _x000D_ символы вставляются в текст. Как побороть?

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах
В 06.10.2016 в 15:02, ReatEstate сказал:

Попробуем разобраться с полем "описание" из нашего парсера.
Пример:

"Описание

р-н Советский, Ленина пр-кт, 45 Квартира по по вашим потребностям!_x000D_Есть все необходимое для комфортного и длительного проживания! Квартира оборудована мягкой мебелью, шкафами, кухонным гарнитуром, современной техникой. Есть вместительная гардеробная. _x000D_Сдается на длительный срок порядочным людям. Возможно проживание с детьми, животными. _x000D_Без комиссии. Хотите узнать подробнее? Звоните!"

Вот эти _x000D_ символы вставляются в текст. Как побороть?

Приложите пример файла из которого такие описания приходят, посмотрим формат Excel и добавим фильтры на эти непонятные символы.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

у нас тоже много не понятных символов пришло в ексель.
Александр вы тут ? есть некий заказ для вас

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах
20 минут назад, doma сказал:

у нас тоже много не понятных символов пришло в ексель.
Александр вы тут ? есть некий заказ для вас

Приложите пример файла из которого такие описания приходят, посмотрим формат Excel

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах
45 минут назад, DD-Base сказал:

Приложите пример файла из которого такие описания приходят, посмотрим формат Excel

сделали небольшой файл быстренько в описании встречаются некие символы, 

 

 

1Копия 07102016_1329.xlsx

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах
7 минут назад, DD-Base сказал:

номер строки и колонку можете сказать где есть такие символы?

65 строка , 52   а эти символы не всегда встречаются но их высматривать нужно

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах
2 минуты назад, doma сказал:

65 строка , 52   а эти символы не всегда встречаются но их высматривать нужно

Screenshot_2.png

Тут появляется?

Это видимо перенос строки в excel так хранится.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах
4 минуты назад, doma сказал:

65 строка , 52   а эти символы не всегда встречаются но их высматривать нужно

чтото я не вижу там спецсимволов.. http://joxi.ru/8ZrJ75BIlMG8mj

скриншот сможете сделать этого чудесного явления?

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах
8 минут назад, DD-Base сказал:

чтото я не вижу там спецсимволов.. http://joxi.ru/8ZrJ75BIlMG8mj

скриншот сможете сделать этого чудесного явления?

нам трудно приложить вам "точный вариант", так как это встречается не часто, но встречается и пока под рукой нет такого файла. Хотя ранее когда выгружали тоже заметили такое как было написано автором выше, поэтому лучше попросить у него готовый вариант, так как у нас просто нет сейчас точной ссылки на объявление, причина наверное в том что при парсинге, некоторые символы переделываются в что то другое
возможно например автор поставил 3 воскл.знака  !!! и это как то иначе интерапретируется, лучше попросить файл именно у автора написавшего это

а пока мелкий файл прикладываем

del.png

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

осмелюсь предположить что это ваш эксель так отображает перевод строки, банальный "Enter"

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах
1 минуту назад, DD-Base сказал:

осмелюсь предположить что это ваш эксель так отображает перевод строки, банальный "Enter"

всякое возможно, но это файл из програмки :))) програмка создает а мы только открываем файл и видим наличие этих символов :))

посмотрели по айди на сайте  -видимо эти спец символы образуются так, что если строку писать начали например 2-3 слова. потом нажали ентер и начали писать с новой строки то именно эти спец символы и формируются

есть предположение что XXX формируется когда например 2 раза подряд нажимают ентер

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

В приложенном файлике, возьмем к примеру 293 строка, объявление 768079894
* В самом ексель файле этих ошибок не видно. А только после  импорта в базу, на сайте появляются.
Описание этого объявления на сайте:


Продам земельный участок в Деревне Ключи,новая нарезка, 6км от озера Кременкуль,на поле заведено электричество,ИЖС скоро,прямая продажа от собственника._x000D_74:19:0801001:738 (10 соток)_x000D_В дополнение отдаю соседний участок 3.5 сотки

avito19092016_0238.xlsx

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Последняя рабочая версия AdvertGrabber для sitebill

https://yadi.sk/d/egTihDenztrUu

основной функционал восстановлен, для желающих расширить или дополнить на индивидуальных условиях - обращаться на емэйл: develop@ddbase.ru

с условиями доработки можно  ознакомиться здесь - http://advertgrabber.ddbase.ru/upgrade/

купленные ключи остаются действующими

если ключ утерян, повторная выдача ключа 100р
перепривязка на новое устройство 200р

 

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

После обновления на авито, есть сложности с парсингом в новой версии (формат выдачи файлов теперь неправильный и не подходит для cms sitebill).

Поэтому те, кто хочет купить новую версию не рекомендую покупать ее, она не подходит.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Жаль. Если получится подогнать под новые требования avito , напишите. Спасибо

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах
В 01.12.2016 в 10:09, DD-Base сказал:

Последняя рабочая версия AdvertGrabber для sitebill

https://yadi.sk/d/egTihDenztrUu

основной функционал восстановлен, для желающих расширить или дополнить на индивидуальных условиях - обращаться на емэйл: develop@ddbase.ru

с условиями доработки можно  ознакомиться здесь - http://advertgrabber.ddbase.ru/upgrade/

купленные ключи остаются действующими

если ключ утерян, повторная выдача ключа 100р
перепривязка на новое устройство 200р

 

Добрый день. Ссылка на грабер пустая

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах
6 часов назад, Анастасия сказал:

Добрый день. Ссылка на грабер пустая

Да в топку его, хватит плагиат разводить :)

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах
13 часа назад, Анастасия сказал:

Добрый день. Ссылка на грабер пустая

Значит программист свовсем забросил это дело.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Программа AdvertGrabber работает по сей день: http://advertgrabber.ddbase.ru/

Версия под sitebill будет стоить 2.000 р

+ нужно описание полей, т.к. ее нужно еще сделать

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах
В 3/18/2017 в 11:21, DD-Base сказал:

Программа AdvertGrabber работает по сей день: http://advertgrabber.ddbase.ru/

Версия под sitebill будет стоить 2.000 р

+ нужно описание полей, т.к. ее нужно еще сделать

Пообщался с DD-Base и судя по всему есть новая версия под CMS Sitebill.

Вскоре будут опубликованы новые условия сотрудничества

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Версия AdvertGrabber под SiteBill - https://yadi.sk/d/DSQeHAxp3Gb4HA

Стоимость лицензии: 1500р

Для тех у кого есть лицензия от стандартной версии - 800р

Вся информация касающаяся парсера размещена на сайте: http://advertgrabber.ddbase.ru/

Порядок оплаты: http://advertgrabber.ddbase.ru/oplata/

Все вопросы касающиеся импорта данных на SiteBill размещайте пожалуйста в данной ветке

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

подскажите плз когда начинаю парсить excel файл постоянно вылезает ошибка

Fatal error: Maximum execution time of 30 seconds exceeded in /var/www/......./apps/system/lib/sitebill.php on line 3251

Fatal error: Maximum execution time of 30 seconds exceeded in /var/www/....../apps/system/lib/sitebill.php on line 3254

как я понял это где то на 30сек тайм аут ругается , если да то где его увеличить?

заранее спс

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах
5 часов назад, zanzibara сказал:

как я понял это где то на 30сек тайм аут ругается , если да то где его увеличить?

заранее спс

Обратиться к своему хостеру об увеличении кеша 

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах
В 4/22/2017 в 13:55, zanzibara сказал:

подскажите плз когда начинаю парсить excel файл постоянно вылезает ошибка

Fatal error: Maximum execution time of 30 seconds exceeded in /var/www/......./apps/system/lib/sitebill.php on line 3251

Fatal error: Maximum execution time of 30 seconds exceeded in /var/www/....../apps/system/lib/sitebill.php on line 3254

как я понял это где то на 30сек тайм аут ругается , если да то где его увеличить?

заранее спс

Уменьшайте количество объявлений за парсинг в один проход.

Количество объявлений для парсинга картинок за один шаг
(apps.excel.image_parsing_step)

 

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Создайте аккаунт или войдите для комментирования

Вы должны быть пользователем, чтобы оставить комментарий

Создать аккаунт

Зарегистрируйтесь для получения аккаунта. Это просто!

Зарегистрировать аккаунт

Войти

Уже зарегистрированы? Войдите здесь.

Войти сейчас

  • Похожие публикации

    • Автор: Дмитрий Кондин
      Агент недвижимости без парсера, это как таксист без автомобиля.
      Чтобы объять необъятное, нужно использовать инструменты для парсинга площадок с объявлениями недвижимости. Чем быстрее вы получите объявление от собственника, тем больше шанс совершить выгодную сделку.
      В этом видео я подробно рассказываю о том, как настраивается парсер и какой результат получает в итоге агентство недвижимости.
      Цены и условия приобретения тут https://www.sitebill.ru/ads-api-parser/
      Парсер недвижимости только для CMS Sitebill https://www.sitebill.ru/ 
    • Автор: metrpro
      После импорта очередного фида геокодер счел нужным установить координаты половины объектов из города Геленджик в границах города Рига, что, безусловно, забавно, но совершенно не доставляет, ибо объявлений в фиде было около 800. Адреса правильные, дома существующие, но ... в Риге! В РИГЕ, КАРЛ!!!
      Вот как один из объектов выглядит в фиде:
      <location> <country>Россия</country> <locality-name>Геленджик</locality-name> <sub-locality-name>район пансионата ''Сосновая роща''</sub-locality-name> <address>Гоголя улица, 7</address> </location> Все канонично. А вот как выглядит на сайте: 

      Отсюда два вопроса:
      1. Как это массово исправить, произведя перекодирование координат (почистить через phpmyadmin или еще что-то)
      2. Как этого избежать впредь?
    • Автор: Opossum_Shultz
      при редактировании выгруженных через платный Excel данных и загрузке через excel free после удачной загрузки - фраза
      "Были добавлены изображения в кэш. Необходимо запустить парсер кэшированных картинок".
      ссылки на изображения в файле не менялись. 
      Возникает вопрос - если вообще удалить этот столбец со ссылками на картинки перед загрузкой через excel free - ссылки на изображение не гокнутся?
      Выгружаем через платный excel потому, что в  free во время выгрузки - процесс рубится по таймауту.
    • Автор: Дмитрий Кондин
      Теперь есть специальный ресурс, который вам может спарсить любой город по желанию и выдать вам XML файл в формате яндекс-недвижимости.
      Смотрим тут http://atlcom.ru/main/
      Модуль для парсинга яндекс-недвижимости тут https://www.sitebill.ru/client/cart.php?gid=9
      Как это работает:
      Вы выбираете на ресурсе atlcom.ru нужный город, оплачиваете эту выгрузку Вам выдают URL источника XML-файла Мы вам настраиваем модуль Парсинга XML https://www.sitebill.ru/client/cart.php?gid=9 Картинки чаще всего содержат логотип авито, но и на этот случай в модуле парсинга мы придумали функции подрезания фото, чтобы убрать логотип авито. Данных будет оттуда поступать очень много, поэтому в настройках при загрузке на сайт можно будет указать статус "Не активно", т.е. все эти объявления будут приходить в неактивном состоянии. Вы будете вручную их обрабатывать (телефоны собственников будут отображаться в форме редактирования). И избранные объявления можете публиковать на своем сайте, при этом контакты будут ваши выводиться.
    • Автор: bogdanoff
      Добрый день.
      Ситуация такая:
      1. При парсинге в фиде имеются объекты разных агентов на разные телефоны.
      2. Далее они выгружаются ко мне на сайт в лк пользователя, но в лк только один телефон.
      3. Чьи контакты попадут в фид http://mysite.ru/yandexrealty/, телефоны агентов или все объявления будут с одним номером из лк?
      Из этой ссылки http://wiki.sitebill.ru/index.php?title=%D0%9F%D1%80%D0%B8%D0%BB%D0%BE%D0%B6%D0%B5%D0%BD%D0%B8%D0%B5_%22%D0%92%D1%8B%D0%B3%D1%80%D1%83%D0%B7%D0%BA%D0%B0_Yandex.Realty%22 понял следующее:
      Если я не буду никого переносить в другую группу (она у маня сейчас одна) и пропишу в поле apps.yandexrealty.contacts_assoc_str значение 1:3, то контактные данные при парсинге будут браться из xml-файла, а если чего-то не хватает, то из учетной записи. 
      Я правильно все понял или нет?