Дмитрий Кондин

Программа для загрузки объявлений из АВИТО

Recommended Posts

В 24.03.2016 в 01:45, ReatEstate сказал:

добавить Настраиваемого, подставляемого пользователя  для определенной рубрики

Подскажите этот вопрос решаем или нет?

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах
14 часа назад, bogdanoff сказал:

Подскажите этот вопрос решаем или нет?

Сделаем в новых версиях.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах
3 часа назад, rumantic сказал:

Сделаем в новых версиях.

Я правильно понимаю, сейчас все объекты после парсинга размещаются в лк одного пользователя?

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах
17 часов назад, bogdanoff сказал:

Я правильно понимаю, сейчас все объекты после парсинга размещаются в лк одного пользователя?

Если колонка Пользователь не заполнена, тогда к одному пользователю.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах
В 14.04.2016 в 16:38, abushyk сказал:

Для приложения Эксель, через которое грузится с авито, не только решаем, но и решен. В одном месте я уже сделал пробный пуск, еще пару дней посмотрю, как оно себя будет вести и отправлю в приложение.

Изменение в приложение Эксель уже внесено?

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Добрый день.

Файлы, которые приходят от парсера на сайт пустые, хотя если сохранить их в excel, то данные есть. Посмотрите пожалуйста что не так, скрины прилагаются.

10.jpg

20.jpg

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

видимо нечего отправлять, программа не отправляет одн ои тоже дважды, если только не сбросить флаг отправленных в настройках

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Флаг отправленных сбросил, результат тот же. Что еще может быть?

30.jpg

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Запакуйте вашу копию программы в архив, выложите на яндекс диск и ссылку пришлите на develop@ddbase.ru

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Ваша база проверена, выгружается на указанный  в настройках УРЛ (на нашем сервере) корректно

попробуйте очистить папку с файлами на сервере, возможно вы смотрите не тот файл

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

1. Папку с файлами на сервере почистил.

2. Ссылки все старые удалил, добавил вообще другой город.

3. Выгрузил новые данные на сайт.

4. Файл на хостинге появился, но опять ПУСТОЙ. В таблице нет данных.

Что мне делать? Помогите пожалуйста. Почему программа отправляет пустой файл?

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах
41 минуту назад, bogdanoff сказал:

А Open Office вместо Microsoft не подходит?

много объявлений спасрили ? а как проблему правильного парсинга улиц решаете -или мусор среди улиц не интересует?
подскажите как отфильтровываете что бы не задваивались и не затраивались
к примеру у вас в справочнике есть улица ленина вы ее к себе в справочник занесли как "Ленина", но ведь через парсинг какие только ленина не занесутьсяи такие написани и такие как "ул.ленина" - "Ленина улиц." -- "ленинА улица" --- "ленина проспект"
и когда пользователь например через автокомплит вбивает "лени" какой только аброкадабры наверное не лезет?
то есть по факту улица одна а написаний ее у вас по факту множество
и как мне грамотно например найти, так как к примеру 2 квартиры фактически продающиеся по одному адресу и на одной улице и в одном доме, у вас фактически располагаются на разных улицах и по разным адресам
 

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах
1 час назад, doma сказал:

много объявлений спасрили ? а как проблему правильного парсинга улиц решаете -или мусор среди улиц не интересует?
подскажите как отфильтровываете что бы не задваивались и не затраивались
к примеру у вас в справочнике есть улица ленина вы ее к себе в справочник занесли как "Ленина", но ведь через парсинг какие только ленина не занесутьсяи такие написани и такие как "ул.ленина" - "Ленина улиц." -- "ленинА улица" --- "ленина проспект"
и когда пользователь например через автокомплит вбивает "лени" какой только аброкадабры наверное не лезет?
то есть по факту улица одна а написаний ее у вас по факту множество
и как мне грамотно например найти, так как к примеру 2 квартиры фактически продающиеся по одному адресу и на одной улице и в одном доме, у вас фактически располагаются на разных улицах и по разным адресам
 

Пока об этом не думал, задача номер один у меня сейчас вообще что-нибудь спарсить, а затем буду двигаться дальше.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах
3 часа назад, DD-Base сказал:

нет, нужен только Microsoft Office

Спасибо, все заработало.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах
4 часа назад, bogdanoff сказал:

Пока об этом не думал, задача номер один у меня сейчас вообще что-нибудь спарсить, а затем буду двигаться дальше.

а для чего парсить то? для набивки базы понимаем, а к чему столько хлама то не упорядоченного?
ну да -на первый "разгон" как бы может и пригодиться, а вот вопрос как монетизировать-подскажите в личку.
пока не нашли способа эффективной монетизации "спарсенных" объявлений.
Да и еще просьба скиньте пожалуйста в личку файл спарсенных объявлений
очень интересно как формируются столбцы - они распределяются отдельно город, улица, № дома или нет?
так как используя DEMO версию в столбце улица видим вот такое "Ул.Ленина 8"---"ул.Ленина д.8"---"ул.Ленина,8"
так и не поняли как грамотно такие адреса разделять, разработчик говорит сайтбилл мол сам все растусует

Ребят-правда?
 

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах
В 06.05.2016 в 01:04, doma сказал:

а для чего парсить то? для набивки базы понимаем, а к чему столько хлама то не упорядоченного?
ну да -на первый "разгон" как бы может и пригодиться, а вот вопрос как монетизировать-подскажите в личку.
пока не нашли способа эффективной монетизации "спарсенных" объявлений.
Да и еще просьба скиньте пожалуйста в личку файл спарсенных объявлений
очень интересно как формируются столбцы - они распределяются отдельно город, улица, № дома или нет?
так как используя DEMO версию в столбце улица видим вот такое "Ул.Ленина 8"---"ул.Ленина д.8"---"ул.Ленина,8"
так и не поняли как грамотно такие адреса разделять, разработчик говорит сайтбилл мол сам все растусует

Ребят-правда?
 

Я планирую парсить объявления из Авито на сайт, затем с помощью фида Яндекс.Недвижимость рассылать по порталам недвижимости. Сам сайт я вижу только как перевалочную базу, где будет происходить подмена номера телефона. Поэтому мне не важно как будут выглядеть улицы, главное что бы конечный фид соответствовал требованиям.

Вот загруженные объявления в админке и сам файл:

z6JIPMM4Pps.jpg

avito08052016_1232.xlsx

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Можно что-нибудь придумать с дробями и корпусами? Сейчас при парсинге вместо них получается так: 1-jan

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

хм а почему у вас улицы отдельно а № дома отдельно
а у нас все вместе? (единственное наш файл из папки TEMP с локального диска а не с сервера) но уверены что на сервере что в тамп файл будет 1в1

Разработчики -почему же так ? см.фото

 

ексель.jpg

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

получается
"Я планирую парсить объявления из Авито на сайт, затем с помощью фида Яндекс.Недвижимость рассылать по порталам недвижимости. Сам сайт я вижу только как перевалочную базу, где будет происходить подмена номера телефона. Поэтому мне не важно как будут выглядеть улицы, главное что бы конечный фид соответствовал требованиям."

вы парсите объявления и меняете контактный телефон владельцев на свой?
потом помещаяя на яндекс недвижимость выгружается уже объявление как бы от вас (наверняка +сколько ко тыс за квартиру) и с вашим объявлением .
яндекс видимо за плату рассылает ваши объявления агенствам, вдруг какое нибудь агенство заметив ваше объявление решает позвонить "как бы собственнику объявления" -но попадает на вас, вы якобы как владелец сообщаете "сейчас занят перезвоню чуть позже" -созваниваетесь с реальным владельцем и предлагаете ему продать через вас с учетом вашей наценки?
к сожалению не совсем понимаем -зачем выгружать свою инфу другим агрегаторам тем самым "своими же руками создавать им имидж 1млн.объявлений"

спасибо за ответы, лучше конечно если разъясните в личку, чтобы не выкладывать все здесь
 

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах
23 минуты назад, doma сказал:

хм а почему у вас улицы отдельно а № дома отдельно
а у нас все вместе? (единственное наш файл из папки TEMP с локального диска а не с сервера) но уверены что на сервере что в тамп файл будет 1в1

Разработчики -почему же так ? см.фото

 

ексель.jpg

возможно у вас отключена опция распознавания улиц и домов - http://joxi.ru/Y82QGajFZOPOrd

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Создайте аккаунт или войдите для комментирования

Вы должны быть пользователем, чтобы оставить комментарий

Создать аккаунт

Зарегистрируйтесь для получения аккаунта. Это просто!

Зарегистрировать аккаунт

Войти

Уже зарегистрированы? Войдите здесь.

Войти сейчас

  • Похожие публикации

    • Автор: Дмитрий Кондин
      Агент недвижимости без парсера, это как таксист без автомобиля.
      Чтобы объять необъятное, нужно использовать инструменты для парсинга площадок с объявлениями недвижимости. Чем быстрее вы получите объявление от собственника, тем больше шанс совершить выгодную сделку.
      В этом видео я подробно рассказываю о том, как настраивается парсер и какой результат получает в итоге агентство недвижимости.
      Цены и условия приобретения тут https://www.sitebill.ru/ads-api-parser/
      Парсер недвижимости только для CMS Sitebill https://www.sitebill.ru/ 
    • Автор: metrpro
      После импорта очередного фида геокодер счел нужным установить координаты половины объектов из города Геленджик в границах города Рига, что, безусловно, забавно, но совершенно не доставляет, ибо объявлений в фиде было около 800. Адреса правильные, дома существующие, но ... в Риге! В РИГЕ, КАРЛ!!!
      Вот как один из объектов выглядит в фиде:
      <location> <country>Россия</country> <locality-name>Геленджик</locality-name> <sub-locality-name>район пансионата ''Сосновая роща''</sub-locality-name> <address>Гоголя улица, 7</address> </location> Все канонично. А вот как выглядит на сайте: 

      Отсюда два вопроса:
      1. Как это массово исправить, произведя перекодирование координат (почистить через phpmyadmin или еще что-то)
      2. Как этого избежать впредь?
    • Автор: Opossum_Shultz
      при редактировании выгруженных через платный Excel данных и загрузке через excel free после удачной загрузки - фраза
      "Были добавлены изображения в кэш. Необходимо запустить парсер кэшированных картинок".
      ссылки на изображения в файле не менялись. 
      Возникает вопрос - если вообще удалить этот столбец со ссылками на картинки перед загрузкой через excel free - ссылки на изображение не гокнутся?
      Выгружаем через платный excel потому, что в  free во время выгрузки - процесс рубится по таймауту.
    • Автор: Дмитрий Кондин
      Теперь есть специальный ресурс, который вам может спарсить любой город по желанию и выдать вам XML файл в формате яндекс-недвижимости.
      Смотрим тут http://atlcom.ru/main/
      Модуль для парсинга яндекс-недвижимости тут https://www.sitebill.ru/client/cart.php?gid=9
      Как это работает:
      Вы выбираете на ресурсе atlcom.ru нужный город, оплачиваете эту выгрузку Вам выдают URL источника XML-файла Мы вам настраиваем модуль Парсинга XML https://www.sitebill.ru/client/cart.php?gid=9 Картинки чаще всего содержат логотип авито, но и на этот случай в модуле парсинга мы придумали функции подрезания фото, чтобы убрать логотип авито. Данных будет оттуда поступать очень много, поэтому в настройках при загрузке на сайт можно будет указать статус "Не активно", т.е. все эти объявления будут приходить в неактивном состоянии. Вы будете вручную их обрабатывать (телефоны собственников будут отображаться в форме редактирования). И избранные объявления можете публиковать на своем сайте, при этом контакты будут ваши выводиться.
    • Автор: bogdanoff
      Добрый день.
      Ситуация такая:
      1. При парсинге в фиде имеются объекты разных агентов на разные телефоны.
      2. Далее они выгружаются ко мне на сайт в лк пользователя, но в лк только один телефон.
      3. Чьи контакты попадут в фид http://mysite.ru/yandexrealty/, телефоны агентов или все объявления будут с одним номером из лк?
      Из этой ссылки http://wiki.sitebill.ru/index.php?title=%D0%9F%D1%80%D0%B8%D0%BB%D0%BE%D0%B6%D0%B5%D0%BD%D0%B8%D0%B5_%22%D0%92%D1%8B%D0%B3%D1%80%D1%83%D0%B7%D0%BA%D0%B0_Yandex.Realty%22 понял следующее:
      Если я не буду никого переносить в другую группу (она у маня сейчас одна) и пропишу в поле apps.yandexrealty.contacts_assoc_str значение 1:3, то контактные данные при парсинге будут браться из xml-файла, а если чего-то не хватает, то из учетной записи. 
      Я правильно все понял или нет?