Recommended Posts

Кто как борется с дубликатами при загрузке объектов с exel?

т.е. как не допустить загрузку  к объектам в базе с их дублями  в загружаемой таблице exel приложения?

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах
В 02.04.2018 в 06:03, Realtor сказал:

Кто как борется с дубликатами при загрузке объектов с exel?

т.е. как не допустить загрузку  к объектам в базе с их дублями  в загружаемой таблице exel приложения?

Борюсь так - не занимаюсь этой фигнёй! Это по части разведения Авиты на своем сайте. А если следовать логике, то загружаемые объявления с имеющимися id в базе - обновляются, с отсутствующими id - добавляются. Соответственно, перед загрузкой проверяйте наличие id, их соответствие имеющимся в базе и наличие возможных дубликатов.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах
5 часов назад, Chernetskiy сказал:

Борюсь так - не занимаюсь этой фигнёй! Это по части разведения Авиты на своем сайте. А если следовать логике, то загружаемые объявления с имеющимися id в базе - обновляются, с отсутствующими id - добавляются. Соответственно, перед загрузкой проверяйте наличие id, их соответствие имеющимся в базе и наличие возможных дубликатов.

Если в рамках одного агентства , то да.

А если Вы согласились принимать объекты от агентств партнёров? 

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах
2 часа назад, Realtor сказал:

Если в рамках одного агентства , то да.

А если Вы согласились принимать объекты от агентств партнёров? 

Тогда надо как-то с партнерами этот вопрос урегулировать, предусмотреть исключение дубликатов, тут могут быть варианты:

  • вы первоначально загружаете базу партнера а затем скидываете каждому партнеру его файл Эксель и он дополняя/изменяя его в последующем делится с вами готовым к загрузке в базу вариантом;
  • партнеры размещают объявления в вашей базу вручную, проверяя актуальность и дубликаты объявлений;
  • Проще и логичнее наверное будет так - объявления загружаются в базу с ограниченным сроком, например раз в неделю с активностью - неделя. При следующей загрузке все предыдущие объявления партнера перемещаются в архив/удаляются и база объектов загружается по новой.

В любом случае, не понятно как ведут свои базы партнеры, соответственно, сложно прогнозировать что вам передадут в файле Эксель, в связи с этим могут быть проблемы, т.к. сторонний файл вы загружаете прямиком в базу без проверки на соответствие параметрам в вашей базе, отсюда могут появляться в вашей базе лишние и несовместимые параметры, php-код или лишняя разметка в скопированном тексте из Word/чужого сайта, вместо значений 1/0 для чекбоксов значения +/-, да/нет/? и прочее.

Может логичнее будет парсить их объекты с их сайтов, если у них имеется какой-то стандартный источник выгрузки в XML? Их выгрузкеу можно будет проверить валидатором и будет вероятность того, что она соответствует необходимым требованиям и не содержит ошибок, да и дубликаты они исходно отследят у себя.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах
1 час назад, Chernetskiy сказал:

 

Может логичнее будет парсить их объекты с их сайтов, если у них имеется какой-то стандартный источник выгрузки в XML? Их выгрузкеу можно будет проверить валидатором и будет вероятность того, что она соответствует необходимым требованиям и не содержит ошибок, да и дубликаты они исходно отследят у себя.

Насчет формы и содержания ексел таблицы мы договорились , единый стандарт. Как дубли отсеять идущих например от разных агенств один и тот же объект? Или повторный дубль от одного и того же агентства ?

Например на 100% идентичный ?

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах
59 минут назад, Realtor сказал:

Насчет формы и содержания ексел таблицы мы договорились , единый стандарт. Как дубли отсеять идущих например от разных агенств один и тот же объект? Или повторный дубль от одного и того же агентства ?

Например на 100% идентичный ?

А зачем его отсеивать, если этот объект продает несколько агентов/агентств? Вполне допускаю, что собственник мог обратиться в несколько агентств с заявкой продать. Даже допускаю, что в нескольких агентствах могут быть заключены договора с собственниками. Агентства добросовестно выгружают к вам свои объекты а вы ставите в приоритет одно из них и размещаете объект на своем портале, у остальных вы этот объект блокируете.

Каково будет в дальнейшем отношение к вашему сервису со стороны обделенных агентств, которые тратили время на составление файла Эксель, переслали вам его а в результате работа впустую, только потому, что вы предпочли первого, кто вам этот файл скинул. Загляните на крупные порталы недвижимости и вы найдете там немало дубликатов одного и того-же объекта от разных агентств. 

Ситауции с дубликатами бывают разные, начиная от пофигизма собственника и заканчивая выгодными условиями для агентов, необходимостью быстрой продажи и т.п., заканчивая банальным сотрудничеством агентств, когда агентство готово делиться своей комиссией с другим агентством лишь-бы продать по быстрому. Понятное дело, каждое агентство будет пиарить один и тот-же объект и хорошо, если с единой ценой, а-то и могут демпинговать, что приводит к застою продажи объекта, доп.накруткам к цене (на услуги), неразберихе - кто-же всётаки продает и в итоге к игнорироваю этого объекта потенциальными покупателями.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах
11 час назад, Chernetskiy сказал:

А зачем его отсеивать, если этот объект продает несколько агентов/агентств? Вполне допускаю, что собственник мог обратиться в несколько агентств с заявкой продать. Даже допускаю, что в нескольких агентствах могут быть заключены договора с собственниками. Агентства добросовестно выгружают к вам свои объекты а вы ставите в приоритет одно из них и размещаете объект на своем портале, у остальных вы этот объект блокируете.

Каково будет в дальнейшем отношение к вашему сервису со стороны обделенных агентств, которые тратили время на составление файла Эксель, переслали вам его а в результате работа впустую, только потому, что вы предпочли первого, кто вам этот файл скинул. Загляните на крупные порталы недвижимости и вы найдете там немало дубликатов одного и того-же объекта от разных агентств. 

Ситауции с дубликатами бывают разные, начиная от пофигизма собственника и заканчивая выгодными условиями для агентов, необходимостью быстрой продажи и т.п., заканчивая банальным сотрудничеством агентств, когда агентство готово делиться своей комиссией с другим агентством лишь-бы продать по быстрому. Понятное дело, каждое агентство будет пиарить один и тот-же объект и хорошо, если с единой ценой, а-то и могут демпинговать, что приводит к застою продажи объекта, доп.накруткам к цене (на услуги), неразберихе - кто-же всётаки продает и в итоге к игнорироваю этого объекта потенциальными покупателями.

Необходимо отсеивать, хочу постепенно от доски объявлений перейти к млс

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Создайте аккаунт или войдите для комментирования

Вы должны быть пользователем, чтобы оставить комментарий

Создать аккаунт

Зарегистрируйтесь для получения аккаунта. Это просто!

Зарегистрировать аккаунт

Войти

Уже зарегистрированы? Войдите здесь.

Войти сейчас

  • Похожие публикации

    • Автор: Realtor
      Некоторые собственники не хотят , чтобы их объекты распространялись через открытые СМИ
      Cоздаем поле чек бокс в таблице data например - поле MLSN
      Публикуем объект в базе с установленным чекбоксом MLSN-1 .
      В поиске поле MLSN показывается только для определенных групп к примеру - Агентство, Риэлтор, Помощник Риэлтора и в результате поиска объект  появляется  только для этих групп и карточка соответственно.(типа снятое с активации) и чтобы поисковики его не сканировали.
      Подскажите как реализовать?
    • Автор: Realtor
      Нужно разработать загрузчик фото по типу как в телеграм
      Т.е. преобразовывать прямо у источника уменьшая размер фото до загрузки на сайт. Обычно фото весят 5 МГБ, если грузить 15 фото , то по времени загрузка занимают долгое время.
      Предлагайте 
       
    • Автор: mavleds
      На версии php 7.0 через uploadify загружается только 2 фото из 5 добавляемых.
      При переключении на версию php 5.6 фото нормально загружаются.
      Куда копать, в чем может быть причина?


    • Автор: Ramiz95
      Здравствуйте. После обновлений появилась проблема, при выборе района, автоматически заполняется и улица (скриншот ниже)
      И еще, могу ли я как то выбрать то что мне надо надо? Например убрать поиск по ID, дата, и дом? попробовал по адресу admin/index.php?action=data&do=formatgrid
      И еще, можно ли там же организовать сортировку по цене? (от и до)
       
      Заранее спасибо за ответы

    • Автор: Accord
      Добрый день. Сайт an-accord.dp.ua
      1)В разделе  Пропала возможность подписывания фото для SEO
      Приложения    Объявления  
      1.2) Добавить и  другие критерии поиска, что бы отображались ФОТО и краткое описание, сохранять и показывать телефоны (три)
      2)Переместить "Продажа квартир" и "Аренда квартир" в top_fixed_menu.tpl.html
      3) Добавил логотип после <div class="navbar-inner">
      Отображается только на главной странице. В карточке объекта - изображение не найдено.