Recommended Posts

Доброго времени суток, скажите, есть ли функция загрузки объявлений. Как на старте наполнить сайт "автоматом", клиент не станет добавляться, на пустотой сайт, как и размещать объявления.  :) 

Если нет, планируется ли его создание ? Возможно есть альтернатива ?

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

есть платный модуль "Excel загрузка/выгрузка"

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

походу имеется в виду "рыбонаполнение" - забивка базы подставным автогенерированным контентом для создания "видимости толпы".

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

походу имеется в виду "рыбонаполнение" - забивка базы подставным автогенерированным контентом для создания "видимости толпы".

Такой подход не очень-то работает )

Вон на etown грузится тонна объявлений в день, но мало народу это вдохновляет.

Нужны все-таки живые посетители для наполнения.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

походу имеется в виду "рыбонаполнение"

у меня тоже сначала проскользнула мысль, что нужен Faker, но реальные данные - есть реальные данные

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Да, реальные данные, с сайтов на которые возможна выгрузка объявлений при помощи cms, пусть 50-100 (*всего, не ежедневно) но, что бы была видимость того, что на сайте уже есть люди которые размещают, через месяц ещё 50, на пустой сайт не каждый захочет закинуть объявление.

 

 

Или заливать руками с сторонних ?

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

50-100 можно и через Excel залить.

Пару часов работы, даже если на авито искать вручную.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

50-100 можно и через Excel залить.

Пару часов работы, даже если на авито искать вручную.

 

Водяной знак бы их залить =) ** Ждём решений по png.

Подскажите, непонятному, как получить шалбон, для заполнения из Авито и заливки на сайт ?

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Водяной знак бы их залить =) ** Ждём решений по png.

Подскажите, непонятному, как получить шалбон, для заполнения из Авито и заливки на сайт ?

Тестируем исправление для водяного знака.

По шаблону - посмотрите тут видео-урок http://www.sitebill.ru/excel-php.html

Там описано как взять пример файла и потом загрузить его обратно с данными.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Водяной знак бы их залить =) ** Ждём решений по png.

Подскажите, непонятному, как получить шалбон, для заполнения из Авито и заливки на сайт ?

Чтобы получить объявления с телефонами и фото из авито, я пользуюсь услугами товарища ). В день можно получить до 80 000 объявлений. И все данные актуальные

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Чтобы получить объявления с телефонами и фото из авито, я пользуюсь услугами товарища ). В день можно получить до 80 000 объявлений. И все данные актуальные

Полезный товарищ )

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Чтобы получить объявления с телефонами и фото из авито, я пользуюсь услугами товарища ). В день можно получить до 80 000 объявлений. И все данные актуальные

Вот парсю авито с картинками и при таких количествах объявлениях 

в папке /img/data/ собирается около 0,5 млн фото. При этом на сервере есть ограничение

на количество файлов в директории.

Может кто Подскажет как решить проблему с разбивкой фотографий объявлений по разным директориям.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Может кто Подскажет как решить проблему с разбивкой фотографий объявлений по разным директориям.

Пока так много еще не было.

Если проблема будет актуальна у многих, будем думать о доработке.

А пока можете обратиться в раздел фриланс, может быть кто-то вам доработает.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Вот парсю авито с картинками

 

Пока идет разговор об этом постараюсь почерпнуть полезной практической информации)))0

 

А сколько примерно картинок и с какой периодичностью заходит в папку при парсинге нельзя никак определить?

 

Например парсим раз в 6 часов в среднем по 1000 объяв за заход. В итоге по ~20 картинок на объект. В итоге 4*1000*20 картинок в сутки.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Пока идет разговор об этом постараюсь почерпнуть полезной практической информации)))0

 

А сколько примерно картинок и с какой периодичностью заходит в папку при парсинге нельзя никак определить?

 

Например парсим раз в 6 часов в среднем по 1000 объяв за заход. В итоге по ~20 картинок на объект. В итоге 4*1000*20 картинок в сутки.

 

Процесс парсинга авито:

1 Парсим объявления телефоны в таблицу EXCEL, картинки на локальный компьютер

2 Загружаем фото в папку /cache/upl/xls_uploads, ексель в Приложения / Excel

 

Скрипт сам всё скидывает в один каталог, и без програмирования никак не изменить

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Тут именно вопрос в количествах. я сечас работаю над вариантом папочной раскладки. в данный момент по принципу 201502, 201503 - типа год+месяц. Возможно уточнить папки до дня, напр. 20150517, 20150518, но если парсинг активный и в день вы вгрузите 1000 объяв, то мы получим ту же ситуацию, только в профиль. У вас будет лям картинок не в папке /img/data, а в /img/data/20150517, что в принципе не изменит ситуацию.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Тут именно вопрос в количествах. я сечас работаю над вариантом папочной раскладки. в данный момент по принципу 201502, 201503 - типа год+месяц. Возможно уточнить папки до дня, напр. 20150517, 20150518, но если парсинг активный и в день вы вгрузите 1000 объяв, то мы получим ту же ситуацию, только в профиль. У вас будет лям картинок не в папке /img/data, а в /img/data/20150517, что в принципе не изменит ситуацию.

В другом скрипте интернет магазина сделали так: в Excel указывался путь фото в формате 1папка/имя _файла.jpg

Далее при экспорте скрипт скидывал фото по папкам 

В парсере легко настроить количество файлов в 1папку

Как вариант.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

В парсере легко настроить количество файлов в 1папку

Как вариант.

 

была и такая мысль. если добавляется одно объявление - это еще куда ни шло. а если большая пачка фото - сильно растет количество обращений к диску на пересчет картинок в папке. добавлять в один момент может не только парсер, но и другие формы.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Вот парсю авито с картинками и при таких количествах объявлениях 

в папке /img/data/ собирается около 0,5 млн фото. При этом на сервере есть ограничение

на количество файлов в директории.

Может кто Подскажет как решить проблему с разбивкой фотографий объявлений по разным директориям.

Как бы воспользоваться парсингом ?

Нужно до 50 объявлений в день, с картинками, описанием. (Беларусь)

Как бы реализовать через вас ?

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Как бы воспользоваться парсингом ?

Нужно до 50 объявлений в день, с картинками, описанием. (Беларусь)

Как бы реализовать через вас ?

Рекомендую

http://www.etown.ru/s/topic/2011-%D1%81%D0%BA%D0%BE%D0%BB%D0%BA%D0%BE-%D0%B1%D1%83%D0%B4%D0%B5%D1%82-%D1%81%D1%82%D0%BE%D0%B8%D1%82%D1%8C-%D1%81%D0%B4%D0%B5%D0%BB%D0%B0%D1%82%D1%8C-%D0%BF%D0%B0%D1%80%D1%81%D0%B5%D1%80-%D0%BE%D0%B1%D1%8A%D1%8F%D0%B2%D0%BB%D0%B5%D0%BD%D0%B8%D0%B9/#entry22202

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Создайте аккаунт или войдите для комментирования

Вы должны быть пользователем, чтобы оставить комментарий

Создать аккаунт

Зарегистрируйтесь для получения аккаунта. Это просто!

Зарегистрировать аккаунт

Войти

Уже зарегистрированы? Войдите здесь.

Войти сейчас

  • Похожие публикации

    • Автор: Realtor
      Нужно разработать загрузчик фото по типу как в телеграм
      Т.е. преобразовывать прямо у источника уменьшая размер фото до загрузки на сайт. Обычно фото весят 5 МГБ, если грузить 15 фото , то по времени загрузка занимают долгое время.
      Предлагайте 
       
    • Автор: Realtor
      Кто как борется с дубликатами при загрузке объектов с exel?
      т.е. как не допустить загрузку  к объектам в базе с их дублями  в загружаемой таблице exel приложения?
    • Автор: mavleds
      На версии php 7.0 через uploadify загружается только 2 фото из 5 добавляемых.
      При переключении на версию php 5.6 фото нормально загружаются.
      Куда копать, в чем может быть причина?


    • Автор: Chernetskiy
      При составлении статей на сайт использую редактор CKeditor. Однако периодически возникает необходимость вставить изображение в статью и тут начинается самое интересное. При клике на кнопку вставить изображение предоставляется выбор на сервере, при клике на который попадаешь на 404 страницу. Приходится вручную грузить изображение на сервер и вставлять вручную путь к нему в редакторе.
      Эту фигню как-то можно сделать в более привычном варианте - загрузка изображения прямо из редактора и автоматическое подхватывание ссылки на него?
      Какие будут соображения или может есть какой-то готовый плагин для работы CKeditor'a в файловой структурое сервера?
    • Автор: Дмитрий Кондин
      Если вы хотите загрузить файл с большим количеством записей и фотографий, то вам потребуется включить новую опцию пошаговой загрузки фото.
      Подробнее в вики http://wiki.sitebill.ru/index.php?title=Excel