RSS новостей сайта - выгрузка новостей и объявлений в rss-потоки для рсс-читалок

[Дмитрий Кондин 690]

15 часов назад, Chernetskiy сказал:

Ребяты, сегодня глянул, что у меня выводится в RSS по объектам - http://realty-centrum.com/rss/data/ и увидел ошибку:

This page contains the following errors:

error on line 132 at column 298: Input is not proper UTF-8, indicate encoding ! Bytes: 0xD0 0xB5 0xD1 0x80

Below is a rendering of the page up to the first error.

Куда копать?

Видимо это хром что-то глючит. Я тоже последнее время вижу такие сообщения в самых разных XML в хроме, хотя ничего не в XML не менялось.

Посмотрите в мозилле, все отлично открывается.

[abushyk 694]

Да. Хром как-то стал жестче относиться к тому, что выдается под заголовком text/xml. За последние две недели я видел это на десятке выгрузок самых разных форматов от самых разных компаний. И при том обработка xml-парсером этих выгрузок проходит без ошибок. Т.е. хмл "битый" только с точки зрения браузера.

[Chernetskiy 469]

Действительно, в Microsoft Edge и в IE.11 работает...

[doma 22]

В 27.06.2015 в 00:15, abushyk сказал:

Самое главное в выгрузке рсс-потока, да и любой другой выгрузки, состоит в том, что бы куда-то ссылку на свой поток дать. Это как секс - должно быть два участника))

Другими словами ваша выгрузка доступна по адресу вашш_сайт/rss/data и эту ссылку нужно скормить агрегатору. А сам поток обновляется динамически, никаких галочек на объявлениях ставить для их попадания туда не нужно.

подскажите правильно ли мы понимаем что сначала надо для объявлений включить в админке, чтобы именно объявления шли в rss ленту?

получается у нас будет 2 rss канала?
1) для новостей по адресу sait/rss
2) именно для объявлений sait/rss/data

и какое количество лучше бы указать для объявлений если их большое множество?  100-500-1000?  
еслимы правильно понимаем то сначала загрузятся все объявления и будет большой поток в течении короткого времени (так как будут выгружаться сразу например 3000 объявлений), а уже потом будет по 1-2-3 объявлениям выгружаться, по мере добавления?

или все же по какому то правилу будет выгружаться?
например: ставим в настройках 500 шт, и выгрузятся последние 500 ? а уже потом когда станет на +5 больше (то есть на сайт е будет уже 505 объявлений) выгрузится 5 последних, и выборка пойдет для анализа, что вугружать а что уже выгружено с 5 по 505 объявление (то есть выборка указанная числом 500)  ?

хотелось бы понимать процесс выгрузки и формирования, чтобы грамотно и анализно выгружать

[Дмитрий Кондин 690]

54 минуты назад, doma сказал:

подскажите правильно ли мы понимаем что сначала надо для объявлений включить в админке, чтобы именно объявления шли в rss ленту?

получается у нас будет 2 rss канала?
1) для новостей по адресу sait/rss
2) именно для объявлений sait/rss/data

и какое количество лучше бы указать для объявлений если их большое множество?  100-500-1000?  
еслимы правильно понимаем то сначала загрузятся все объявления и будет большой поток в течении короткого времени (так как будут выгружаться сразу например 3000 объявлений), а уже потом будет по 1-2-3 объявлениям выгружаться, по мере добавления?

или все же по какому то правилу будет выгружаться?
например: ставим в настройках 500 шт, и выгрузятся последние 500 ? а уже потом когда станет на +5 больше (то есть на сайт е будет уже 505 объявлений) выгрузится 5 последних, и выборка пойдет для анализа, что вугружать а что уже выгружено с 5 по 505 объявление (то есть выборка указанная числом 500)  ?

хотелось бы понимать процесс выгрузки и формирования, чтобы грамотно и анализно выгружать

1. Да

2. Да

Именно так как вы описали, сначала куча выгрузится, а потом когда тот кто выгрузил будет уже принимать только свежие.

[doma 22]

Только что, rumantic сказал:

1. Да

2. Да

Именно так как вы описали, сначала куча выгрузится, а потом когда тот кто выгрузил будет уже принимать только свежие.

подскажите а можно как то на первоначальном этапе ограничить выдачу?
опишем что именно.
предположим если на сайте 3000 объявления и если их выгрузить сразу то кто будет смотреть все эти 3000
например хотелось бы сделать ограничение на выгрузку по 500 объявлений в день на пример. и так займет 6 дней в итоге 6*500=300 а потом уже отключить и будут выгружаться только новые. и если можно то как это сделать?

[Дмитрий Кондин 690]

3 минуты назад, doma сказал:

подскажите а можно как то на первоначальном этапе ограничить выдачу?
опишем что именно.
предположим если на сайте 3000 объявления и если их выгрузить сразу то кто будет смотреть все эти 3000
например хотелось бы сделать ограничение на выгрузку по 500 объявлений в день на пример. и так займет 6 дней в итоге 6*500=300 а потом уже отключить и будут выгружаться только новые. и если можно то как это сделать?

Поставьте нужное количество в настройках - RSS новостей сайта

 

Длинна RSS канала объявлений(apps.rss.data_length)

 

[doma 22]

Только что, rumantic сказал:

Поставьте нужное количество в настройках - RSS новостей сайта

 

Длинна RSS канала объявлений(apps.rss.data_length)

 

ну тут всего наверное (от последнего) будет канал?  или все же сегодня 500 завтра 500 потом опять 500  а потом когда все выгрузится поставить 5 объявлений?

и в тоге получим что в течении недели выгрузится все 3000 объявлений? (500*6) а уже потом будет выгружаться по 5 при накоплении ?

[Дмитрий Кондин 690]

3 минуты назад, doma сказал:

ну тут всего наверное (от последнего) будет канал?  или все же сегодня 500 завтра 500 потом опять 500  а потом когда все выгрузится поставить 5 объявлений?

и в тоге получим что в течении недели выгрузится все 3000 объявлений? (500*6) а уже потом будет выгружаться по 5 при накоплении ?

Нет, всегда будет выгружаться ровно N последних объявлений, N это в настройках значение 

Длинна RSS канала объявлений(apps.rss.data_length)

[doma 22]

Только что, rumantic сказал:

Нет, всегда будет выгружаться ровно N последних объявлений, N это в настройках значение 

Длинна RSS канала объявлений(apps.rss.data_length)

то есть если мы правильно понимаем то на первоначальном этапе надо поставить цифру 500 потом увидить что все объявления вышли в рсс поток и при этом больше не добавляются. подождать 1-2 дня для достоверности и потом в длину канала поставить 1 (чтобы после того как все объекты высыпались) то добавлялись бы какждое последнее добавленное?

иначе если вместо 1 поставить 5 то будет ждать пока не добавится 5 новых? и пока не добавится не выгрузит?  фактически получается следующее например если вместо 1 поставить 2-5-10
к примеру собственник сегодня хочет сдать квартиру он опубликовал объявление о сдаче, и если у нас стоит 1 то фактически сразу в рсс поток оно и попадет?
а вот если стоит 5 например то может пройти и неделя пока 5 новых объявлений накопится ?  но квартира уже может быть сдана к этому времени.

Значит более правильно и рационально потом ставить значение 1 все же?

[Дмитрий Кондин 690]

3 минуты назад, doma сказал:

то есть если мы правильно понимаем то на первоначальном этапе надо поставить цифру 500 потом увидить что все объявления вышли в рсс поток и при этом больше не добавляются. подождать 1-2 дня для достоверности и потом в длину канала поставить 1 (чтобы после того как все объекты высыпались) то добавлялись бы какждое последнее добавленное?

иначе если вместо 1 поставить 5 то будет ждать пока не добавится 5 новых? и пока не добавится не выгрузит?  фактически получается следующее например если вместо 1 поставить 2-5-10
к примеру собственник сегодня хочет сдать квартиру он опубликовал объявление о сдаче, и если у нас стоит 1 то фактически сразу в рсс поток оно и попадет?
а вот если стоит 5 например то может пройти и неделя пока 5 новых объявлений накопится ?  но квартира уже может быть сдана к этому времени.

Значит более правильно и рационально потом ставить значение 1 все же?

Совсем не так.

Просто последние самые свежие будут выгружаться.

Если будет 500, то будут последние самые свежие 500 с текущего времени.

Когда наступит завтра, то будут последние 500 с завтра.

Ничего вам не нужно подгонять и менять, просто ставьте 500 и будут всегда у вас свежие выгружаться в rss.

[doma 22]

ок спасибо частично поняли. но чтобы было полное понимание -зададим еще вопрос.

получается ставим 500 , отсчет каждый день будет идти с последнего добавленного объявления ( фактически  как бы с момента подачи) если даже объявление было февральское, но потом либо подняли объявление, либо заново разместили

и получается один раз последние 500 загружатся, но какждый день наверное не будут загружаться повторно все эти 500 ?

пример 
1) сегодня на сайте 0 объявлений, добавлено 500 -сегодня например вечером выгрузятся с 0 по 500
2) на второй день добавлено 5 объявлений всего на сайте 505 стало, в рсс поток попадают объявления с 505 по 5 объявление (всего 500) но разместится только последние 5, то есть с номера 500по 505
3) день добавлено еще 10 объявлений (всего на сайте будет 515 уже объявлений) в рсс поток попадут с 515 по 15 объявлений, но разместится только с 515 по 505 (последние 10 добавленных)
4) добавили еще 20 объявлений - на сайте стало 535 объявлений . в рсс поток попадут объявления с 535 по 35 объявления, но разместится только последние 20 то есть с 535 по 515 ?

надеемся правильно понимаем ?

[Дмитрий Кондин 690]

1 минуту назад, doma сказал:

ок спасибо частично поняли. но чтобы было полное понимание -зададим еще вопрос.

получается ставим 500 , отсчет каждый день будет идти с последнего добавленного объявления ( фактически  как бы с момента подачи) если даже объявление было февральское, но потом либо подняли объявление, либо заново разместили

и получается один раз последние 500 загружатся, но какждый день наверное не будут загружаться повторно все эти 500 ?

пример 
1) сегодня на сайте 0 объявлений, добавлено 500 -сегодня например вечером выгрузятся с 0 по 500
2) на второй день добавлено 5 объявлений всего на сайте 505 стало, в рсс поток попадают объявления с 505 по 5 объявление (всего 500) но разместится только последние 5, то есть с номера 500по 505
3) день добавлено еще 10 объявлений (всего на сайте будет 515 уже объявлений) в рсс поток попадут с 515 по 15 объявлений, но разместится только с 515 по 505 (последние 10 добавленных)
4) добавили еще 20 объявлений - на сайте стало 535 объявлений . в рсс поток попадут объявления с 535 по 35 объявления, но разместится только последние 20 то есть с 535 по 515 ?

надеемся правильно понимаем ?

В rss выгружается все время 500 последних объявлений.

Логика простая - принимающая сторона, заберет 500 объектов. А на следующий день, если вы добавили 5 объявлений, то принимающая сторона снова забирает 500 объектов и среди них будет 5 новых ваших объектов. Просто принимающая сторона уже будет знать ид тех объектов которые она приняла до этого и поймет что сегодня ей пришли только 5 новых объектов, которые она не видела раньше.

[doma 22]

Только что, rumantic сказал:

В rss выгружается все время 500 последних объявлений.

Логика простая - принимающая сторона, заберет 500 объектов. А на следующий день, если вы добавили 5 объявлений, то принимающая сторона снова забирает 500 объектов и среди них будет 5 новых ваших объектов. Просто принимающая сторона уже будет знать ид тех объектов которые она приняла до этого и поймет что сегодня ей пришли только 5 новых объектов, которые она не видела раньше.

отлично спасибо за разъяснения.
если мы правильно понимаем движок формирует рсс поток по времени создания объявления а не по id ? а то мало ли :)) 

[Дмитрий Кондин 690]

Только что, doma сказал:

отлично спасибо за разъяснения.
если мы правильно понимаем движок формирует рсс поток по времени создания объявления а не по id ? а то мало ли :)) 

Да, по времени создания.