sitemap.xml как теперь с ним быть?

[abushyk 694]

4 часа назад, Helenblondi сказал:

это нормально или нет?

если у вас есть, что показать людям на этих страницах полезное, то имеет смысл снять ограничение с них в роботс. если же там просто форма, то можно оставить с ограничением.

[Helenblondi 29]

13 минуты назад, abushyk сказал:

если у вас есть, что показать людям на этих страницах полезное, то имеет смысл снять ограничение с них в роботс. если же там просто форма, то можно оставить с ограничением.

я не ставило на них ограничения. робот их сам заблокировал

[abushyk 694]

15 минут назад, Helenblondi сказал:

я не ставило на них ограничения. робот их сам заблокировал

это стандартные правила, которые устанавливаются в robots.txt при установке движка. обычно по этим адресам торчат глухие формы, индексация которых ведет к заспамлению маловразумительными словами и словосочетаниями.

[mykvartira 4]

Может пропустил ответ, но все же. Сайтмап пустой, что это может быть. Проблема появилась примерно пару дней назад? Спасибо

[Дмитрий Кондин 690]

8 часов назад, mykvartira сказал:

Может пропустил ответ, но все же. Сайтмап пустой, что это может быть. Проблема появилась примерно пару дней назад? Спасибо

Зашел к вам вижу sitemap, проблема решена?

[mykvartira 4]

4 часа назад, rumantic сказал:

Зашел к вам вижу sitemap, проблема решена?

Интересно, а я не вижу. Страница открывается, но он пустой. https://mykvartira.com/sitemap.xml

Так же в вебмастере яндекс (Анализ файлов Sitemap) пишет что файл пустой. Так что проблема скорее всего актуальна.

[mykvartira 4]

12 часа назад, rumantic сказал:

Зашел к вам вижу sitemap, проблема решена?

Возможно вы видели карту сайта для людей https://mykvartira.com/sitemap

а меня интересует для машин /sitemap.xml - в ней нет файлов

[abushyk 694]

Да. Пусто. Ни ошибки на выходе, ни пустого xml. Хотя бы меню он должен был туда выдать.

1.Проверьте нет ли в корне сайта такого файла

2.Поставьте время жизни кеша сайтмапа в 0 или 1 в настройках приложения.

3.Удалите из папки \cache все файлы вида КУЧА_ЧИСЕЛ_И_БУКВ.sitemap.xml напр. 4775c74209ca9a4edd349335bfa3e1bb.sitemap.xml

Если не поможет, по можете написать мне в пм с фтп доступом на папку приложения.

[mykvartira 4]

17 минут назад, abushyk сказал:

Да. Пусто. Ни ошибки на выходе, ни пустого xml. Хотя бы меню он должен был туда выдать.

1.Проверьте нет ли в корне сайта такого файла

2.Поставьте время жизни кеша сайтмапа в 0 или 1 в настройках приложения.

3.Удалите из папки \cache все файлы вида КУЧА_ЧИСЕЛ_И_БУКВ.sitemap.xml напр. 4775c74209ca9a4edd349335bfa3e1bb.sitemap.xml

Если не поможет, по можете написать мне в пм с фтп доступом на папку приложения.

Выполнил ваши указания и все четно. Отправил данные 

[Chernetskiy 469]

2 часа назад, mykvartira сказал:

Выполнил ваши указания и все четно. Отправил данные 

Я вижу вашу карту.

This XML file does not appear to have any style information associated with it. The document tree is shown below.
<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
<url>
<loc>https://mykvartira.com/arenda-kvartir/</loc>
<lastmod>2017-12-01</lastmod>
<changefreq>daily</changefreq>
<priority>0.5</priority>
</url>
<url>
<loc>https://mykvartira.com/prodaja-kvartir/</loc>
<lastmod>2017-12-01</lastmod>
<changefreq>daily</changefreq>
<priority>0.5</priority>
</url>
<url>
<loc>https://mykvartira.com/novostroyki/</loc>
<lastmod>2017-12-01</lastmod>
<changefreq>daily</changefreq>
<priority>0.5</priority>
</url>
....
  <url>
<loc>https://mykvartira.com/reklama-na-sayte/</loc>
<lastmod>2017-12-01</lastmod>
<changefreq>monthly</changefreq>
<priority>0.5</priority>
</url>
</urlset>

 

[mykvartira 4]

3 минуты назад, Chernetskiy сказал:

Я вижу вашу карту.

This XML file does not appear to have any style information associated with it. The document tree is shown below.
<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
<url>
<loc>https://mykvartira.com/arenda-kvartir/</loc>
<lastmod>2017-12-01</lastmod>
<changefreq>daily</changefreq>
<priority>0.5</priority>
</url>
<url>
<loc>https://mykvartira.com/prodaja-kvartir/</loc>
<lastmod>2017-12-01</lastmod>
<changefreq>daily</changefreq>
<priority>0.5</priority>
</url>
<url>
<loc>https://mykvartira.com/novostroyki/</loc>
<lastmod>2017-12-01</lastmod>
<changefreq>daily</changefreq>
<priority>0.5</priority>
</url>
....
  <url>
<loc>https://mykvartira.com/reklama-na-sayte/</loc>
<lastmod>2017-12-01</lastmod>
<changefreq>monthly</changefreq>
<priority>0.5</priority>
</url>
</urlset>

 

Уже сработала. Спасибо abushy помог разобраться 

Была проблема в копировании данных 

Нужно было мне сделать правки в форме, скопировал с /public_html/apps всю папку, а нужно было только шаблон.

(если вам нужно изменить только кнопку в шаблоне /template/frontend/ваш_шаблон/apps/mailbox/site/template/form.tpl то копируете только этот шаблон с сохранением структуры папок. остальные файлы копировать не нужно. особенно исполняемые site.php и admin.php так как они не наследуются путем простого копирования.) Золотые слова

После этого очистил таблицу в sql re_apps, удалил все файлы кроме шаблона и все стало на свои места.

Спасибо ребята

[doma 22]

Подскажите ответ на такой вопрос что формирует страница сайт.кк/vip

мы его закрыли в роботс типа Disallow: /vip

когда то читали на форуме или просматривали код и там была такая ссылка поэтому и был повод внести

насколько мы понимаем то таким образом мы сами зачем то закрыли от индексации все ссылки на сайте начинающиеся на vip хотя идеи такой впринципе не было

получается мы запретили все ссылки начинающиеся так?  получается все страницы такого вида у нас не индексируются?
sait.rr/vip-predlohenia
sait.rr/vip-mesta
sait.rr/vipabonent

 

и попутный вопрос опять же где то на сайте видели запись что лучше запретить rss потоки. и взяли запретили их в роботс написав типа
sait.rr/rss - получается не правильно? наверное лучше  чтобы индексировался?

[metrpro 42]

В 02.12.2017 в 00:45, mykvartira сказал:

Уже сработала. Спасибо abushy помог разобраться 

Была проблема в копировании данных 

Нужно было мне сделать правки в форме, скопировал с /public_html/apps всю папку, а нужно было только шаблон.

(если вам нужно изменить только кнопку в шаблоне /template/frontend/ваш_шаблон/apps/mailbox/site/template/form.tpl то копируете только этот шаблон с сохранением структуры папок. остальные файлы копировать не нужно. особенно исполняемые site.php и admin.php так как они не наследуются путем простого копирования.) Золотые слова

После этого очистил таблицу в sql re_apps, удалил все файлы кроме шаблона и все стало на свои места.

Спасибо ребята

ХЗ, у меня после обновления системы до 3.4.4 и модуля sitemap до 1.4.3 карта перестала генерироваться - файл абсолютно пустой, все кэши почищены. Т.е. он именно не формируется. 

Хэлп, уже яша ругается
 

[Chernetskiy 469]

В 17.02.2018 в 11:12, doma сказал:

Подскажите ответ на такой вопрос что формирует страница сайт.кк/vip

мы его закрыли в роботс типа Disallow: /vip

когда то читали на форуме или просматривали код и там была такая ссылка поэтому и был повод внести

насколько мы понимаем то таким образом мы сами зачем то закрыли от индексации все ссылки на сайте начинающиеся на vip хотя идеи такой впринципе не было

получается мы запретили все ссылки начинающиеся так?  получается все страницы такого вида у нас не индексируются?
sait.rr/vip-predlohenia
sait.rr/vip-mesta
sait.rr/vipabonent

 

и попутный вопрос опять же где то на сайте видели запись что лучше запретить rss потоки. и взяли запретили их в роботс написав типа
sait.rr/rss - получается не правильно? наверное лучше  чтобы индексировался?

1. у вас закрыт доступ только по ссылке sait.rr/vip 

2. Ссылки типа sait.rr/vip-predlohenia, sait.rr/vip-mesta, sait.rr/vipabonent к вышеуказанной директиве отношения не имеют и будут индексироваться,

• если они существуют;
• если они не закрыты директивой disallow в robots.txt;
• если вышеуказанная директива Disallow: /vip выглядит именно так а не как Disallow: /vip* - что обозначает как любой символ после vip так и любую последовательность символов.

3. Не знаю, зачем закрывать rss в robots.txt, лично я разумного объяснения этому не вижу. Поисковики способны разобраться с тем, что это например не дубль главной а именно rss. К тому-же поисковики вообще не индексируют rss-фиды, поскольку это техническое содержимое а не html-страница.

[doma 22]

Только что, Chernetskiy сказал:

1. у вас закрыт доступ только по ссылке sait.rr/vip 

2. Ссылки типа sait.rr/vip-predlohenia, sait.rr/vip-mesta, sait.rr/vipabonent к вышеуказанной директиве отношения не имеют и будут индексироваться,

• если они существуют
• не закрыты директивой disallow в robots.txt
• или если вышеуказанная директива Disallow: /vip не выглядит как Disallow: /vip* - что обозначает как любой символ после vip так и любую последовательность символов.

3. Не знаю, зачем закрывать rss в robots.txt, лично я разумного объяснения этому не вижу. Поисковики способны разобраться с тем, что это например не дубль главной а именно rss.

1) закрыта ссылка вида saut.rr/vip но почему то в гугле говорит что  все что начинается на vip просто не индексируется.
звездочек вопросительных знаков и других символов у нас не стоит но все равно не индексируется.

И уверены что вы не правы или не совсем корректно говорит
Почитав на яндексе там дословно написано

Disallow: /cgi-bin # блокирует доступ к страницам,  
                   # начинающимся с '/cgi-bin'

Значит мы были правы что написав /vip в роботс у нас доступ блокируется к ссылкам вида ait.rr/vip-predlohenia, sait.rr/vip-mesta, sait.rr/vipabonent 

2) следовательно чтобы открыть все же доступ к этим страницам что лучше сделать?  просто написать 
Allow
allow: /vip-predlohenia
allow: /vip-mesta
allow: /vipabonent  

?????


Чтобы разрешить доступ робота к сайту или некоторым его разделам, используйте директиву Allow


3) Мы обнаружили что не смотря на то что у нас в роботс написано Disallow: /upper
почему то все равно в гугле есть сообщения об ошибках 
причем если перейти по ссылке сайт//upper/realty467 такое объявление действительно есть 

если в гугле ввести такую строку info:http://sayt.ru/upper/realty9467 то гугл пишет что Информация об этой странице недоступна.
причем в титле сообщает "Поднять объявление - название вашего сайта"

[Chernetskiy 469]

1. Значит пишем Disallow: /vip$ - это будет являться точным соответствием исключения параметру. Остальные варианты: /vip-predlohenia , /vip-mesta и /vipabonent - перестанут исключаться по /vip.

2. Ну или как вариант - директивы с Allow:

Не видя вашего сайта и не понимая его структуру, сложно судить о необходимых дерективах.

По п.3 - Вне зависимости от ваших директив в robots.txt, поисковики по любому видят весь ваш сайт и самостоятельно принимают решение об индексации и выдаче, конечно-же ориентируясь на ваши директивы (Allow/Disallow), но они не являются панацеей. Для более жесткого решения вопроса существуют еще и мета на страницах...

Если вам нужно запретить индексацию страницы, можно воспользоваться не только robots txt, но и аналогичными html-тегами:

<meta name="robots" content="noindex"/> — не индексировать содержимое страницы;

<meta name="robots" content="nofollow"/> — не переходить по ссылкам на странице;

<meta name="robots" content="none"/> — запрещено индексировать содержимое и переходить по ссылкам на странице;

<meta name="robots" content="noindex, nofollow"/> — аналогично content="none".

 

[doma 22]

Только что, Chernetskiy сказал:

1. Значит пишем Disallow: /vip$ - это будет являться точным соответствием исключения параметру. Остальные варианты: /vip-predlohenia , /vip-mesta и /vipabonent - перестанут исключаться по /vip.

2. Ну или как вариант - директивы с Allow:

Не видя вашего сайта и не понимая его структуру, сложно судить о необходимых дерективах.

 

согласны с вами.

но вот страницу типа /vip не просто так вносили -95% есть такая в коде где то и как то она формируется вероятнее всего выводился какой то текст или объявлений с меткой "вип"

[Chernetskiy 469]

5 минут назад, doma сказал:

согласны с вами.

но вот страницу типа /vip не просто так вносили -95% есть такая в коде где то и как то она формируется вероятнее всего выводился какой то текст или объявлений с меткой "вип"

Добавил выше по п.3

Относительно закрытия /vip, если у вас появятся объявления со статусом VIP, вероятно они тоже не будут видимы поисковикам и в индекс не попадут? Тогда обычные объявления у вас будут видны всем, а платные VIP никто не увидит?  

[doma 22]

Только что, Chernetskiy сказал:

Добавил выше по п.3

Относительно закрытия /vip, если у вас появятся объявления со статусом VIP, вероятно они тоже не будут видимы поисковикам и в индекс не попадут? Тогда обычные объявления у вас будут видны всем, а платные VIP никто не увидит?  

это относительно содержания страницы и блоков на ней. а указав явно вроботс робот проигноирует как бы сразу страницу и не будет ее индексировать.
да и не во всех служебных файлах и каталогов можно что прописать

[Chernetskiy 469]

4 минуты назад, doma сказал:

это относительно содержания страницы и блоков на ней. а указав явно вроботс робот проигноирует как бы сразу страницу и не будет ее индексировать.
да и не во всех служебных файлах и каталогов можно что прописать

повторюсь, директивы в robots.txt - на усмотрение поисковиков (это ваши предпочтения/указания поисковикам или конкретному поисковику, если указываете его конкретно, например User-agent: Yandex) они не являются однозначным решением вопроса для поисковика. По этому, если уж совсем надо заглушить намертво, допишите meta (указал выше).

[iserg 1]

Добрый день, сделал переход с протокола http на SSL протокол https согласно этой инструкции. Все сделал как надо, в настройках админки включил https в Общих. Robots.txt - https

В шаге 10 - Смотрим, чтобы в карте сайта .xml присутствовал только протокол https.

Время обновления - срок жизни файла sitemap в настройках админки с 86400 выставил на 1 секунду.

в моем sitemap.xml протокол всех страниц http - мне нужен https. Куда рыть?

======================================================================

нашел решение:

/apps/sitemap/admin/admin.php

        $this->site_link='https://'.$_SERVER['SERVER_NAME'].(SITEBILL_MAIN_URL!='' ? SITEBILL_MAIN_URL.'/' : '/');

может можно как-то ткнуть галочку в админке какую - не нашел :)

Изменено August 29, 2019 пользователем iserg
нашел решение

[Дмитрий Кондин 690]

В 29.08.2019 в 12:17, iserg сказал:

Добрый день, сделал переход с протокола http на SSL протокол https согласно этой инструкции. Все сделал как надо, в настройках админки включил https в Общих. Robots.txt - https

В шаге 10 - Смотрим, чтобы в карте сайта .xml присутствовал только протокол https.

Время обновления - срок жизни файла sitemap в настройках админки с 86400 выставил на 1 секунду.

в моем sitemap.xml протокол всех страниц http - мне нужен https. Куда рыть?

======================================================================

нашел решение:

/apps/sitemap/admin/admin.php

        $this->site_link='https://'.$_SERVER['SERVER_NAME'].(SITEBILL_MAIN_URL!='' ? SITEBILL_MAIN_URL.'/' : '/');

может можно как-то ткнуть галочку в админке какую - не нашел :)

1. Обновлена ли система?

2. Обычно решает эта опция в Общих настройках

Работать через https
(work_on_https)

3. Чтобы убедиться что это не кэш, удалите все файлы в папке /cache/*.sitemap.xml

[TrashSmash0x0 2]

Теперь на него можно просто забить

[TopRaN 235]

3 часа назад, TrashSmash0x0 сказал:

Теперь на него можно просто забить 

Нет, яхо его с удовольствием кушает, а это доп. к ссылочной масе.

[Realtor 47]

Предложение к разрабам

 

внести и дополнить  сайтмап

такими строчками

$ret .= '<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9" xmlns:image="http://www.google.com/schemas/sitemap-image/1.1">' . "\n";
 

$ret .= '<image:image>' . "\n";
                        $ret .= '<image:loc>' . ссылку на первое фото . '</image:loc>' . "\n";
                        $ret .= '<image:geo_location>' . город . ' </image:geo_location>' . "\n";
                        $ret .= '</image:image>' . "\n";

 

Основание https://yandex.ru/support/images/sitemap-images.html