Гадкие урлы (url, alias) в поиске

[doma 22]

2 часа назад, abushyk сказал:

Если будет стоять запрет роботу на каталог img/data то картинки не будут индексироваться роботом ни с карточки, ни напрямую, так как есть запрет. а робот не идет "к картинке в карточке" а просто собирает все адреса на все ресурсы и обходит их обособлено.

ок предположим другой вариант
сейчас получается не закрыв доступ роботу к каталогу img/data (не написав dissalow) мы как бы даем роботу полный доступ просмотра и индексирования картинок причем всех , как активных объявлений, так и не активных 
фактически наверное робот пойдет 2 раза по одной картинке первый просто зайдя в каталог img/data и второй раз это когда он будет просматривать само объявление ? 
получается в 1 случае он просто "увидит картинку" но не поймет что на нем -не знай дом, не знай слон, не знай машина, а вот во втором случае он не только "увидит" что за картинка а как бы поймет что на ней изображено через атрибут ALT например "картинка розового слона" "картинка 5 этажного дома" и т.д не будет ли это плохо? робот не понизит ли рейтинг так как название у файлов-картинок одно и тоже а как бы "изображение на нем" не всегда одинаковые в 1случае "не известно" а во втором случае "розовый слон"

[abushyk 694]

2 часа назад, doma сказал:

фактически же полуается что роботу доступно все что не запрещено командой dissalow

Роботу доступно все, что не запрещено каким-либо способом, в том числе и Disallow. Сайтмап ничем не запрещен "из коробки". Пример с разрешением на сайтмап я привел только потому, что мы добавили директиву запрета на адреса со знаком вопроса, которая автоматом закроет страницы сайтмапа. Если бы мы не добавляли ее, то и разрешать страницы сайтмапа не потребовалось бы.

 

2 часа назад, doma сказал:

следовательно "пока"  объявлений мало то писать allow как бы не обязательно

И опять в обход. Разрешение на сайтмап должно основываться не на количестве объектов в нем, а только на потребности это разрешение для робота выдавать и возможности наличия запрета обусловленного более глобальными правилами. Все, больше никаких извращений  быть не должно.

[abushyk 694]

2 часа назад, doma сказал:

ок предположим другой вариант

не-не. робот не пойдет просто шарить у вас по папкам. у него есть контент, где он находит ресурсы картинок и потом он идет по ним, как по обычным ссылкам. если вы положите на сервере папку "ффф" и в нее что-то и не закроете ее в роботс, но не вставите оттуда картинку на одну из индексируемых страниц в каком-либо виде, то он не пойдет за ней в тут папку. так же он не будет индексировать неиспользуемые на сайте изображения.

Робот отталкивается от ссылок и ресурсов на странице. Но он не работает как проводник в винде "открой папку, просмотри что внутри".

[Chernetskiy 469]

...

[Chernetskiy 469]

...