Гадкие урлы (url, alias) в поиске

[DoobBY 9]

Подскажите, с чем может быть связанно, что в поиске появились непонятные урлы, помогите разобраться, как они создались, что бы в дальнейшем избежать подобного. Или как скрыть подобные из поиска

http://doob.by/index.php?order=price&asc=asc&page=17

http://doob.by/?page=17- при нажатии на кнопку (листалку)


http://prntscr.com/89gn33(как выглядет)

[TopRaN 235]

У вас все нормально, просто в строке ещё указана и сортировка.

[DoobBY 9]

У вас все нормально, просто в строке ещё указана и сортировка. 

 

 

А это не считается дублем ?

[abushyk 694]

Если индексируется, то считается.

[Дмитрий Кондин 690]

Вообще в шаблоне эти адреса вот так оформлены

<noindex><a href="/?page=17&order=price&asc=asc" rel="nofollow">↓</a></noindex>

[DoobBY 9]

Подскажите, как быть с  index.php ?
Хотел сделать ридерект или что бы при попадании на эту страницу - перекидывало на главную, пробовал так^

RewriteCond %{REQUEST_URI} ^/index.php/(.*)$ 

RewriteRule (index.php)/(.*) http://www.site.ru/$2 [R=permanent,L] 

И так

RewriteRule ^index.php/(.+)$ http://mysite.ru/$1 [R=301,L]

Или просто скрыть эту страницу от индексации или ещё как-то иначе ?

[abushyk 694]

Я у себя вот такое нашел:

RewriteCond %{THE_REQUEST} ^[A-Z]{3,9}\ /index\.php\ HTTP/
RewriteRule ^index\.php$ http://prorealproperty.com/ [R=301,L]

 

[DoobBY 9]

1 час назад, abushyk сказал:

Я у себя вот такое нашел:

RewriteCond %{THE_REQUEST} ^[A-Z]{3,9}\ /index\.php\ HTTP/
RewriteRule ^index\.php$ http://prorealproperty.com/ [R=301,L]

   Попробовал у себя, всё рано сайт/index.php, как дубль, как я понимаю. Может сделать редирект ?

[abushyk 694]

Цитата

всё рано сайт/index.php, как дубль, как я понимаю

Редирект по такому правилу не происходит?

[DoobBY 9]

2 минуты назад, abushyk сказал:

Редирект по такому правилу не происходит?

Нет, где был, там и остался

[abushyk 694]

А вы не поставили это правило выше директивы RewriteEngine On ?

 

И оно должно быть после

RewriteCond %{REQUEST_FILENAME} !-f
    RewriteCond %{REQUEST_FILENAME} !-d
    RewriteRule . index.php [L]

[DoobBY 9]

18 минуту назад, abushyk сказал:

Редирект по такому правилу не происходит?

Да, вот мой файл:

<IfModule mod_rewrite.c>
RewriteEngine On
RewriteBase /
RewriteRule ^index\.php$ - [L]
RewriteCond %{REQUEST_FILENAME} !-f
RewriteCond %{REQUEST_FILENAME} !-d
RewriteRule . /index.php [L]


RewriteCond %{THE_REQUEST} ^[A-Z]{3,9}\ /index\.php\ HTTP/
RewriteRule ^index\.php$ http://doob.by/ [R=301,L]

RewriteCond %{HTTP_HOST} ^www.doob.by
RewriteRule ^(.*)$ http://doob.by/$1 [R=301,L]
</IfModule>

RewriteEngine On



Redirect 301 /arenda-kvartir/na-sutki/ http://doob.by/na-sutki

 

[DoobBY 9]

Она ещё и в индекс зашла =( http://prntscr.com/aa8tfa

[abushyk 694]

я поправил вам правила. потыкайте себе в разных вариантах, должно не выдавать index.php

[Helenblondi 29]

я вот тоже не могу понять почему ссылка на мой сайт так смотрится в поисковике? у людей вроде такие красивенькие ссылочки а у меня нет. Подскажите пожалуйста что сделать чтобы ссылка была как у людей?

http://joxi.ru/zANdjNbslN5nXm

[Дмитрий Кондин 690]

В 19.03.2016в23:11, Helenblondi сказал:

я вот тоже не могу понять почему ссылка на мой сайт так смотрится в поисковике? у людей вроде такие красивенькие ссылочки а у меня нет. Подскажите пожалуйста что сделать чтобы ссылка была как у людей?

 

Вы в адресе категорий сделали пробелы, а они переделываются в %20 поисковиками и браузерами.

Вместо пробелов надо использовать _

[Osprey 0]

В 02.03.2016 в 17:21, abushyk сказал:

я поправил вам правила. потыкайте себе в разных вариантах, должно не выдавать index.php

Ребят, а можно в студию конечный файл .htaccess ?

Интересует решение аналогичной проблемы с индексацией страниц формата /page=1576 и /index.php

[DoobBY 9]

Добрый день обнаружил в поиске ужасные урлы

doob.by/?topic_id=13&price_min=0&price=1+957+500+000&geoautocomplete[city_id]=Брест&city_id=14&district_id=0&metro_id=0&search= Найти+ подходящие+ объекты +

Подскажите, как закрыть от индексации подобные?

[abushyk 694]

User-Agent: * 
Disallow: *?*

 

[DoobBY 9]

16 часов назад, abushyk сказал:

User-Agent: * 
Disallow: *?*

 

Спасибо, вот когда возможно простое решение, я его попросту не вижу =)

[abushyk 694]

Я тут немного перестарался, хотя сам становился на эти же грабли. После запрета нужно еще добавить

Allow: /sitemap.xml?page=*

Сайтмап может иметь постраничку и закрывать от роботов ее не нужно в отличии от остальных.

[doma 22]

46 минут назад, abushyk сказал:

Я тут немного перестарался, хотя сам становился на эти же грабли. После запрета нужно еще добавить

Allow: /sitemap.xml?page=*

Сайтмап может иметь постраничку и закрывать от роботов ее не нужно в отличии от остальных.

а где именно и в каком каталоге хранится этот самый sitemap ? через фтп редактор что то в корне его нет. зато почему то есть в папке  cache 

+ как понять постраничный файл? то есть файл как то внутри разбит или есть какое то "продолжение файла" ?  например если очень очень очень много объектов?

а так же почему нужно писать в роботс например
allow: /sitemap.xml    ---? разве он закрыт по умолчанию? и если например написать Allow фактически даем роботам возможность индексировать сам файл сайтмап-только вот что это дает?


да и еще наверное правильно сделать так
Allow: /img/data ---так как это позволит индексировать все картинки в объявлениях?  или в этом нет смысла? так как картинки будут попадать в индексацию яндекс.картинки и в гугл.картинки  из самих объявлений?

[abushyk 694]

11 минуту назад, doma сказал:

а где именно и в каком каталоге хранится этот самый sitemap ? через фтп редактор что то в корне его нет. зато почему то есть в папке  cache 

такого файла не существует физически. есть только такой адрес, отдающий карту сайта.

 

12 минуты назад, doma сказал:

индексировать сам файл сайтмап-только вот что это дает?

директивы в файле роботс не говорят что индексировать, а что нет. они описывают к чему робот может получить доступ, а к чему нет. а робот индексирует все, до чего дотянется, в зависимости от заголовков ответа. если будет запрет на сайтмап - то робот не прочтет карту сайта. нужно ли уточнять, что это даст?

 

16 минут назад, doma сказал:

allow: /sitemap.xml    ---? разве он закрыт по умолчанию?

нет. сам сайтмап не закрыт. но директива закрывающая адреса с вопросиками закроет и вложенные файлы для сайтмапов с большим количеством записей. и получится ситуация как вам бы дали в бибилиотеке книгу с оглавлением, но выдранными страницами с самим романом. пользы от такой книги мало.

 

13 минуты назад, doma сказал:

Allow: /img/data ---так как это позволит индексировать все картинки в объявлениях?  или в этом нет смысла? так как картинки будут попадать в индексацию яндекс.картинки и в гугл.картинки  из самих объявлений?

Если будет стоять запрет роботу на каталог img/data то картинки не будут индексироваться роботом ни с карточки, ни напрямую, так как есть запрет. а робот не идет "к картинке в карточке" а просто собирает все адреса на все ресурсы и обходит их обособлено.

[doma 22]

2 часа назад, abushyk сказал:

директивы в файле роботс не говорят что индексировать, а что нет. они описывают к чему робот может получить доступ, а к чему нет. а робот индексирует все, до чего дотянется, в зависимости от заголовков ответа. если будет запрет на сайтмап - то робот не прочтет карту сайта. нужно ли уточнять, что это даст?

тогда вопрос такой, к примеру в файле роботс у нас не написанно allow sitemap -значит фактически роботу файл сайтмап доступен и он его проиндексирует?
фактически же полуается что роботу доступно все что не запрещено командой dissalow. следовательно чтобы подстраховаться лучше написать allow sitemap?

 

[doma 22]

2 часа назад, abushyk сказал:

нет. сам сайтмап не закрыт. но директива закрывающая адреса с вопросиками закроет и вложенные файлы для сайтмапов с большим количеством записей. и получится ситуация как вам бы дали в бибилиотеке книгу с оглавлением, но выдранными страницами с самим романом. пользы от такой книги мало.

следовательно "пока"  объявлений мало то писать allow как бы не обязательно - но кто знает а вдруг завтра стент 100 тыс объявлений? следовательно лучше сразу вписать в роботс команду 

Allow: /sitemap.xml?page=*

и забыть на всегда? так как не каждый же день будешь проверять сколько там страниц в сайтмапе 1-2 или вообще уже 10?
если можно предусмотреть на начальном этапе :)) почему бы это не делать  чтобы потом ни кого не тревожить :))