Как запретить к индексации страницы

[Konstantin Nikolaevich 5]

Как лучше запретить к индексации страницы сайт.ру/?_lang=ru и сайт.ру/?_lang=en. При добавлении в роботс Disallow: /?_lang=en перестает индексироваться главная. Как быть?

[TopRaN 235]

1. Строка с полем Disallow может запретить индексирование документов только с одним префиксом. Для запрета нескольких префиксов нужно написать несколько строк. Например, нижеприведенный файл запрещает индексирование документов, начинающихся с “/cgi-bin /forum”, которых, скорее всего, не существует (а не документов с префиксами “/cgi-bin” и “/forum”). User-Agent: *

   Disallow: /cgi-bin /forum

2. В строках с полем Disallow записываются не абсолютные, а относительные префиксы. То есть файл: User-Agent: *

   Disallow: www.myhost.ru/cgi-bin

   запрещает, например, индексирование документа

   http://www.myhost.ru/www.myhost.ru/cgi-bin/counter.cgi,

   но НЕ запрещает индексирование документа

   http://www.myhost.ru/cgi-bin/counter.cgi.

   В строках с полем Disallow указываются именно префиксы, а не что-нибудь еще. Так, файл:

3. User-Agent: *

   Disallow: *

   запрещает индексирование документов, начинающихся с символа «* » (которых в природе не существует), и сильно отличается от файла:

   User-Agent: *

   Disallow: /

   который запрещает индексирование всего сайта.

4. Должно помочь еще вот это http://great-world.ru/kak-zapretit-indeksaciyu-sajta-ssylki-koda-s-pomoshhyu-robots-htaccess-metategov/

[Konstantin Nikolaevich 5]

Спасибо, почитаю

[Konstantin Nikolaevich 5]

Я тут посидел подумал... А можно ли вообще убрать страницы сайт.ру/?_lang=ru и сайт.ру/?_lang=en и кнопку тоже??? Сайт продвигать за бугром не собираюсь.

[TopRaN 235]

конечно можно . в файле top_fixed_menu.tpl.html

комментируем в такие кавычки <!--  тут код --> следующий код

<div class="btn-group">

<a class="btn btn-success btn-small dropdown-toggle" data-toggle="dropdown" href="#">{$smarty.session._lang} <span class="caret"></span></a>

<ul class="dropdown-menu">

{foreach item=ln from=$available_langs key=k} {if

$smarty.session._lang eq $k} {else} {/if}

<li><a href="{$smarty.const.SITEBILL_MAIN_URL}/?_lang={$k}">{$ln}</a></li>

{/foreach}

</ul>

</div> 

 

и тогда пропадет кнопка переключения языков.

[Konstantin Nikolaevich 5]

Благодарю

[TopRaN 235]

Я тут посидел подумал... А можно ли вообще убрать страницы сайт.ру/?_lang=ru и сайт.ру/?_lang=en и кнопку тоже??? Сайт продвигать за бугром не собираюсь.

Для меня только что дошло зачем их убирать если можно их не индексировать

rel=”nofollow”

в файле top_fixed_menu.tpl.html ищем <li><a href="{$smarty.const.SITEBILL_MAIN_URL}/?_lang={$k}">{$ln}</a></li> добавляем rel=”nofollow” получаем

<li><a href="{$smarty.const.SITEBILL_MAIN_URL}/?_lang={$k}" rel=”nofollow” >{$ln}</a></li>

Получаем переключение языков + не индексацию _lang=ru ?_lang=en, а точнее не индексацию самой ссылки www.сайт.ру/?_lang=ru

[Chernetskiy 469]

Насколько я помню, здесь вопрос спорный... поисковик все равно проиндексирует вашу ссылку, но оставлять её в индексе или нет, решит сам. Тем более, что в случае с nofollow идет хитрая дележка ТИц вашей страницы - либо он делится с открытой ссылкой, либо он пропадает, если ссылка на странице одна и закрыта, либо переходит к открытой ссылке на странице, и не уходит к закрытым, если ссылок на странице несколько. Таким образом, при наличии единственной ссылки на странице, если вы её закроете, вы потеряете ТИц страницы (или его половину, сейчас точно не помню, Яша на эту тему что-то мудрил).

 

Вот краткая справка по noindex - nofollow:

 

<a href="http://www.example.com" rel="nofollow">Попытка рекламы</a> - не передавать ТИЦ и PR

<noindex>Это предложение не видно Яндексу</noindex> - не индексировать текст (ссылки, слова, и т.п. для Яндекса)

<noindex><a href="http://example.ru" rel="nofollow">анкор</a></noindex>

noindex стоит использовать, чтобы:
•спрятать коды различных счетчиков (liveinternet, rambler100, счетчики тИЦ и PR и т.д.);
•спрятать нехорошее слово или нецензурную речь, хотя «такое» лучше вообще не употреблять;
•спрятать повторяющийся или неуникальный контент (цитата, копипаст и т.д.);
•закрыть от индексации слишком часто или постоянно изменяющийся контент – индексация такой информации бессмысленна;
•не давать Яндексу видеть формы рассылок, подписок на почты и Rss и т.д.;
•не индексировать ненужную информацию в сайдбарах (баннер, лишнюю текстовую информацию).

Но тег ноиндекс не нужен в некоторых случаях.
•Не нужно закрывать от индексации рекламу от Яндекс.Директ, Гугл.Адсенс, Бегун.
•Не стоит помещать внутрь тега внешние или внутренние ссылки — тег на них не работает все равно.
•Нет необходимости помещать в тег noindex ссылки в комментариях на блогах — опять же, он не работает!
 

[Chernetskiy 469]

Вспомнил, гдето наткнулся на статью о новом перераспределении ТИц между ссылками, которое Яндекс ввел на кануне Нового года:

- Половина ТИц страницы распределяется между открытыми ссылками на странице

- Четверть ТИц уходит закрытым ссылкам

 

Закрывать ссылки не всегда есть смысл и втом плане (не ваш случай), что поисковик прибавляет вес странице, в которой имеются упоминания на первоисточник (статьи, книги, материала), таким образом Яндекс передавая вес ссылке, прибавляет вес вашей странице,  по сути вы ничего не теряете, оставляя ссылку открытой.

 

У Гугла в этом плане ситуация еще навороченнее, там более 200 параметров оценки сайта и ссылок в том числе.