Главная > CMS | SEO | Wordpress > WordPress, robots.txt и левые ссылки в выдаче

WordPress, robots.txt и левые ссылки в выдаче

16.03.2012 0 коммент. » Просмотры: 1 908
 

Сегодня решил посмотреть все ли страницы этого блога индексируются. И заметил что в индексе гугла,  было кроме нужных страниц еще куча страничек с именем: session error.. Что же это за зверь подумал я..

Выдача гугла

 

Разумеется, я увидел, что эти странички генерирует плагин wp-notcaptcha ( о проблемах с которым я кстати недавно писал: WordPress: admin-ajax.php сильно грузит сервер ). Пошел по указанной гуглом ссылке, там оказались картинки, которые генерирует этот плагин. Разумеется, юзерам, эта выдача будет абсолютно не нужна в серпе.

Серп - результаты поиска (от англ. SERP — Search Engine Results Page)

Тогда я решил заблокировать, их через robots.txt, а заодно и всякие другие адреса, по которым поисковикам ходить не нужно. В итоге у меня получился вот такой файлик:

Как Вы видите, первой строчкой идет поисковик YandexBlog, этот поисковик собирает только фиды, именно поэтому я ему разрешил все, чтобы не писать кучу правил. Так просто короче.

Ну, а всем остальным, запретил то, что им не важно. У меня есть сомнения по поводу страниц категорий, архивов и тэгов, поэтому я пока их закомментировал. Так сказать, подготовил на будущее, если это будет необходимо. Вот собственно и всё.

Дальше я этот текст, скопировал в файлик: htpp://www.it-rem.ru/robots.txt и все что мне осталось, это сделать проверку его корректной обработки. Для этого я воспользовался чекером от Янедкса: Я.Вебмастер - Анализ robots.txt

Там все просто, указываете адрес файла, нажимаете [Загрузить], добавляете url страниц которые хотите проверить, и нажимаете кнопку [Проверить]. Результатом работы будет сообщение о том какие страницы открыты для индексации, а какие закрыты.

Анализатор robots.txt от Яндекс

Автор: | Теги: , ,

Важно

У нас заработал ФОРУМ. Все вопросы, которые не касаются статьи, а так же вопросы по конкретно вашему случаю нужно задавать и обсуждать именно там, в разделе "Помощь пользователям".

Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *

Разрешены HTML-теги: <a>, <code>, <i>, <em>, <strong>, <b>, <u>, <strike>