Главная » Блог » Оптимизация » Запрет индексации разделов сайта
21:38

Запрет индексации разделов сайта

Часто бывает нужно что бы некоторые страницы сайта не присутствовали в индексе поисковиков. В основном это служебные страницы - админка, страницы входа и регистрации, профили пользователей. Бывает полезно исключить из индекса ссылки на RSS фиды и части страницы с рекламой.

Что бы закрыть папку или файл сайта нужно прописать в файле роботс что то вроде этого:

User-agent: *
Disallow: /banners/ #запрещена индексация папки
Disallow: /admin.php #запрет индексации страницы
Disallow: /sexphoto.jpg #запрет индексации файла

Но учтите, файл роботс могут посмотреть все. И если у вас имеются какие то секретные файлы, то без дополнительной защиты они будут доступны любому человеку.

Закрыть от индексации отдельную страницу можно прописав в шапке сайта, между <head> и </head> вот такой мета-тег:
<meta name="robots" content="noindex, nofollow">

noindex - запрещает роботу индексировать контент
nofollow - запрет переходить по ссылкам на странице

Но это не значить что робот не будет сканировать документ и смотреть куда ведут ссылки.

На мой взгляд практически бесполезный атрибут тега <a>, rel="nofollow". По ссылке робот ходит и все прекрасно индексирует. А нужен рел-нофолов, что бы запрещать передачу веса тИЦ и PR странице на которую ведет ссылка. При чем вес не сохраняется, а просто сгорает.
Может пригодиться для комментариев, как борьба со спамом.

Тег <noindex> позволяет запретить индексирование части контента на странице, и поддерживается только Яндексом. Что бы код оставался валидным можно поставить этот тег такого вида: <!--noindex-->. Закрывающийся тег <!--/noindex--> обязателен! Если забыть проставить его, вся остальная честь страницы не попадет в индекс Яндекса.
Вебмастера особо не жалуют это тег, хотя сам Яндекс в своих службах его успешно применяет.

Тег Ноиндекс в Яндексе
Желтым отмечены места закрытые тегом noindex.

Делайте выводы.

С уважением admin


Категория: Оптимизация | | Рейтинг: 5.2 из 10 Просмотров: 4117 |

Возможно вас заинтересуют эти материалы:

Как закрыть ссылку от индексации поисковиков
Letitbit закрылся! - Ну и хрен с ним ☠.
LiveInterne
Скрытие реф-ссылок
Микроразметка
Найти текст в файлах на сервере
Плагины Notepad++
Запрет индексации разделов сайта
Где купить фолловеров , лайки, твиты. Раскрутка в социальных сетях
Вирус Эбола в Рунете: потеря трафика с Яндекса от зараженных браузеров
Заработок на видео
Правильно "поделиться ссылкой" в соц.сети
Микроразметка хлебных крошек
Новый раздел сайта
Поделиться
Feedburner
Оплаченная реклама
Рейтинг@Mail.ru
Рейтинг@Mail.ru Valid XHTML 1.0 Transitional Читать @WmZar
Подпишись на RSS

Хостинг от uCoz