Сам файл посмотреть можно так:
http://Сайт/robots.txt
По умолчанию влиять на файл robots.txt нельзя в blogger, можно только разрешить или запретить индексирование блога поисковиками. Также запрещено индексирование ярлыков/меток, во избежание "двойной" индексации. Поисковик экономит время на индексирование, а блоггер теряет индексацию страниц, что не есть справедливо.
Что можно сделать в метатеги (редактор HTML в разделе дизайн):
пишем метатег <*met*a* con*ten*t=ALL' na*me='*robots'/*> (убрав все звездочки в поля метатегов, обычно сразу после head).
Теперь осталось разобраться со ссылками внутри страницы:
тег noindex запрещает поисковой системе Яндекс индексировать содержание внутри (н., часть страницы, которая содержит не подлежащий индексации материал, рекламное сообщение или закрытую информацию).
атрибут nofollow, а точнее запись в теге href вида rel="nofollow", сразу же после url исключает его из индексации Google.
Комментариев нет:
Отправить комментарий