Статья для тех, кому лень читать справку по GoogleWebmaster и ЯндексВебмастер
| Закрывание ненужных страниц веб-ресурса от поисковой индексации очень важно для его SEO-оптимизации, особенно на начальном этапе становления сайта или блога «на ноги». Такое действие способствует продвижению в и рекомендовано к применению для служебных страниц. К служебным страницам относятся технические и сервисные страницы, предназначенные исключительно для удобства и обслуживания уже состоявшихся клиентов. Эти страницы с неудобоваримым или дублирующим контентом, который не представляет абсолютно никакой поисковой ценности. Сюда входят - пользовательская переписка, рассылка, статистика, объявления, комментарии, личные данные, пользовательские настройки и т.д. А, также - страницы для сортировки материала (пагинация), обратной связи, правила и инструкции и т.п. |
- Метатег robots
Метатег robots
Для управления поведением поисковых роботов на веб-странице, в существует метатег robots и его атрибут content. закрытия веб-страницы от поисковой индексации,
- Метатег robots
- Почему метатег robots лучше файла robots.txt
Начнем с того, что обозначим разные способы использования noindex и nofollow:
- Тег
- Метатеги и
Тег
Тег
Заблуждение №1. Основная ошибка людей, которые используют этот тег, заключается в убеждении, что если часть какого-либо текста помещена между открывающимся и закрывающимся тегом
Единственное, что данный тег запрещает – это помещение содержимого в индексную базу, но это содержимое в любом случае будет прочитано и проанализировано роботом.
Пример: На странице вашего сайта расположен некоторый текст, использующий прямые вхождения предложений из других сторонних источников. Следовательно, эти предложения снижают уникальность вашего текста, а вам необходимо, чтобы уникальность была 100%. Вы решаете закрыть эти предложения тегом
Абсолютно весь текст вашей страницы будет прочитан и обработан роботом, и ему будет известно, что текст вашей страницы не является уникальным.
Сама суть тега
Предположим, что поисковый робот зашел на вашу страницу и начал сканировать содержимое. В какой-то момент робот находит открытие тега
Для чего же тогда нужен тег
Он нужен непосредственно для того, чтобы запретить роботу выдавать в выдаче своей поисковой системы какую-либо информацию. Это могут быть, к примеру, контакты, которые по каким-либо причинам не должны отображаться в выдаче.
Заблуждение №2. Ещё одно заблуждение, которое часто встречается среди владельцев сайтов, – это мнение, что ссылка, помещенная в тег
На помощь вебмастерам, которым необходимо, чтобы робот всё же не учитывал ссылки со страниц, приходит атрибут , который работает как для Яндекса, так и для Google. При использовании этого атрибута ссылка всё равно будет изучена роботом и по ней будет произведён переход, но без nofollow по ссылке будет передан вес адресату, а с nofollow вес будет сгорать.
Пример 1:
Яндекс не индексирует анкор, но учитывает ссылку на сайт и передает по ней вес
Пример 2:
Яндекс не индексирует анкор и не передает вес по ссылке на сайт
Существует два способа написания тега
1.
2. Текст, запрещённый к индексированию
Второй вариант более верный. Так как тег
Метатеги и
Использование метатега noindex в коде страницы запрещает Яндексу (Google, опять же, в данном случае не участвует) индексировать всё текстовое содержимое страницы, ссылки при этом будут проанализированы в полной мере. То есть наличие в коде страницы этого метатега не равнозначно закрытию страницы от индекса в robots.txt.
Наличие в коде страницы метатега nofollow запрещает поисковым системам индексировать ссылки на страницах. Переходить по ссылкам со страницы при наличии этого метатега роботы также не будут. Но вот что написано в помощи Яндекса :
«Робот не посетит документы, если ссылки на них стоят со страницы, содержащей метатег со значением nofollow, тем не менее, они могут быть проиндексированы, если в других источниках на них указаны ссылки без nofollow»
Подведём итоги
Тег
Если мы хотим, чтобы вес ссылки не передавался адресату, то используем атрибут nofollow. При этом не забываем, что робот всё равно может пройти по ссылке (если информация о ней получена из других источников: карта сайта, ссылки) и проанализирует страницу, на которую она ссылается. Метод работает как для Яндекс, так и для Google.
Nofollow – это атрибут, который прописывается для определенной ссылки или всех ссылок на странице в robots с целью запрета поисковым роботам на переход по ним.
Noindex – это атрибут, который закрывает от текст на странице.
То есть, noindex отвечает за контент в документе и запрет на индексацию его, в то время как nofollow – за ссылку.
Правила применения и зачем нужен nofollow?
Чтобы понять, в каких случаях может вообще пригодиться этот атрибут, рассмотрим, как к нему относятся популярнейшие поисковые системы.
- Яндекс. Когда на вашем ресурсе содержатся разделы, предназначенные специально для обсуждения записей, написания комментариев к статьям или форум, важно следить за тем, какие исходящие ссылки оставляют в них посетители. Желательно каждый комментарий. Благодаря этому владелец сайта сможет предотвратить размещение различных вредоносных ссылок от спамеров. Хотя поисковик и не учитывает их, спам сильно влияет на репутацию веб-ресурса и к нему может быть применен фильтр. В связи с этим следует проверять все комментарии, и если есть какие-то сомнения относительно качества размещаемой ссылки, пропишите для них атрибут rel=”nofollow”. Сейчас, в измененном руководстве Яндекс, данный текст был удален и осталось только правило применения Руководство Яндекс о nofollow
- Google. Если у вашего сайта есть раздел, где пользователи могут комментировать записи, есть большой риск, что в комментариях появятся ссылки на вредоносные страницы. Спамеры «любят» сайты с комментариями без модерации. Атрибут nofollow для спам-ссылок спасет ваш ресурс и сохранит его чистую репутацию в глазах поисковой системы. Если же вы доверяете сайту, на который ссылается посетитель или вы сами ссылаетесь, то нет необходимости прописывать nofollow. Руководство Google о nofollow
Эти сообщения взяты с официальных сайтов поисковиков. Как видите, в Яндекс и Google написаны аналогичные вещи: значение nofollow нужно использовать в тех случаях, когда вы хотите сообщить ботам о недоверии в отношении сайта, на который ведет ссылка.
Рассмотрим более конкретный пример, когда для ссылки требуется прописать запрещающий атрибут:
Материал сомнительного качества. Если вам не нравится содержание страницы, на которую посетитель оставляет ссылку в комментарии, и вы не желаете жертвовать репутацией своего сайта, прописывайте в теги данной ссылки значение rel=”nofollow”. Спамеры, заметив на вашем ресурсе тенденцию, когда к непроверенным ссылкам добавляется блокирующий атрибут, вскоре прекратят попытки навредить сайту. Если же вы видите, что пользователь оставляет ссылку на качественный материал, вручную или автоматически nofollow можно удалить.
Как правильно прописать nofollow?
Это сейчас nofollow позволяет управлять каждой ссылкой отдельно, но когда-то данное значение можно было задействовать только в мета-теге, который закрывал от поисковой системы абсолютно все ссылки на странице. И для запрета перехода по отдельным ссылкам вебмастерам приходилось блокировать их URL в .
Robots Nofollow
Эти мета-теги так и остались по сей день. Если вы хотите закрыть от индексации все ссылки, содержащиеся на определенной странице, то на этой странице нужно прописать такой код:
Важно не путать данный тег с двумя нижеприведенными кодами, content="none" и content=”noindex, nofollow” блокируют доступ ботов ко всей странице, а не только к ее ссылкам. Поэтому, если вы хотите чтобы страницы индексировались, то ни в коем случае не прописывайте для них два вот этих тега:
Выше мы рассмотрели варианты, как запретить переход поисковых роботов по всем ссылкам на страницах. Но еще можно назначить запрет на переход к конкретной ссылке.
Чтобы запретить для индексации и переход робота по ссылке, к ней надо прописать атрибут rel=”nofollow”, в коде это выглядит так:
Утекает ли вес ссылки через nofollow?
Хотя Google в своих заявлениях позиционирует применение атрибута nofollow как переход по ссылке. И это подтвердило обращение бывшего главы компании по борьбе с поисковым спамом, Мэтта Катса. Он заявил, что «Google может учитывать ссылки из социальных сетей, даже несмотря на nofollow» .
А вот с Яндексом вопрос не явный. Он четко пишет в своей документации, что данный атрибут запрещает индексацию таких ссылок.
А если мы перейдем в описание атрибута robots nofollow, то здесь уже видим запрет на переход, и не слово про индексацию.
Но, раньше можно было это проверить, если применить в поиске такую конструкцию url: ваш урл << inlink:(“анкор ссылки”), и Яндекс нам отображал только те страницы, где содержится наш искомый . Сейчас же этот метод не работает, поисковая система Яндекс запретила использовать такую конструкцию в поиске. Поэтому можно с большей долью вероятностью сказать, что Яндекс может учитывать такие ссылки, потому что они появляются в Яндекс Вебмастер.
В целом можно сказать, что применение данного атрибута для поисковых роботов не всегда является запретом, если особенно сайт авторитетный.
Стоит ли закрывать внутренние ссылки в nofollow?
В прошлом, seo оптимизаторы сильно злоупотребляли тем самым манипулирую передаваемым весом внутри сайта. Поэтому поисковая система Google заявила, что все внутренние ссылки отмеченные будут отдавать вес вникуда https://www.mattcutts.com/blog/pagerank-sculpting/ .
Об этом в видео говорит бывший руководитель поиска в Google. Видео на английском, поэтому включите русские субтитры.
Атрибут noindex: что это и чем отличается от nofollow?
Многие начинающие вебмастера ломают голову, не понимая, чем noindex отличается от nofollow. Все просто:
- nofollow - применяется к ссылкам
- noindex - применяется к тексту
Если вы хотите запретить текст на всей странице сайта для индексации, но при этом учитывать ссылки, на странице нужно прописать следующий код:
Если вы хотите закрыть часть текста, то в Google нет такого атрибута, но в Яндексе это возможно. Тег noindex был внедрен поисковиком Яндекс, так как раньше он не понимал nofollow, а ненужные ссылки нужно было как-то закрывать от роботов.
Но в 2010 году поисковая система начала работать с атрибутом rel=”nofollow”, при этом noindex не исчез, а остался отвечать за скрытие текста. Теперь, если вы хотите закрыть от индексации текст или например анкор ссылки, пропишите команду:
Например это удобно было, когда Яндекс ввел новый алгоритм , который накладывал санкции за seo тексты. Стоило закрыть портянки текста в noindex, и можно было выйти из под этого фильтра, причем не потерять позиции в Google, так как поисковая система Google не учитывает тег .
Выводы
Nofollow отвечает за переход поисковых систем по этим ссылкам, как на всей странице, так и для определенной ссылки. Ранее noindex тоже выполнял аналогичную функцию, но только по отношению к Яндексу, который со временем начал понимать nofollow, в результате чего значением noindex начали закрывать от индексации контент на странице.
Владелец сайта должен грамотно использовать атрибут nofollow и понимать, в каких именно случаях это делать:
- Когда ссылка ведет на веб-ресурсы с некачественным контентом.
- Когда вы размещаете на странице коммерческий контент.
Главная задача использования nofollow - помочь указать приоритетные для сканирования ссылки, разделить продающие статьи от информационных, а также защитить сайт от спама, который, если не контролировать, может привести к снижению ранжирования или куда хуже, вылету ресурса из индекса.
Для всех других ситуаций можете смело применять , открытые для поисковых роботов. Репутация сайта ничуть не ухудшится, а даже улучшится, если вы будете оставлять ссылки на полезные для вашей целевой аудитории страницы. И никакой вес ваши документы не потеряют, а наоборот даже могут приобрести за счет
Тег noindex и атрибут nofollow – это различные элементы, использующиеся в коде страницы. Они предназначены для различных целей и применяются по-разному, но для лучшего понимания их стоит рассматривать вместе.
Noindex применяется для того, чтобы сообщить роботу «Яндекса» о том, что нельзя индексировать определенные части веб-страницы. Тег размещается в HTML-коде и имеет закрывающий тег. Контент, оказавшийся между открывающим и закрывающим тегами, будет игнорироваться ботом.
Тег noindex был придуман «Яндексом», и в настоящее время только два поисковика учитывают его: «Яндекс» и «Рамблер». Боты других поисковых систем игнорируют тег и все равно индексируют всю веб-страницу полностью. Кроме того, тег не может запретить индексировать гиперссылки и передавать по ним вес другому веб-ресурсу.
Валидность
Тег
«Текст, который не должен индексироваться Яндексом»
Восклицательные знаки и дефисы применяются для валидации кода. Если не использовать эти символы (а писать без них, как это бывает с обычными тегами), то проверка на валидность будет показывать ошибку.
При верном использовании этого тега страница будет правильно восприниматься «Яндексом», Google и другими поисковыми роботами. При этом «Яндекс» поймет, что часть контента надо исключить из индексации, а Google сделает вывод, что в коде нет ошибок, и будет индексировать полностью. У поисковой системы «Гугл» нет аналогичного тега, несмотря на то, что у такого элемента есть много плюсов.
Когда применяется noindex
Этот тег приносит неоспоримую пользу веб-ресурсу. Его применяют, когда надо:
скрыть от ботов часть HTML-кода, например коды счетчиков;
запретить индексировать часто меняющийся текст веб-страницы, который бессмысленно добавлять в индекс;
скрыть неуникальные фрагменты текста, чтобы не терять позиции в поисковой выдаче из-за неуникальности.
Nofollow – это не тег, а атрибут, использующийся в теге гиперссылки . Этот атрибут, понятный для всех поисковых роботов, используется для того, чтобы запретить переходить по ссылке и передавать вес по ней.
В коде это выглядит так:
Этот атрибут стандартизирован в HTML, поэтому все поисковые боты правильно воспринимают его и выполняют инструкции: не переходят и не передают вес. При этом ссылка не становится невидимой.
Когда применяется nofollow
Существует много ситуаций, в которых этот атрибут незаменим. Nofollow используется, когда требуется:
запретить передачу веса на веб-ресурс, который поисковики считают некачественным;
управлять количеством ссылок, которые должны учитываться поисковыми системами;
не допустить передачу веса по множеству ссылок в комментариях.
При использовании nofollow нужно знать меру, потому что сайты, на которых все ссылки закрыты с помощью этого атрибута, не вызывают доверия у поисковиков.
Теги noindex и nofollow могут применяться в качестве значения для атрибута content. Это нужно для того, чтобы в метатеге robots дать указание роботам, что на данной странице не нужно ничего индексировать или переходить по ссылкам, размещенным на ней.
Таким образом, применение nofollow или noindex зависит от целей, которых нужно достичь. В качестве таких целей может быть необходимость скрыть часть текста, ссылки или запретить индексировать всю страницу. При этом noindex работает только для «Яндекса», а nofollow – для всех поисковиков.
Noindex является тегом, а nofollow – атрибутом тега . Noindex используется для того, чтобы запретить индексацию контента, а nofollow предназначен для запрета перехода по ссылке и передачи веса.
Тег НоуИндекс и Яндекс
Иногда, при внесении каких-то технических изменений на сайте или продолжительном ведении блога, появляются материалы и куски кода, которые могут навредить . В данной статье коснусь, прежде всего, Яндекса и опишу его «специфический» HTML-тег noindex .
В чём вообще здесь суть? Как известно, необходимо учитывать следующее:
- материал (прежде всего, текст) отдельной страницы должен быть уникальным
- и должен соответствовать какому-либо ключевому слову (запросу), под которое эта страница SEO-оптимизируется.
Но если имеются (или появляются со временем) тексты или коды, негативно влияющие на эти 2 пункта, то продвижение может ухудшиться.
Что это конкретно и как влияет?
Что это
Здесь может быть много всего:
- куски неуникального текста, взятые вами с чужого сайта и вставленные в вашу уникальную (изначально) статью,
- обилие кодов рекламы — тизеры, баннеры, и другая,
- множество JavaScript-скриптов и кодов flash-приложений,
- разные блоки ссылок в сайдбаре вроде «наши друзья»,
- куча ,
- и др.
Как влияет
Исходя из двух пунктов списка, указанных в начале статьи, влияет это так:
- происходит «разбавление» плотности .
Поэтому неплохо бы закрыть все лишние части материалов от индексации поисковыми роботами.
Тег Noindex Яндекса и скрытие кода от его роботов
К сожалению (а может, и нет), закрыть от индексации отдельные участки HTML-кода позволяет лишь Yandex. Возможно, со временем Google и Bing также предложат что-нибудь аналогичное. А может, их разработчики просто не считают это необходимостью.
В общем, тега noindex в Google нет! — особо указываю на это из-за того, что в Сети полно разговоров по данному поводу. Зато поисковик Гугл позволяет скрывать всю страницу от роботов через , а также стандартными средствами — как и остальные ПС:
Использование Noindex в Яндексе
Пользоваться им не сложнее, чем любым другим HTML-тегом. Обычно выглядит всё так:
Возможен и альтернативный вариант — тег ноиндекс в виде стандартного HTML-комментария. Вот, к примеру, как можно скрыть контекст от AdSense:
AdSense «завёрнут» в noindex tag
— т.е. всё то же самое, но добавляем указание на то, что это комментарий. На мой взгляд, такой вариант предпочтительней.
Кстати, чтобы узнать, где на веб-странице расставлены блоки тегов ноуиндекс, можно поставить:
Они будут буквально «подсвечивать» участки кода, «завёрнутые» в этот тег. Правда, RDS bar иногда не подсвечивает вариант в формате комментария — noindex.
Когда использовать?
Как и писал выше, noindex в Яндекс нужен для скрытия ненужных кусков кода, чтобы не уменьшалась уникальность текстов и релевантность статей запросам . Будет вполне логично, если возникнет мысль закрыть всё-всё, кроме текста оптимизированной статьи в тег ноиндекс — включая в верхнем меню, шапку сайта, комментарии и прочее.
На самом деле, так разгоняться не стоит . На это есть две причины:
- Подобные манипуляции (если переборщить) могут быть расценены Яндексом .
- Роботы современных ПС способны различать, где, например, находится блок со статьёй, а где — комментарии к ней. Yandex тоже может — где-то 10 месяцев назад я у них это лично выяснил, т.к. планировал позакрывать все блоки с комментариями в Noindex.
С комментариями получается довольно интересно — поисковикам нравится обилие комментариев , т.к. это свидетельствует о . Поэтому не надо переживать, что тексты комментаторов уменьшат релевантность статьи запросу — лучше подумать об их .
Также, на мой взгляд, лучше закрыть блоки AdSense от «глаз» Яндекса (как и любые другие рекламные коды) — чтобы этот поисковик не посчитал ваш сайт «слишком» рекламным и не применил . НО оставить открытыми .
Смысл в том, что в РСЯ принимаются только качественные ресурсы с точки зрения Яндекса , поэтому наличие данной рекламы может намекнуть этой ПС о «качественности» вашего проекта и повысить такую абстрактную характеристику, .
Noindex и закрытие внешних ссылок
Одно время (когда Yandex не поддерживал nofollow ), нежелательные приходилось «заворачивать» в noindex и дополнительно приписывать к тегу ссылки rel=’nofollow’, т.е. весь код закрываемой ссылки мог выглядеть так:
Закрытие ссылок в Яндекс через ноуиндекс
Теперь данная ПС поддерживает nofollow и можно обойтись без «заворчивания» ссылки в «noindex» и пользоваться стандартным приёмом с nofollow. Подробнее про атрибут Rel=nofollow читайте .
Кажется, это всё, что можно рассказать про тег Noindex и Яндекс. Имейте всё это в виду и используйте грамотно
