Как закрыть ссылки и тексты от поисковых систем — SEO на vc.ru
{«id»:13948,»url»:»\/distributions\/13948\/click?bit=1&hash=a2b3bf66230fc864f44ab9690d6ae0b1190d915ab48024c332567614238d58bd»,»title»:»\u0412\u044b\u0432\u0435\u0441\u0442\u0438 \u0441\u0442\u0430\u0440\u0442\u0430\u043f \u043d\u0430 \u0437\u0430\u0440\u0443\u0431\u0435\u0436\u043d\u044b\u0435 \u0440\u044b\u043d\u043a\u0438″,»buttonText»:»\u041a\u0430\u043a?»,»imageUuid»:»8380e951-1880-5d31-9da0-c95687d7de5f»,»isPaidAndBannersEnabled»:false}
SEO
SEO блиц
Встречаются такие ситуации, когда требуется закрыть контент от индексации. Это может быть:
16 892 просмотров
- неуникальный контент;
- шаблонный текст, встречающийся на всех страницах сайта;
- ссылки на сторонние ресурсы.
Ссылки (внешние и внутренние)
Закрывать от поисковых систем внешние ссылки необходимо, если вы не хотите, чтобы страница, имеющая ссылку, теряла свой вес.
Это может происходить следующим образом:
- Удалением внешних ссылок. Рекомендуется убирать внешние ссылки на сторонние ресурсы.
- Если удалить ссылку нет возможности, то необходимо скрыть ссылку от индексации посредством скрипта так, чтобы в исходном коде страницы не было <a href=»» …></a>, а блок выводился в виде: <div></div>. Далее при формировании страницы скриптом выводилось содержимое данного блока в виде ссылок и прочего. Сам скрипт требуется закрыть от индексации в файле robots.txt.
- Добавлением атрибута rel=»nofollow». Необходимо прописать атрибут rel=»nofollow» для внешней ссылки (<a href=»» rel=»nofollow» target=»_blank»>текст ссылки</a>).
Помимо внешних ссылок, аналогичное рекомендуют проводить с внутренними ссылками вида добавить в корзину, вход, авторизация, фильтр, сбросить фильтр и т.
д. (для всех элементов, которые сверстаны ссылками <a href>, но при этом не ведут на реальные страницы).
Текст
Если у вас на сайте используется большое количество неуникального или дублирующегося контента, то его необходимо скрыть от индексации.
Это можно сделать двумя способами:
- выделить кусок необходимого текста с помощью тега <!—noindex—>…<!—/noindex—>
- прописать мета-тег <meta name=»robots» content=»noindex»/> странице.
Важно
Если вы прописали мета-тег <meta name=»robots» content=»noindex»/>, то ссылки на странице все будут доступны для поисковых систем и роботы будут переходить по ним. Поэтому необходимо добавить атрибут nofollow, если хотите полностью запретить индексацию страницы. Выглядеть это может следующим образом: <meta name=»robots» content=»noindex, nofollow»/> или <meta name=»robots» content=»none»/>.
Ждите новые заметки в блоге или ищите на нашем сайте.
Закрытие индексации ссылок — SEO своими руками
Исходящие ссылки
Исходящими называются ссылки, которые ведут с сайта на другие (сторонние) сайты.
Учитывать исходящие ссылки важно, как на собственном сайте, так и на сайтах-донорах, с которых выполняется покупка ссылок. Дело в том, что по внешним ссылкам уходит придаваемый странице поисковыми системами вес. Соответственно, чем больше на странице-доноре ссылок, тем меньший вес имеет каждая их них.
То есть, ссылки, купленные на заспамленных сайтах с больших количеством исходящих ссылок практически бесполезны, а вот купленные с сайтов, где число исходящих минимально – имеют существенный вес.
При покупке ссылок на различных биржах необходимо обращать внимание на число исходящих ссылок, как правило, оно указывается в параметрах сайта, в других случаях количество число исходящих ссылок можно указать, создавая фильтр для поиска площадок.
Следить за исходящими ссылками необходимо и на продвигаемом сайте, если на нем будет слишком много исходящих, то продвинуть его будет достаточно сложно.
Для достижения максимального эффекта нужно по возможности сократить число исходящих ссылок до нуля, а если такой возможности нет, то необходимо закрыть имеющиеся ссылки от индексации.
Делается это следующим образом, в ссылке прописывается специальный атрибут, видя который, поисковые системы Яндекс и Google перестают учитывать ссылку, как исходящую.
<a href=»http://site.ru» rel=»nofollow»>анкор ссылки</a>
Важно! Закрытие исходящих ссылок от индексации еще не дает права использовать их в неограниченном количестве. Число ссылок должно быть минимальным и они должны быть закрыты от индексации. Оставлять открытыми для индексации можно только ссылки, ведущие на высокотрастовые сайты схожей или общей тематики.
Примечание:
Ссылки в счетчиках статистики поисковыми системами не учитываются, если они выводятся с использованием JavaScript, соответственно закрывать такие ссылки от индексации не имеет смысла.
Пример:
<!—LiveInternet counter—><script type=»text/javascript»><!—document.
«target=_blank><img src=’//counter.yadro.ru/hit?t57.11;r»+
escape(document.referrer)+((typeof(screen)==»undefined»)?»»:
«;s»+screen.width+»*»+screen.height+»*»+(screen.colorDepth?
screen.colorDepth:screen.pixelDepth))+»;u»+escape(document.URL)+
«;»+Math.random()+
«‘ alt=» title=’LiveInternet’ «+
«border=’0′ width=’88’ height=’31’><\/a>»)
//—></script><!—/LiveInternet—>
write(«<a href=’http://www.liveinternet.ru/click’ «+Если счетчики или другие информеры выводятся через HTML, то ссылки в них стоит закрыть с помощью атрибута rel=»nofollow». Также можно закрыть от индексации весь код счетчиков и информеров, используя специальные теги, в частности <noindex></noindex>, либо <!—noindex—> <!—/noindex—>.
Данные теги должны устанавливаться в начале и в конце закрываемого от индексации элемента страницы. Использовать нужно какой-то один из тегов (желательно второй).
Стоит отметить, что поисковые системы иногда учитывают ссылки, размещенные в теге noindex, поэтому использование атрибута rel=»nofollow» является более практичным.
Закрытие ссылок от индексации
Как мы уже отметили выше, исходящие внешние ссылки, ведущие на сторонние сайты нужно закрывать от индексации. Однако необходимо не злоупотреблять запретом индексации, так как это может насторожить поисковые системы (на нормальном сайте не может быть массы закрытых от индексации ссылок).
Для этого нужно минимизировать количество внешних ссылок. Если же вы разместите на странице двадцать ссылок на другие сайты и все их закроете от индексации, то вероятно, поисковые системы все равно пессимизируют страницу.
Закрывать от индексации стоит и внутренние ссылки, если они дублируются на странице. В частности это касается дублирующихся меню, которые часто используются на сайтах для повышения юзабилити.
Представьте сайт, где сверху расположено меню с навигацией, а снизу его точная копия.
Такое расположение позволит пользователям сайта после прочтения статьи переходить на другую страницу, не используя прокрутку, чтобы добраться до верхнего меню. Согласитесь — это удобно! Но получаются дублированные ссылки, пессимизирующие страницу и сайт в целом. Избавиться от них очень просто, ссылки в нижнем дублирующемся меню нужно закрыть от индексации, используя атрибут rel=»nofolow».
Как закрывать страницы от indexind и когда это необходимо 03
Содержание сайта должно быть информативным и полезным для пользователя, и соответствующие страницы должны быть открыты для поискового сканирования. Однако бывают случаи, когда индексация страницы нежелательна и может снизить эффект от оптимизации.
Причины закрытия страниц от индексации
Владелец сайта желает, чтобы потенциальный клиент нашел его веб-ресурс в результатах поиска, а поисковая система, в свою очередь, готова предоставить пользователю ценную и актуальную информацию.
Только те страницы, которые имеют смысл в результатах поиска, должны быть открыты для индексации.
Рассмотрим причины, по которым следует убрать индексацию с сайта или отдельных страниц:
Контент не несет смысловой нагрузки для поисковой системы и пользователей или вводит их в заблуждение
Такой контент может включать технические и административные сайты страницы, а также информацию о личных данных. Кроме того, некоторые страницы могут создавать иллюзию дублирования контента, что является нарушением и может привести к штрафным санкциям на всем ресурсе.
Нерациональное использование краулингового бюджета
Краулинговый бюджет — это определенное количество страниц сайта, которое может просканировать поисковая система. Мы заинтересованы в том, чтобы тратить ресурсы сервера только на ценные и качественные страницы. Чтобы быстро и эффективно проиндексировать важный контент ресурса, нужно закрыть ненужный контент от сканирования.
Какие страницы нужно убрать из индексации
Страницы сайта в разработке
Если проект еще в разработке, лучше закрыть сайт от поисковых систем. Рекомендуется разрешить доступ для обхода полных и оптимизированных страниц, которые рекомендуется отображать в результатах поиска. При разработке сайта на тестовом сервере следует ограничить доступ к нему с помощью файла robots.txt, без индекса и пароля.
Копии сайта
При настройке копии сайта важно правильно указать зеркало с помощью 301 редиректа или атрибута rel=»canonical», чтобы сохранить рейтинг существующего ресурса и сообщить поисковой системе: где исходный сайт и где его клон. Скрывать рабочий ресурс от индексации крайне нежелательно. Тем самым вы рискуете сбросить возраст сайта и приобретенную репутацию.
Печатные страницы
Распечатанные страницы могут быть полезны посетителю.
Необходимая информация может быть распечатана в адаптированном текстовом формате: статья, информация о продукте, схема расположения компании.
По сути, распечатанная страница является копией своей основной версии. Если эта страница открыта для индексации, поисковый робот может выбрать ее в качестве приоритетной и посчитать более релевантной. Чтобы правильно оптимизировать веб-сайт с большим количеством страниц, вы должны удалить проиндексированные страницы для печати.
Для закрытия ссылки на документ можно использовать вывод контента с помощью AJAX, закрыть страницы с помощью метатега или закрыть все проиндексированные страницы от индексации в robots.txt.
Лишние документы
Помимо страниц с основным содержанием, на сайте могут быть доступны для чтения и скачивания документы PDF, DOC, XLS. Наряду со страницами в результатах поиска можно увидеть заголовки pdf-файлов.
Возможно, содержимое этих файлов не соответствует потребностям целевой аудитории сайта. Либо документы появляются в результатах поиска над html страницами сайта. В этом случае индексация документов нежелательна, и их лучше закрыть от сканирования в файле robots.txt.
Пользовательские формы и элементы
Сюда входят все страницы, полезные для клиентов, но не несущие информационной ценности для других пользователей и, как следствие, поисковых систем. Это может быть форма регистрации и заявки, корзина, личный кабинет. Доступ к таким страницам должен быть ограничен.
Технические данные веб-сайта
Технические страницы предназначены только для официального использования администратором. Например, форма входа в панель управления.
Личная информация о клиенте
Эти данные могут содержать не только имя и фамилию зарегистрированного пользователя, но и контактную и платежную информацию, сохраненную после оформления заказа.
Эта информация должна быть защищена от просмотра.
Сортировка страниц
Структурные особенности этих страниц делают их похожими. Чтобы снизить риск санкций со стороны поисковых систем за дублированный контент, рекомендуем убрать их из индексации.
Страницы
Хотя эти страницы частично дублируют содержание главной страницы, удалять их из индексации не рекомендуется; вместо этого нужно установить атрибут rel=»canonical», атрибуты rel=»prev» и rel=»next», указать, какие параметры разбивают страницы в разделе «URL-параметры» в Google Search Console, или намеренно оптимизировать их.
Как закрыть страницы от индексации
Метатег robots со значением noindex в html файле
Если в html-коде страницы есть атрибут noindex, это сигнал для поисковой системы не индексировать ее в результаты поиска. Чтобы использовать метатеги, вам нужно добавить в заголовок
соответствующего html-документа.
При использовании этого метода страница будет закрыта для сканирования, даже если на нее есть внешние ссылки.
Чтобы закрыть от индексации текст (или отдельный фрагмент текста), а не всю страницу, используйте html-тег: .
Файл robots.txt
Вы можете заблокировать доступ ко всем выбранным страницам в этом документе или запретить поисковым системам индексировать веб-сайт.
Ограничить индексацию страниц через файл robots.txt можно следующим образом:
Агент пользователя: * #название поисковой системы Disallow: /catalog/ #частичный или полный URL страницы для закрытия
Для эффективного использования этого метода следует проверить наличие внешних ссылок на раздел сайта, который вы хотите скрыть, а также изменить все внутренние ссылки, ведущие на него.
Файл конфигурации .htaccess
С помощью этого документа вы можете ограничить доступ к сайту с помощью пароля.
Тип аутентификации Базовый AuthName "Область, защищенная паролем" AuthUserFile путь к файлу с паролем Require valid-user
Удаление URL-адресов через Webmaster Services
В Google Search Console вы можете удалить страницу из результатов поиска, указав URL-адрес в специальной форме и указав причину, по которой его необходимо удалить. Эта опция доступна в разделе Google Index. Обработка запроса может занять некоторое время.
Вывод
Управление индексами — важный шаг SEO. Он должен не только оптимизировать эффективность страниц для трафика, но и скрывать контент, который не имеет никакой пользы для индексации.
Ограничение доступа к определенным страницам и документам сэкономит ресурсы поисковых систем и ускорит индексацию всего сайта.
Эта статья является частью контрольного списка Serpstat.0003
Контрольный список — это готовый список дел, который помогает вести отчеты о ходе работы над конкретным проектом. Инструмент содержит шаблоны с обширным списком параметров разработки проекта, куда вы также можете добавить свои элементы и планы.
| Попробуйте Контрольный список сейчас |
Ускорьте рост вашего поискового маркетинга с Serpstat!
Возможности ключевых слов и обратных ссылок, онлайн-стратегия конкурентов, ежедневный рейтинг и вопросы, связанные с SEO.
Пакет инструментов для сокращения времени на SEO-задачи.
Получить бесплатную 7-дневную пробную версию
Оцените статью по пятибалльной шкале
Статью уже оценили в среднем 1 человек 2 из 5
Нашли ошибку? Выберите его и нажмите Ctrl + Enter, чтобы сообщить нам.
Инструмент определения сложности ключевых слов
Будьте впереди конкурентов и доминируйте в своей нише с помощью нашего инструмента определения сложности ключевых слов
Проверка страницы на предмет SEO
Проверка SEO на странице — выявляйте технические проблемы, оптимизируйте и привлекайте больше трафика на ваш сайт
Рекомендуемые посты
How-to
Денис Кондак
Какая информация должна быть на сайте интернет-магазина
How-to
Денис Кондак
Что такое метатег Viewport и как им пользоваться
How-to
Денис Кондак
Сколько внешних ссылок можно разместить на странице
Кейсы, лайфхаки, исследования и полезные статьи
Нет времени следить за новостями? Не беспокойся! Наш редактор подберет статьи, которые обязательно помогут вам в работе.
Присоединяйтесь к нашему уютному сообществу 🙂
Нажимая на кнопку, вы соглашаетесь с нашей политикой конфиденциальности.
Поделитесь этой статьей с друзьями
Вы уверены?
Спасибо, мы сохранили ваши новые настройки рассылки.
Сообщить об ошибке
Отмена
seo — Предотвращение индексации и перехода по ссылке на странице
Задавать вопрос
спросил
Изменено 7 лет, 2 месяца назад
Просмотрено 2к раз
Я прочитал сообщение о том, как значение nofollow влияет на сканеры/индексирование. Однако информация из ответов на посты заканчивается 2012 годом.
В моем случае есть страница с файлом, которая индексируется Google.
Однако на этой странице есть ссылка для скачивания (оканчивающаяся на ?download ). Я не уверен, была ли ссылка индексной, но мне бы очень хотелось знать следующее: как сделать так, чтобы ссылка на странице не индексировалась и не переходила по ней?
Использовать файл robots.txt и передавать что-то подобное? —
Запретить: /*?download$
Или просто указать rel="nofollow" в ссылке для скачивания?
Кроме того, что мне делать с потенциально уже проиндексированными ссылками для скачивания?
Спасибо!
ОБНОВЛЕНИЕ:
Согласно документам Google nofollow :
В общем, мы за ними не следим. Это означает, что Google не передавать PageRank или анкорный текст по этим ссылкам. По сути, использование nofollow приводит к тому, что мы удаляем целевые ссылки из нашего общего график сети. Однако целевые страницы могут по-прежнему отображаться в нашем индексировать, если другие сайты ссылаются на них без использования nofollow, или если URL-адреса передаются в Google в файле Sitemap.
Итак, я полагаю, что заявление о том, что «страницы все еще могут появляться в нашем индексе» предполагает, что ссылки, использующие nofollow , обычно не индексируются — за исключениями, упомянутыми в документах.
Я думаю, что это все решает, но если у кого-то есть дополнительная информация, подтверждающая это, добро пожаловать.
- SEO
- google-search-console
- поисковые роботы
- гиперссылка
2
Если вы действительно хотите, чтобы ссылка не индексировалась и не переходила по ней, вы можете сделать следующее:
Если вы используете язык сценариев на стороне сервера или имеете достаточный доступ к Apache, измените код так, чтобы страница, которая не будет индексироваться, имела прикрепленный к ней код состояния HTTP 410, что означает, что страница исчезла навсегда. . Это фактически приведет к удалению предыдущей страницы из индекса Google.
В HTML между
Теперь, что касается любых секретных страниц, которые вы хотите сделать в будущем, я предлагаю сделать форму, но с методом POST вместо GET, и со следующим типом кода: