Где лежит robots txt wordpress: robots.txt wordpress: , | CityHost — Вебджем.рф

Содержание

Розробка та Створення Сайтів | Веб Cтудія ESFIRUM

Esfirum

Довічна гарантія на наші сайти

Професійна розробка сайтів, створення унікально веб-дизайну, розробка мобільних додатків, інтернет-маркетинг (контекстна реклама, SEO, SMM).
Ви отримаєте сайт, який на 100% сподобається вам і вашим клієнтам!

Отримати консультацію

Esfirum

Studio

Наша веб-студія 5 років спеціалізується на розробці сайтів, мобільних додатків та інтернет-маркетингу. Створимо сайт виходячи з ваших потреб та побажань.

UI/UX дизайн сайтів

Детальніше

Наш унікальний веб-дизайн, з правильною архітектурою, допоможе не тільки залучати та утримувати відвідувачів на сайті, але й продавати більшу кількість продуктів. Ваш бізнес стане більш конкурентоспроможним та прибутковим.

Розробка сайтів

Детальніше

Створення веб-сайтів з інтеграцією в CMS WordPress.

У роботі ми не використовуємо шаблони й темплейти. Завдяки цьому ваш сайт отримає високу швидкість завантаження та його легко можна буде просувати в пошукових системах.

Розробка додатків

Детальніше

Сьогодні мобільні пристрої використовують 80% людей по всьому світу. Ми надаємо послуги з розробки гібридних мобільних додатків для iOS і Android. Ви зможете взаємодіяти зі своїми клієнтами на їх улюблених мобільних пристроях.

Інтернет-маркетинг

Детальніше

Пошукове просування (SEO), SMM, контекстна реклама в Google Ads — напрямки в яких наша команда є експертами. Ми допоможемо вам залучити відвідувачів і клієнтів на сайт, збільшити продажі та поліпшити впізнаваність вашого бренду.

Переваги для клієнтів

Ставши клієнтом нашої веб-студії ви отримуєте не просто надійного партнера, а й додаткові, безкоштовні послуги від нашої команди

Отримати консультацію

Довічна гарантія

Довічна гарантія на наші сайти.
Ми перша веб-студія, яка дає довічну гарантію на свої веб-сайти. Ми впевнені в нашому продукті!

Домен і хостинг

Безкоштовно отримуєте домен і хостинг на 1 рік. Домен в будь-якій доменній зоні. Розміщення сайту на хостингу веб-студії Esfirum. Перенесення сайту в подарунок!

Сертифікат безпеки (SSL)

Безкоштовно надаємо сертифікат безпеки (SSL) для вашого сайту. На 40% підвищує довіру користувачів до сайту.

Підтримка сайту 24/7

Безкоштовна підтримка вашого сайту протягом 4 місяців. Це дозволить робити косметичні зміни на сайті, змінювати кольори, картинки, шрифти.

Наші технології

Ми експерти в веб-технологіях, яких достатньо для створення повного і максимально функціонального веб-сайту для вашого бізнесу.

Наші нагороди

Our experience is backed by the awards we have received

Нагороди Honourable Mention и Mobile Excellence від авторитетного порталу Awwwards

ТОП-5 серед веб-студій Львова за версією порталу CMS-Magazine

2-е місце серед веб-студій м. Львова, за версією порталу IT-Rating

ТОП-10 серед PHP розробників за версією порталу Design Drizzle

Наша веб-студія на порталі goodfirms.com

Наша веб-студия на портале wadline.ru

Наша компанія є офіційним партнером модуля бронювання для готелів — Smart Planet

Наша гордість

Найкращі роботи

Дивитись все

клієнти про нас

Відгуки

Правильный robots txt для WordPress сайта – инструкция на 2023 год без плагинов

Содержание

Для чего нужен robots.txt
Где лежит файл robots в WordPress
Как создать правильный robots txt
Настройка команд
Рабочий пример инструкций для WordPress
Как проверить работу robots.txt
Плагин–генератор Virtual Robots.txt
Добавить с помощью Yoast SEO
Изменить модулем в All in One SEO
Правильная настройка для плагина WooCommerce
Итог

Для чего нужен robots.txt

Robots.txt создан для регулирования поведения поисковых роботов на сайтах, а именно куда им заходить можно и брать в поиск, а куда нельзя. Лет 10 назад сила данного файла была велика, по его правилам работали все поисковые системы, но сейчас он скорее как рекомендация, чем правило.

Но пока не отменили, вебмастера должны делать его и настраивать правильно исходя из структуры и иерархии сайтов. Отдельная тема это WordPress, потому что CMS содержит множество элементов, которые не нужно сканировать и отдавать в индекс. Разберемся как правильно составить robots.txt

Где лежит файл robots в WordPress

На любом из ресурсов robots.txt должен лежать в корневой папке. В случае с вордпресс, там где находится папка wp-admin и ей подобные.

Расположение на сервере

Если не создавался и не загружался администратором сайта, то по умолчанию на сервере не найти. Стандартная сборка WordPress не предусматривает наличие такого объекта.

Как создать правильный robots txt

Создать правильный robots txt задача не трудная, сложнее прописать в нем правильные директивы. Сначала создадим документ, открываем программу блокнот и нажимаем сохранить как.

Сохраняем документ

В следующем окне задаем название robots, оставляем расширение txt, кодировку ANSI и нажимаем сохранить. Объект появится в папке куда произошло сохранение. Пока документ пустой и ничего не содержит в себе, давайте разберемся какие именно директивы он может поддерживать.

При желании можете сразу скачать его на сервер в корень через программу FileZilla.

Сохранение роботса

Настройка команд

Выделю четыре основные команды:

User-agent: показывает правила для разных поисковых роботов, либо для всех, либо для отдельных
Disalow: запрещает доступ
Allow: разрешаем доступ
Sitemap: адрес до XML карты

Устаревшие и ненужные конфигурации:

Host: указывает главное зеркало, стало не нужным, потому что поиск сам определит правильный вариант
Crawl-delay: ограничивает время на пребывание робота на странице, сейчас сервера мощные и беспокоится о производительности не нужно
Clean-param: ограничивает загрузку дублирующегося контента, прописать можно, но толку не будет, поисковик проиндексирует все, что есть на сайте и возьмет по–максимому страниц

Рабочий пример инструкций для WordPress

Дело в том что поисковой робот не любит запрещающие директивы, и все равно возьмет в оборот, что ему нужно.

Запрет на индексацию должен быть объектов, которые 100% не должны быть в поиске и в базе Яндекса и Гугла. Данный рабочий пример кода помещаем в robots txt.

User-agent: *
Disallow: /wp-
Disallow: /tag/
Disallow: */trackback
Disallow: */page
Disallow: /author/*
Disallow: /template.html
Disallow: /readme.html
Disallow: *?replytocom
Allow: */uploads
Allow: *.js
Allow: *.css
Allow: *.png
Allow: *.gif
Allow: *.jpg
Sitemap: https://ваш домен/sitemap.xml

Разберемся с текстом и посмотрим что именно мы разрешили, а что запретили:

User-agent, поставили знак *, тем самым сообщив что все поисковые машины должны подчиняться правилам
Блок с Disallow запрещает к индексу все технические страницы и дубли. обратите внимание что я заблокировал папки начинающиеся на wp-
Блок Allow разрешает сканировать скрипты, картинки и css файлы, это необходимо для правильного представления проекта в поиске иначе вы получите портянку без оформления

Sitemap: показывает путь до XML карты сайта, обязательно нужно ее сделать, а так же заменить надпись»ваш домен»

Остальные директивы рекомендую не вносить, после сохранения и внесения правок, загружаем стандартный robots txt в корень WordPress. Для проверки наличия открываем такой адрес https://your-domain/robots.txt, заменяем домен на свой, должно отобразится так.

Адрес в строке запроса

Как проверить работу robots.txt

Стандартный способ проверить через сервис yandex webmaster. Для лучшего анализа нужно зарегистрировать и установить на сайт сервис. Вверху видим загрузившийся robots, нажимаем проверить.

Проверка документа в yandex

Ниже появится блок с ошибками, если их нет то переходим к следующему шагу, если неверно отображается команда, то исправляем и снова проверяем.

Отсутствие ошибок в валидаторе

Проверим правильно ли Яндекс обрабатывает команды, спускаемся чуть ниже, введем два запрещенных и разрешенных адреса, не забываем нажать проверить. На снимке видим что инструкция сработала, красным помечено что вход запрещен, а зеленой галочкой, что индексирование записей разрешена.

Проверка папок и страниц в яндексе

Проверили, все срабатывает, перейдем к следующему способу это настройка robots с помощью плагинов. Если процесс не понятен, то смотрите наше видео.

Плагин–генератор Virtual Robots.txt

Если не хочется связываться с FTP подключением, то приходит на помощь один отличный WordPress плагин–генератор называется Virtual Robots.txt. Устанавливаем стандартно из админки вордпресс поиском или загрузкой архива, выглядит так.

Как выглядит Virtual Robots.txt

Переходим в админку Настройки > Virtual Robots.txt, видим знакомую конфигурацию, но нам нужно ее заменить, на нашу из статьи. Копируем и вставляем, не забываем сохранять.

Настройка Virtual Robots.txt

Роботс автоматически создастся и станет доступен по тому же адресу. При желании проверить есть он в файлах WordPress – ничего не увидим, потому что документ виртуальный и редактировать можно только из плагина, но Yandex и Google он будет виден.

Добавить с помощью Yoast SEO

Знаменитый плагин Yoast SEO предоставляет возможность добавить и изменить robots.txt из панели WordPress. Причем созданный файл появляется на сервере (а не виртуально) и находится в корне сайта, то есть после удаления или деактивации роботс остается. Переходим в Инструменты > Редактор.

Yoast SEO редактор файлов

Если robots есть, то отобразится на странице, если нет есть кнопка «создать», нажимаем на нее.

Кнопка создания robots

Выйдет текстовая область, записываем, имеющийся текст из универсальной конфигурации и сохраняем. Можно проверить по FTP соединению документ появится.

Изменить модулем в All in One SEO

Старый плагин All in One SEO умеет изменять robots txt, чтобы активировать возможность переходим в раздел модули и находим одноименный пункт, нажимаем Activate.

Модули в All In one Seo

В меню All in One SEO появится новый раздел, заходим, видим функционал конструктора.

Работа в модуле AIOS

Записываем имя агента, в нашем случае * или оставляем пустым
Разрешаем или запрещаем индексацию
Директория или страница куда не нужно идти
Результат

Модуль не удобный, создать по такому принципу валидный и корректный robots. txt трудно. Лучше используйте другие инструменты.

Правильная настройка для плагина WooCommerce

Чтобы сделать правильную настройку для плагина интернет магазина на WordPress WooCommerce, добавьте эти строки к остальным:

Disallow: /cart/
Disallow: /checkout/
Disallow: /*add-to-cart=*
Disallow: /my-account/

Делаем аналогичные действия и загружаем на сервер через FTP или плагином.

Итог

Подведем итог что нужно сделать чтобы на сайте WordPress был корректный файл для поисковиков:

Создаем вручную или с помощью плагина файл
Записываем в него инструкции из статьи
Загружаем на сервер
Проверяем в валидаторе Yandex
Не пользуйтесь генераторами robots txt в интернете, пошевелите немного руками

Совершенствуйте свои блоги на WordPress, продвигайтесь и правильно настраивайте все параметры, а мы в этом поможем, успехов!

Пожалуйста, оцените материал:

Полное руководство по WordPress robots.

txt (и как его использовать для SEO)

Вордпресс Расширенный

07 февраля 2023 г.

Уилл М.

8 минут Чтение

Чтобы обеспечить высокий рейтинг вашего сайта на страницах результатов поиска (SERP), вам необходимо упростить поисковым роботам доступ к наиболее важным страницам. Наличие хорошо структурированного файла robots.txt поможет направить этих ботов на страницы, которые вы хотите проиндексировать (и избежать остальных).

В этой статье мы рассмотрим:

Что такое файл robots.txt и почему он важен
Где находится файл WordPress robots.txt .
Как создать файл robots.txt .
Какие правила включить в ваш файл WordPress robots.txt .
Как протестировать файл robots.txt и отправить его в Google Search Console.

К концу нашего обсуждения у вас будет все необходимое для настройки идеального

robots. txt для вашего веб-сайта WordPress. Давайте погрузимся!

Что такое файл WordPress

robots.txt (и зачем он вам)

Когда вы создаете новый веб-сайт, поисковые системы отправляют своих миньонов (или ботов), чтобы «просканировать» его и составить карту всех содержащихся на нем страниц. Таким образом, они будут знать, какие страницы отображать в качестве результатов, когда кто-то ищет связанные ключевые слова. На базовом уровне это достаточно просто.

Проблема в том, что современные веб-сайты содержат намного элементов больше, чем просто страницы. WordPress позволяет вам, например, устанавливать плагины, которые часто поставляются со своими собственными каталогами. Однако вы не хотите, чтобы они отображались в результатах вашей поисковой системы, поскольку они не относятся к релевантному контенту.

Файл robots.txt предоставляет набор инструкций для роботов поисковых систем. Он говорит им: «Эй, вы можете посмотреть сюда, но не заходите в те комнаты вон там!» Этот файл может быть настолько подробным, насколько вы хотите, и его довольно легко создать, даже если вы не технический мастер.

На практике поисковые системы будут сканировать ваш веб-сайт, даже если у вас не настроен файл robots.txt . Однако не создавать его неэффективно. Без этого файла вы предоставляете ботам индексировать весь ваш контент, и они настолько тщательны, что могут в конечном итоге показать части вашего сайта, к которым вы не хотите, чтобы другие люди имели доступ.

Что еще более важно, без файла robots.txt у вас будет множество ботов, сканирующих весь ваш сайт. Это может негативно сказаться на его производительности. Даже если удар незначителен, скорость страницы всегда должна быть на первом месте в вашем списке приоритетов. В конце концов, мало что люди ненавидят так сильно, как медленные веб-сайты.

Где находится файл robots.txt WordPress

Когда вы создаете веб-сайт WordPress, он автоматически устанавливает виртуальный файл robots.txt , расположенный в главной папке вашего сервера. Например, если ваш сайт расположен по адресу yourfakewebsite. com , вы сможете посетить адрес yourfakewebsite.com/robots.txt, и увидеть такой файл:

 User-agent: *
Запретить: /wp-admin/
Запретить: /wp-includes/

Это пример очень простого файла robots.txt

. Говоря человеческим языком, часть сразу после User-agent: объявляет, к каким ботам применяются приведенные ниже правила. Звездочка означает, что правила универсальны и применяются ко всем ботам. В этом случае файл сообщает этим ботам, что они не могут войти в ваши каталоги wp-admin и wp-includes . Это имеет определенный смысл, поскольку эти две папки содержат много конфиденциальных файлов.

Однако вы можете добавить дополнительные правила в свой собственный файл. Прежде чем вы сможете это сделать, вам нужно понять, что это виртуальный файл . Обычно расположение WordPress robots.txt находится в корневом каталоге , который часто называется public_html или www (или назван в честь вашего веб-сайта):

Однако файл

robots.txt WordPress устанавливает для вас по умолчанию, вообще недоступен из любого каталога. Он работает, но если вы хотите внести в него изменения, вам нужно создать собственный файл и загрузить его в корневую папку 9Папка 0012 в качестве замены.
Через минуту мы рассмотрим несколько способов создания нового robots.txt для WordPress. А пока давайте поговорим о том, как определить, какие правила должны включать ваши правила.
Какие правила включить в ваш WordPress
robots.txt Файл
В последнем разделе вы видели пример созданного WordPress файла robots.txt . Он включал только два коротких правила, но большинство веб-сайтов устанавливали больше. Давайте посмотрим на два разных robots.txt и расскажите о том, что каждый из них делает по-своему.
Вот наш первый WordPress robots.txt пример:

User-agent: * Позволять: / # Запрещенные подкаталоги Запретить: /checkout/ Запретить: /изображения/ Disallow: /forum/
Это универсальный файл robots.txt для веб-сайта с форумом. Поисковые системы часто индексируют каждую тему на форуме. Однако в зависимости от того, для чего предназначен ваш форум, вы можете запретить его. Таким образом, Google не будет индексировать сотни тредов о пользователях, ведущих светскую беседу. Вы также можете настроить правила, указывающие на определенные подфорумы, которых следует избегать, и позволить поисковым системам сканировать остальные.
Вы также заметите строку Allow: / в верхней части файла.
Эта строка сообщает ботам, что они могут сканировать все страницы вашего веб-сайта, кроме исключений, указанных ниже. Кроме того, вы заметите, что мы установили эти правила как универсальные (со звездочкой), как это делает виртуальный файл robots.txt WordPress.
Теперь давайте проверим другой пример WordPress robots.txt :
User-agent: * Запретить: /wp-admin/ Запретить: /wp-includes/ Агент пользователя: Bingbot Запретить: /
В этом файле мы устанавливаем те же правила, что и WordPress по умолчанию. Однако мы также добавили новый набор правил, которые блокируют сканирование нашего веб-сайта поисковым роботом Bing. Bingbot, как вы можете догадаться, — это имя этого бота.
Вы можете довольно точно определить, какие боты поисковых систем получают доступ к вашему сайту, а какие нет. На практике, конечно, Bingbot довольно мягок (даже если он не так крут, как Googlebot). Однако есть вредоносных ботов.
Плохая новость заключается в том, что они не всегда следуют инструкциям вашего файла robots.txt (в конце концов, они бунтари). Стоит иметь в виду, что, хотя большинство ботов будут следовать инструкциям, которые вы предоставляете в этом файле, вы не принуждаете их к этому. Вы просто хорошо просите.
Если вы почитаете эту тему, вы найдете множество предложений о том, что разрешить и что заблокировать на вашем веб-сайте WordPress. Однако, по нашему опыту, чем меньше правил, тем лучше. Вот пример того, что мы рекомендуем вашему первому robots.txt файл должен выглядеть так:
User-Agent: * Разрешить: /wp-content/uploads/ Disallow: /wp-content/plugins/
Традиционно WordPress любит блокировать доступ к каталогам wp-admin и wp-includes . Однако это больше не считается лучшей практикой. Кроме того, если вы добавляете метаданные к своим изображениям для целей поисковой оптимизации (SEO), нет смысла запрещать ботам сканировать эту информацию. Вместо этого два приведенных выше правила охватывают то, что потребуется большинству основных сайтов.
Однако то, что вы включите в файл robots.txt , будет зависеть от вашего конкретного сайта и потребностей. Так что не стесняйтесь проводить дополнительные исследования самостоятельно!
Как создать файл WordPress
robots.txt (3 метода)
После того, как вы решили, что будет в вашем файле robots.txt , все, что осталось, — это создать его. Вы можете редактировать robots.txt в WordPress либо с помощью плагина, либо вручную. В этом разделе мы научим вас, как использовать два популярных плагина для выполнения работы, и обсудим, как создать и загрузить файл самостоятельно. Давайте приступим!
1.
Используйте Yoast SEO
Yoast SEO вряд ли нуждается в представлении. Это самый популярный SEO-плагин для WordPress, который позволяет оптимизировать ваши сообщения и страницы, чтобы лучше использовать ключевые слова. Помимо этого, он также поможет вам повысить читабельность вашего контента, а это значит, что больше людей смогут им наслаждаться.
Лично мы являемся поклонниками Yoast SEO из-за простоты использования. Это в равной степени относится и к созданию файла robots.txt 9.файл 0012. После установки и активации плагина перейдите на вкладку SEO -> Инструменты на панели инструментов и найдите параметр с надписью Редактор файлов:
. Нажав на эту ссылку, вы перейдете на новую страницу, где вы может редактировать файл .htaccess , не выходя из панели управления. Также есть удобная кнопка с надписью Создать файл robots.txt , которая делает именно то, что вы ожидаете:
После того, как вы нажмете на эту кнопку, на вкладке отобразится новый редактор, в котором вы можете изменить свои robots. txt напрямую. Имейте в виду, что Yoast SEO устанавливает свои собственные правила по умолчанию, которые переопределяют существующий виртуальный файл robots.txt .
Всякий раз, когда вы добавляете или удаляете правила, не забудьте нажать кнопку Сохранить изменения в robots.txt , чтобы они сохранялись:
Это достаточно просто! Теперь давайте посмотрим, как другой популярный плагин делает то же самое.
2. С помощью плагина All in One SEO Pack
All in One SEO Pack — еще одно известное имя, когда речь заходит о WordPress SEO. Он включает в себя большинство функций Yoast SEO, но некоторые люди предпочитают его, потому что это более легкий плагин. До 9 0011 robots.txt идет, создать файл с этим плагином так же просто.
После настройки плагина перейдите на страницу All in One SEO > Feature Manager на панели инструментов. Внутри вы найдете параметр под названием Robots.txt с заметной кнопкой Activate прямо под ним. Нажмите на это:
Теперь новая вкладка Robots.txt появится в меню All in One SEO . Если вы нажмете на нее, вы увидите варианты добавления новых правил в ваш файл, сохранения внесенных изменений или полного удаления:
Обратите внимание, что вы не можете вносить изменения в файл robots.txt напрямую с помощью этого плагина. Сам файл неактивен, в отличие от Yoast SEO, который позволяет вам вводить все, что вы хотите:
В любом случае добавлять новые правила просто, поэтому не позволяйте этому небольшому недостатку обескуражить вас. Что еще более важно, All in One SEO Pack также включает в себя функцию, которая может помочь вам заблокировать «плохих» ботов, доступ к которой вы можете получить на вкладке All in One SEO :
Это все, что вам нужно сделать, если вы решите использовать это. метод. Однако давайте поговорим о том, как создать robots.txt вручную, если вы не хотите устанавливать дополнительный плагин только для выполнения этой задачи.
3. Создайте и загрузите свой файл WordPress
robots.txt через FTP
Создание файла txt не может быть проще. Все, что вам нужно сделать, это открыть ваш любимый текстовый редактор (например, Блокнот или TextEdit) и ввести несколько строк. Затем вы можете сохранить файл, используя любое имя и тип файла txt . Это буквально занимает несколько секунд, поэтому имеет смысл отредактировать robots.txt в WordPress без использования плагина.
Вот краткий пример одного из таких файлов:
Для целей этого руководства мы сохранили этот файл непосредственно на нашем компьютере. После того, как вы создали и сохранили свой собственный файл, вам нужно будет подключиться к вашему веб-сайту через FTP. Если вы не знаете, как это сделать, у нас есть руководство, как это сделать с помощью удобного для начинающих клиента FileZilla.
После подключения к сайту перейдите в папку public_html . Затем все, что вам нужно сделать, это загрузить robots.txt с вашего компьютера на сервер. Вы можете сделать это, щелкнув файл правой кнопкой мыши в локальном навигаторе вашего FTP-клиента или просто перетащив его на место:
Загрузка файла займет всего несколько секунд. Как видите, этот метод почти так же прост, как использование плагина.
Как проверить файл robots.txt WordPress и отправить его в Google Search Console
После создания и загрузки файла WordPress robots.txt вы можете использовать Google Search Console, чтобы проверить его на наличие ошибок. Search Console — это набор инструментов, которые предлагает Google, чтобы помочь вам отслеживать, как ваш контент отображается в результатах поиска. Одним из таких инструментов является robots.txt Checker, который можно использовать, войдя в консоль и перейдя на вкладку robots.txt Tester :
Внутри вы найдете поле редактора, в которое вы можете добавить свой WordPress robots. txt код файла и нажмите кнопку Submit прямо под ним. Консоль поиска Google спросит, хотите ли вы использовать этот новый код или извлечь файл со своего веб-сайта. Нажмите на вариант с надписью Попросить Google обновить , чтобы отправить его вручную:
Теперь платформа проверит ваш файл на наличие ошибок. Если они есть, он укажет на них для вас. Тем не менее, вы уже видели не один пример WordPress robots.txt , поэтому велики шансы, что ваш вариант идеален!
Заключение
Чтобы повысить узнаваемость вашего сайта, вам нужно убедиться, что роботы поисковых систем сканируют наиболее релевантную информацию. Как мы видели, хорошо настроенный файл WordPress robots.txt позволит вам точно указать, как эти боты взаимодействуют с вашим сайтом. Таким образом, они смогут предоставить поисковикам более актуальный и полезный контент.
У вас есть вопросы о том, как редактировать robots. txt в WordPress? Дайте нам знать в комментариях ниже!
Узнайте больше о WordPress SEO
WordPress Советы по SEO
Как создать карту сайта в WordPress
Как добавить разметку схемы WordPress
Как добавить мета-описание и мета-заголовок в WordPress
Как настроить AMP (ускоренные мобильные страницы) в WordPress
Как запретить поисковым системам индексировать ваш сайт WordPress
Как добавить хлебные крошки в WordPress
Уилл Моррис — штатный писатель WordCandy. Когда он не пишет о WordPress, ему нравится выступать со своими стендап-комедиями на местных каналах.
Еще от Уилла М.
Как получить доступ и отредактировать файл robots.txt в WordPress
Вы когда-нибудь задумывались, как Google узнает, какую информацию с вашего сайта индексировать? Они на самом деле следуют инструкциям, которые вы даете прямо на своем сайте. Правильно — с помощью файла robots.txt вы можете беспрепятственно направлять роботов Googlebot на свой сайт WordPress. Продолжайте читать, чтобы узнать больше о файлах robot.txt и о том, как редактировать файл robots.txt в WordPress.
Что такое файл robots.txt?
Роботы Googlebot отвечают за поиск и сканирование ваших веб-страниц и файлов. Цель этих ботов — собирать информацию о вашем контенте и отправлять ее обратно на серверы Google для индексации. Однако этим ботам часто нужны указания, чтобы знать, что именно сканировать. Вот где на помощь приходят файлы robot.txt.
Проще говоря, файл robots.txt — это инструкции, которые ваш веб-сайт дает роботам Google. Эти файлы в основном используются для того, чтобы ваш веб-сайт не переполнялся запросами сканера. Если таких запросов будет слишком много, ваш веб-сайт может начать замедляться, чтобы обработать все роботы Googlebot, что приведет к ухудшению взаимодействия с пользователем.
Чтобы сохранить баланс, вы можете создать файл robots.txt, который будет указывать роботам Googlebot сканировать или не сканировать определенную информацию. Хотя вы не можете использовать этот файл, чтобы скрыть всю страницу от Google, он также позволяет вам скрыть определенный контент, например аудиофайлы, который вы не хотите отображать на своей странице. Это также сократит время, необходимое роботу Googlebot для сканирования вашего веб-сайта, если он точно знает, что ищет.
Без лишних слов давайте рассмотрим, где находится ваш файл robots.txt в WordPress и как его редактировать.
Где находится файл robots.txt в WordPress
Итак, где находится файл robots.txt? WordPress автоматически создаст файл robots.txt для вашего сайта. Затем ваш файл defaultrobots.txt сохраняется в одном месте вашего WordPress — в корневом каталоге. Вы можете найти этот файл прямо через ваш URL. Просто введите свой веб-сайт (например, Markitors.com), добавьте /robots.txt в конце и нажмите «Ввод». Мы включили пример ниже, чтобы вы могли увидеть, как выглядит наш файл robots.txt.
Однако из этого места вы можете заметить, что нет опции «Редактировать». Вам нужно будет войти в свой WordPress, чтобы отредактировать файл robots.txt и задать необходимые инструкции. Узнайте, как редактировать файл robots.txt ниже.
Как редактировать файл robots.txt в WordPress
Хотя файл robots.txt по умолчанию может быть отличной функцией, если у вас нет конкретных настроек, он может работать не на каждом веб-сайте. Мы рассмотрим несколько способов редактирования файла robots.txt в WordPress, чтобы вы могли установить лучшие инструкции для роботов Google.
Rank Math SEO
Одним из таких способов редактирования файла robots.txt в WordPress является плагин SEO. Rank Math SEO — это полезный плагин, который позволяет оптимизировать контент веб-сайта на основе лучших практик. Этот плагин позволяет невероятно легко редактировать и изменять файл robots.txt. Ниже мы разбили три основных шага.
Для начала вам нужно скачать плагин. Как только вы добавите Rank Math в свой WordPress, плагин появится в верхней части вашей панели инструментов.
Когда вы будете готовы отредактировать файл robots.txt в WordPress, щелкните плагин Rank Math SEO и перейдите на панель инструментов. Выберите «Общие настройки» на левой боковой панели. Открыв общие настройки, вы увидите опцию «Редактировать robots.txt». Здесь вы будете устанавливать любые инструкции относительно элементов страницы, которые не следует сканировать.
После того, как вы ввели правильную информацию, вы можете нажать «Сохранить изменения». Если вы хотите просмотреть измененный файл robots.txt, просто введите свой URL-адрес и /robots.txt, например, с markitors.com/robots.txt.
Достаточно просто, правда? Rank Math SEO и другие подобные SEO-плагины упрощают редактирование файла robots.txt и позволяют роботам Google знать, что они ищут.
Редактор Robots.txt
Rank Math SEO — не единственный вариант редактирования файла robots.txt. Существуют дополнительные плагины, которые вы можете использовать, чтобы убедиться, что роботы Googlebot правильно сканируют ваш сайт. Сегодня мы расскажем, как использовать редактор Robots.txt.
Как и в случае с Rank Math SEO, вам необходимо установить плагин Robots.txt Editor. После его установки выберите «Плагины» на левой боковой панели и найдите этот новый плагин. Вам просто нужно выбрать «Настройки» под названием. Затем этот плагин позволит вам вносить любые изменения в файл robots.txt прямо здесь. Когда вы закончите, у вас будет возможность предварительно просмотреть файл, чтобы убедиться, что все правильно, прежде чем нажать «Сохранить».
И альт — два простых способа отредактировать файл robots.txt прямо в WordPress! Существует множество других способов внесения изменений в свои файлы, например, с помощью других плагинов SEO или редактора, но это отличная отправная точка для предотвращения переполнения вашего сайта роботами Googlebot.
Мы понимаем, что поддержание лучших технических методов SEO для вашего веб-сайта может быть сложной задачей. Существует множество различных элементов, которые необходимо учитывать при создании и изменении веб-сайта.