Роботы google – Как стать асессором в Google и зарабатывать удаленно: вакансии, отзывы о работе в Гугл

Содержание

Взгляните на свою страницу глазами робота Googlebot / Google corporate blog / Habr

Уровень подготовки веб-мастера: любой

Функция «Просмотреть как Googlebot» в Инструментах для веб-мастеров позволяет понять, как ваша страница выглядит для роботов Googlebot. Заголовки серверов и код HTML помогают выявить ошибки и последствия взлома, но иногда разобраться в них бывает затруднительно. Веб-мастера обычно хватаются за голову, когда им приходится заниматься решением таких проблем. Чтобы помочь вам в подобных ситуациях, мы усовершенствовали эту функцию, и теперь она может показывать страницу с помощью того же алгоритма, который использует робот Googlebot.

Как отображается просканированная страница
При обработке страницы робот Googlebot ищет и импортирует из внешних источников все связанные с ней файлы. Обычно это изображения, таблицы стилей, элементы JavaScript и другие файлы, встраиваемые с помощью CSS или JavaScript. Система использует их для отображения страницы так, как ее видит робот Googlebot.
Функция Просмотреть как Googlebot доступна в разделе «Сканирование» вашего аккаунта Инструментов для веб-мастеров. Обратите внимание, что обработка страницы с ее последующим показом может занять достаточно продолжительное время. После ее завершения наведите указатель мыши на строку, в которой указан нужный URL, чтобы просмотреть результат.

для обычного робота Googlebot

для робота Googlebot для смартфонов

Обработка ресурсов, заблокированных в файле robots.txt
При обработке кода робот Googlebot учитывает инструкции, указанные в файле robots.txt. Если они запрещают доступ к тем или иным элементам, система не будет использовать такие материалы для предварительного просмотра. Это произойдет и в том случае, если сервер не отвечает или возвращает ошибку. Соответствующие данные можно найти в разделе Ошибки сканирования вашего аккаунта Инструментов для веб-мастеров. Кроме того, полный перечень таких сбоев отобразится после того, как будет создано изображение страницы для предварительного просмотра.
Мы рекомендуем обеспечить Googlebot доступ ко всем встроенным ресурсам, которые есть на сайте или в макете. Это упростит работу с функцией «Просмотреть как Googlebot», позволит роботу обнаружить и правильно проиндексировать контент вашего сайта, а также поможет вам понять, как выполняется сканирование ваших страниц. Некоторые фрагменты кода, такие как кнопки социальных сетей, скрипты инструментов аналитики и шрифты, обычно не определяют оформление страницы, а значит их сканирование не обязательно. Подробнее о том, как Google анализирует веб-контент, читайте в предыдущей статье.

Надеемся, что наше нововведение поможет вам решить проблемы с оформлением сайта и обнаружить ресурсы, которые Google по тем или иным причинам не может просканировать. Если у вас есть вопросы, свяжитесь с нами в сообществе для веб-мастеров на Google Plus или поищите ответ на справочном форуме Google для веб-мастеров.

Новый агент пользователя Googlebot для смартфонов / Google corporate blog / Habr

Уровень подготовки веб-мастера: высокий

Google индексирует контент, оптимизированный для обычных мобильных телефонов и смартфонов с широким набором функций и возможностей, с помощью разных поисковых роботов. Но мы заметили, что, так как они оба называются Googlebot-Mobile, это нередко вызывает путаницу. Например, веб-мастера, намереваясь запретить сканирование и индексацию сайта для простых мобильных телефонов с ограниченными техническими возможностями, по ошибке запрещают сканирование сайта для всех устройств. Конечно, все это отрицательно сказывается на посещаемости веб-сайта.

Новый Googlebot для смартфонов

Чтобы веб-мастерам было проще разобраться в настройках, через 3–4 недели мы переименуем агент пользователя в нашем поисковом роботе для смартфонов. Название Googlebot-Mobile будет заменено на Googlebot с добавлением слова mobile в строку агента пользователя. Вы можете сравнить отличия ниже.
Googlebot – новый агент пользователя для смартфонов:
Mozilla/5.0 (iPhone; CPU iPhone OS 6_0 like Mac OS X) AppleWebKit/536.26 (KHTML, like Gecko) Version/6.0 Mobile/10A5376e Safari/8536.25 (compatible;<b>Googlebot</b>/2.1; +http://www.google.com/bot.html)

Googlebot-Mobile – старый агент пользователя для смартфонов, который вскоре будет заменен:
Mozilla/5.0 (iPhone; CPU iPhone OS 6_0 like Mac OS X) AppleWebKit/536.26 (KHTML, like Gecko) Version/6.0 Mobile/10A5376e Safari/8536.25 (compatible; Googlebot-Mobile/2.1; +http://www.google.com/bot.html)

Эти изменения касаются только Googlebot-Mobile
для смартфонов. У обычного робота Googlebot останется тот же агент пользователя, а у двух оставшихся поисковых роботов Googlebot-Mobile в строке агента пользователя по-прежнему будут указаны телефоны среднего класса. Как это выглядит, смотрите ниже.
Агент пользователя у обычного поискового робота Googlebot:
Mozilla/5.0 (compatible; Googlebot/2.1;
+http://www.google.com/bot.html)

Агенты пользователя у двух поисковых роботов Googlebot-Mobile для телефонов среднего класса:

  • SAMSUNG-SGH-E250/1.0 Profile/MIDP-2.0 Configuration/CLDC-1.1 UP.Browser/6.2.3.3.c.1.101 (GUI) MMP/2.0 (compatible; Googlebot-Mobile/2.1; +http://www.google.com/bot.html)
  • DoCoMo/2.0 N905i(c100;TB;W24h26) (compatible; Googlebot-Mobile/2.1; +http://www.google.com/bot.html)

Проверить, смогут ли эти поисковые роботы проиндексировать ваш сайт, можно с помощью функции "Просмотреть как Googlebot" в Инструментах для веб-мастеров. Полный список наших поисковых роботов опубликован в Справочном центре.
Сканирование и индексирование

Обратите внимание, что после смены поискового агента новый
Googlebot
для смартфонов будет руководствоваться правилами в robots.txt, метатеге robots и HTTP-заголовках, которые касаются Googlebot, а не Googlebot-Mobile
. Вот, например, правило в robots.txt, запрещающее сканировать сайт как обычному роботу Googlebot, так и новому роботу Googlebot для смартфонов:
User-agent: Googlebot
Disallow: /

А такое правило в robots.txt запретит сканирование поисковым роботам Google для простых мобильных телефонов:
User-agent: Googlebot-Mobile
Disallow: /

По нашим подсчетам, это обновление затронет менее 0,001% веб-страниц, но при этом позволит веб-мастерам точнее управлять сканированием и индексацией их контента. Если у вас возникнут вопросы, вы можете:

Что такое Googlebot и как он может помочь вам в SEO?

 

В словаре SEO-специалистов часто можно услышать о таком понятии, как “дружественность сайта к поисковым системам”. Что это значит? Процесс сканирования и индексирования сайта это достаточно затратный процесс для всех поисковых систем, особенно с таким ростом количества сайтов и страниц, как происходит сейчас. Чем дороже процесс по ресурсам, тем больше лимитов и жестких правил устанавливают поисковики. Понимание того, по каким правилам работают поисковые роботы (в частности, Googlebot) поможет постепенно сделать свой сайт “дружественным” для поисковиков. А это помогает быстрее индексировать новые и обновленные страницы, быстрее находить ошибки и т.д.

Что такое Googlebot?

 

Поисковые роботы (например, Googlebot) – это роботы, которые сканируют веб-страницы и добавляют их индекс. Если код на странице дает боту команду на индексирование, тогда он добавляет эту страницу в индекс, и только тогда она становится доступной пользователям. Очень хорошо этот процесс описан в этом руководстве Google. Ключевыми правилами сканирования, являются четыре следующие шага:

 

Если страница высоко ранжируется, поисковый робот Google будет тратить больше времени на её сканирование.

Здесь мы можем поговорить о «краулинговом бюджете», представляющем собой точное количество времени, затрачиваемого веб-роботами на сканирование определенного сайта: чем более авторитетна веб-страница, тем больший бюджет она получит.

 

Google бот постоянно сканирует сайт

Вот что об этом говорит Google: «Поисковый робот Google не имеет доступа к сайту чаще, чем один раз в секунду». Это означает, что сайт находится под постоянным контролем веб-пауков, если у них есть доступ к нему. Сегодня многие SEO специалисты спорят о так званой «скорости обхода» и пытаются найти оптимальный способ обхода сайта роботом, чтобы получить высокий уровень ранжирования. Тем не менее, «скорость обхода» – это всего лишь скорость запросов поискового робота Google, а не повторение сканирования. Вы даже можете изменить этот показатель самостоятельно с помощью Webmasters Tools. Огромное количество внешних ссылок, наличие ссылок с 404 ошибкой, уникальность и упоминания в соцсетях влияют на вашу позицию в результатах поиска. Также важно уточнить, что веб-пауки не сканируют каждую страницу непрерывно, поэтому намного выгоднее сразу создавать полезный и уникальный контент.

 

Файл Robots.txt – это первое, что сканируют роботы Google

Если страница отмечена в файле robots.txt как запрещенная для сканирования, роботы не будут её сканировать и соответственно в индекс она не попадет.

 

Файл Sitemap.xml – это руководство для ботов Google

Файл Sitemap.xml помогает ботам понять, какие части сайта нужно просканировать и проиндексировать. Так как сайты в основном различаются по своей структуре, гуглбот не может краулить все страницы на сайте автоматически. Качественный файл Sitemap может помочь страницам с низким рейтингом, небольшим количеством обратных внутренних ссылок и бесполезным контентом попасть в индекс на равне с более авторитетными страницами.

 

Как оптимизировать сайт для лучшего сканирования поисковым роботом Googlebot?

 

Не недооценивайте файл robots.txt

Файл robots.txt является вместилищем команд для поисковых роботов. И так как ваш “краулинговый бюджет” ограничен, уделите время и постарайтесь закрыть от сканирования все необходимые страницы. Так, ваши самые ценные страницы будет индексироваться быстрее и чаще.

 

Полезный и уникальный контент действительно имеет значение

Основной тезис такой – контент, который сканируется чаще, ранжируется выше и соответственно приносит больше трафика. Особенно это становится важно сейчас. Google все больше ориентируется на новизну, актуальность страниц. Обновляйте контент на ваших топовых страницах, добавляйте их в индекс вручную и постепенно гуглбот будет сам уделять им больше внимания. Если у сайта слишком большое количество открытых страниц пагинации, то есть вероятность, что нужные вебмастеру страницы могут быть не проиндексированы. Это связано с тем, что поисковых бот израсходует краулинговый бюджет на продублированные страницы.

 

Пора начать использовать внутренние ссылки

Внутренние ссылки не только упрощают использование сайта для пользователя, но и делают проще процесс сканирования для поисковых ботов. Если ранее вы не уделяли внимания каждой ссылке на странице, воспользуйтесь Google Search Console, чтобы отследить активные ссылки. Для еще более глубокого исследования, добавьте ваш сайт в наш краулер и оцените всю структуру внутренних ссылок, анкор лист, распределение весов. Также вы можете попробовать запустить аудит сайта, чтобы найти ошибки и проанализировать внутреннюю структуру сайта, включаяя ссылки.

 

 

Sitemap.xml жизненно важен

Еще раз, почему этот файл так важен? Sitemap – это карта местности для бота. Без неё он блуждает по сайту только на основе внутренних ссылок, и страницы которые слабо перелинкованы получают мало внимания, или вообще могут быть не замечены. Это один из важных факторов, которые поисковая система гугл использует при сканировании сайтов.

 

Как анализировать работу Googlebot?

 

Для анализа работы гуглбота, просто регулярно проверяйте раздел «Сканирование» в Webmaster Tools.

 

Популярные ошибки при сканировании

Страница “Ошибки сканирования” помогает быстро найти как критические ошибки, так и неопасные уведомления. К этому блоку чаще всего стоит обращаться, когда вы заметили какие то резкие изменения в индексации, снижение количества трафика.

 

 

Файлы Sitemap

Используйте эту функцию, если хотите поработать с картой сайта: изучить, добавить или выяснить, какой контент индексируется.

 

 

Посмотреть как Googlebot

Функция «Посмотреть как Googlebot» один из самых быстрых способов добавить страницу в индекс гугла.

 

 

Статистика сканирования

Эта вкладка помогает оценить динамику сканирования сайта в разрезе 90 дней.

 

 

Параметры URL

Google не рекомендует использовать эту функцию без необходимости. По задумке, объяснение значений отдельных частей URL-адреса помогает гуглу лучше понимать как сканировать каждый тип страниц.

 

Поисковые роботы Google и Яндекса

Просматривая логи сервера, иногда можно наблюдать чрезмерный интерес к сайтам со стороны поисковых роботов. Если боты полезные (например, индексирующие боты ПС) — остается лишь наблюдать, даже если увеличивается нагрузка на сервер. Но есть еще масса второстепенных роботов, доступ которых к сайту не обязателен. Для себя и для вас, дорогой читатель, я собрал информацию и переделал ее в  удобную табличку.

Кто такие поисковые роботы

Поисковый бот, или как еще их называют, робот, краулер, паук — ни что иное, как программа, которая осуществляет поиск и сканирование содержимого сайтов, переходя по ссылкам на страницах.Поисковые роботы есть не только у поисковиков. Например, сервис Ahrefs использует пауков, чтобы улучшить данные по обратным ссылкам, Facebook осуществляет веб-скраппинг кода страниц для отображения репостов ссылок с заголовками, картинкой, описанием. Веб-скраппинг — это сбор информации с различных ресурсов.

Использование имен пауков в robots.txt

Как видим, любой серьезный проект, связанный с поиском контента, имеет своих пауков. И иногда остро стоит задача ограничить доступ некоторым паукам к сайту или его отдельным разделам. Это можно сделать через файл robots.txt в корневой директории сайта. Подробнее про настройку роботса я писал ранее, рекомендую ознакомиться.

Обратите внимание — файл robots.txt и его директивы могут быть проигнорированы поисковыми роботами. Директивы являются лишь рекомендациями для ботов.

Бот для соц сетей

Задать директиву для поискового робота можно, используя секцию — обращение к юзер-агенту этого робота. Секции для разных пауков разделяются одной пустой строкой.

User-agent: Googlebot Allow: /

User-agent: Googlebot

Allow: /

Выше приведен пример обращения к основному поисковому роботу Google. 

Изначально я планировал добавить в таблицу записи о том, как идентифицируют себя поисковые боты в логах сервера. Но так как для SEO эти данные имеют мало значения и для каждого токена агента может быть несколько видов записей, было решено обойтись только названием ботов и их предназначением.

Поисковые роботы Google

User-agent Функции
Googlebot Основной краулер-индексатор страниц для ПК и оптимизированных для смартфонов
Mediapartners-Google Робот рекламной сети AdSense
APIs-Google Агент пользователя APIs-Google
AdsBot-Google Проверяет качество рекламы на веб-страницах, предназначенных для ПК
AdsBot-Google-Mobile Проверяет качество рекламы на веб-страницах, предназначенных для мобильных устройств
Googlebot-Image (Googlebot) Индексирует изображения на страницах сайта
Googlebot-News (Googlebot) Ищет страницы для добавления в Google Новости
Googlebot-Video (Googlebot) Индексирует видеоматериалы
AdsBot-Google-Mobile-Apps Проверяет качество рекламы в приложениях для устройств Android, работает по тем же принципам, что и обычный AdsBot

Поисковые роботы Яндекс

User-agent Функции
Yandex При указании данного токена агента в robots.txt, обращение идет ко всем ботам Яндекса
YandexBot Основной индексирующий робот
YandexDirect Скачивает информацию о контенте сайтов-партнеров РСЯ
YandexImages Индексирует изображения сайтов
YandexMetrika Робот Яндекс.Метрики
YandexMobileBot Скачивает документы для анализа на наличие верстки под мобильные устройства
YandexMedia Робот, индексирующий мультимедийные данные
YandexNews Индексатор Яндекс.Новостей
YandexPagechecker Валидатор микроразметки
YandexMarket Робот Яндекс.Маркета;
YandexCalenda Робот Яндекс.Календаря
YandexDirectDyn Генерирует динамические баннеры (Директ)
YaDirectFetcher Скачивает страницы с рекламными объявлениями для проверки их доступности и уточнения тематики (РСЯ)
YandexAccessibilityBot Cкачивает страницы для проверки их доступности пользователям
YandexScreenshotBot Делает снимок (скриншот) страницы
YandexVideoParser Паук сервиса Яндекс.Видео
YandexSearchShop Скачивает YML-файлы каталогов товаров
YandexOntoDBAPI Робот объектного ответа, скачивающий динамические данные

 Другие популярные поисковые боты

User-agent Функции
Baiduspider Спайдер китайского поисковика Baidu
Cliqzbot Робот анонимной поисковой системы Cliqz
AhrefsBot Поисковый бот сервиса Ahrefs (ссылочный анализ)
Genieo Робот сервиса Genieo
Bingbot Краулер поисковой системы Bing
Slurp Краулер поисковой системы Yahoo
DuckDuckBot Веб-краулер ПС DuckDuckGo
facebot Робот Facebook для веб-краулинга
WebAlta (WebAlta Crawler/2.0) Поисковый  краулер ПС WebAlta 
BomboraBot Сканирует страницы, задействованные в проекте Bombora
CCBot Краулер на основе Nutch, который использует проект Apache Hadoop
MSNBot Бот ПС MSN 
Mail.Ru Краулер поисковой системы Mail.Ru
ia_archiver Скраппит данные для сервиса Alexa
Teoma Бот сервиса Ask

Поисковых ботов очень много, я отобрал только самых популярных и известных. Если есть боты, с которыми вы сталкивались по причине агрессивного и настойчивого сканирования сайтов, прошу в комментариях указать это, я добавлю их также в таблицу.

10 способов думать, как Googlebot и улучшить ваше техническое SEO

Пытаетесь преодолеть очередную планку роста органического трафика? Высококачественный контент и ссылки безусловно помогут вам в этом, но не стоит забывать о техническом SEO. Один из наиболее важных навыков в технической оптимизации сайтов, который вы можете приобрести в 2019-м – научиться думать, как Googlebot.

Прежде чем приступить к содержательной части, необходимо понять, что вообще из себя представляет этот Гугл-бот, как он работает и для чего нам всё это знать.

10 способов думать, как Googlebot и улучшить ваше техническое SEO10 способов думать, как Googlebot и улучшить ваше техническое SEO

Что такое Googlebot

Googlebot – это веб-краулер (робот, паук), который собирает данные с веб-страниц. Всего лишь один из многих. У каждой поисковой системы есть свои фирменные пауки. В мире SEO их ещё называют «агентами пользователя». Вот наиболее известные:

  • Yandex – Яндекс
  • Googlebot – Google
  • Bingbot – Bing
  • Slurp Bot – Yahoo
  • Alexa Crawler – Amazon Alexa
  • DuckDuckBot – DuckDuckGo

Как работает Googlebot

Мы не можем начать оптимизировать сайты под Googlebot, пока не поймём, как он обнаруживает, читает и оценивает веб-страницы.

Как робот Google находит веб-страницы

Краткий ответ: ссылки, карты сайтов и запросы на обход.

Длинный ответ: самый быстрый способ заставить Google просканировать ваш сайт, это зайти в Search Console и добавить ссылку на карту вашего сайта. Однако это ещё не всё.

Файлы SitemapФайлы Sitemap

Несмотря на то, что карты сайта являются отличным способом заставить Google сканировать ваш сайт, этот метод не учитывает PageRank. Внутренние ссылки – это рекомендуемый способ сообщить Google, какие страницы связаны и имеют ценность. В Интернете опубликовано много замечательных статей о Google PageRank и внутренних ссылках, поэтому я не буду сейчас вдаваться в подробности.

Google также может обнаружить ваши веб-страницы, благодаря профилю «Google Мой бизнес», каталогам и ссылкам с других сайтов. Это упрощённая версия того, как работает робот Google. Чтобы узнать больше, вы можете прочитать официальную документацию Google по их пауку.

Как робот Google читает веб-страницы

Google прошёл долгий путь в рендеринге сайтов. Основная задача бота Гугла – прочитать страницу сайта так, как это сделал бы обычный пользователь. Чтобы проверить, как Google просматривает вашу страницу, воспользуйтесь инструментом проверки URL в Search Console. Так вы сможете сравнить страницу глазами посетителя и Googlebot.

Проверка URLПроверка URL

Технические факторы ранжирования

Как и в традиционном SEO, в техническом SEO нет волшебной таблетки. Все 200+ факторов ранжирования важны!

Если вы являетесь техническим специалистом, думающим о будущем SEO, то самые значимые факторы ранжирования, на которые стоит обратить внимание, сосредоточены вокруг пользовательского опыта.

Зачем нам думать, как Googlebot

Когда представители поисковых систем говорят нам делать качественные сайты, они как раз вот это и имеют в виду. Все эти размытые формулировки являются в то же время очень точными.

Если вы можете удовлетворить пользователей интуитивным и полезным веб-сайтом, соответствующим требованиям Googlebot, то в итоге получите больше органического трафика.

Пользователи или роботы

На кого больше обращать внимание при создании сайта? На пользователей или на роботов?

Краткий ответ: на тех и на других.

Длинный ответ: это острый вопрос, который может вызвать напряжённость между дизайнерами интерфейсов, веб-разработчиками и SEO-специалистами. Тем не менее это даёт нам возможность поработать вместе и лучше понять баланс между поведением пользователей и ботов.

UX-дизайнеры отдают предпочтение в работе пользователям. SEO-специалисты – краулерам. Посередине находятся веб-разработчики, пытающиеся взять лучшее из обоих миров.

Опытный сеошник должен понимать важность пользовательского опыта. Поэтому необходимо оптимизировать сайты и под людей, и под роботов, одновременно. К счастью, Google изо всех сил старается ориентироваться на живых посетителей сайтов.

Следующие 10 советов по оптимизации под Гугл-бота позволят вам ублажить сразу обоих: дизайнера и разработчика.

1. Robots.txt

Robots.txt – это текстовый файл, который находится в корневом каталоге веб-сайта. Это одна из первых вещей, которую ищет робот Googlebot при сканировании сайта. Настоятельно рекомендуется добавить robots.txt на ваш сайт и включить в него ссылку на sitemap.xml.

Есть много способов оптимизировать файл robots.txt, но важно соблюдать осторожность. Разработчик может закрыть индексацию для всех роботов во время технических правок и забыть открыть её при внедрении на действующий сайт. В результате даже после устранения проблемы могут потребоваться недели на возврат органического трафика.

Существует множество советов и руководств по оптимизации файла robots.txt. Тщательно разберитесь в вопросе, прежде чем что-то внедрять на свой сайт. И не забывайте отслеживать результаты правок.

2. Sitemap.xml

Карты сайтов являются ключевым способом обнаружения новых страниц на ваших проектах ботом Гугла и считаются важным фактором ранжирования.

Вот несколько советов по оптимизации карты сайта:

  • У вашего сайта должна быть только одна карта.
  • Страницы блога и основные страницы сайта должны быть разделены на разные файлы, а затем объединены в общую карту.
  • Не устанавливайте высокий приоритет для каждой отдельно взятой страницы.
  • Удалите из карты сайта страницу для 404-ошибки и 301 редиректы.
  • Отправьте файл sitemap.xml в Google Search Console и следите за обходом.
Страницы сайтаСтраницы сайта

3. Скорость сайта

Быстрота загрузки стала одним из важнейших факторов ранжирования, особенно для мобильных устройств. Если скорость загрузки вашего сайта слишком низкая, робот Google может понизить ваш рейтинг.

Самый простой способ выяснить, считает ли робот Google, что ваш сайт загружается слишком медленно, – это проверить скорость с помощью любого из бесплатных инструментов. Многие из этих инструментов предоставляют рекомендации, которые вы можете отправить вашим разработчикам.

4. Микроразметка Schema

Добавление структурированных данных на ваш сайт поможет роботу Google лучше понять контекст отдельных веб-страниц и веб-сайта в целом. Однако важно, чтобы вы следовали рекомендациям Google.

Для наибольшей эффективности лучше использовать JSON-LD при реализации разметки структурированных данных. Сам Google отметил у себя в рекомендациях, что JSON-LD является предпочтительным языком разметки.

5. Канонизация

Большой проблемой для крупных сайтов, особенно в секторе электронной коммерции, является дублированный контент. Есть множество практических причин для дублирования контента, например, мультиязычность сайта.

Если вы используете сайт с дублированным контентом, крайне важно указывать основные страницы при помощи тега rel=canonical и атрибута hreflang.

6. Таксономия URL

Наличие чёткой и понятной структуры URL, как показывает практика, приводит к более высоким позициям в поисковой выдаче и помогает пользователям лучше ориентироваться на сайте. Настройка родительских страниц позволяет роботу Google понимать взаимосвязь каждой страницы.

Однако, если у вас есть старые страницы, которые имеют хорошие позиции, Джон Мюллер из Google не рекомендует менять их URL. Грамотная таксономия URL-адресов – это то, что нужно установить с самого начала разработки сайта.

Если вы абсолютно уверены, что оптимизация URL-адресов поможет сайту, убедитесь, что настроили правильные 301-редиректы и обновили свой sitemap.xml.

7. Загрузка JavaScript

Несмотря на то, что со статичными HTML-страницами проще работать в плане SEO, динамический контент, созданный с помощью JavaScript, позволяет сделать ваш веб-сайт интереснее для пользователей. В 2018 году Google потратил много ресурсов на улучшения взаимодействия с JavaScript.

Во время недавней сессии вопросов и ответов с Джоном Мюллером, последний заявил, что Google планирует продолжить фокусироваться на JavaScript в 2019 году. Если ваш сайт сильно зависит от динамического рендеринга с помощью JavaScript, убедитесь, что ваши разработчики следуют официальным рекомендациям Google.

8. Изображения

Google давно намекает на важность оптимизации изображений, но в последние месяцы особенно много говорит об этом. Оптимизация изображений поможет роботу Google контекстуализировать, как ваши картинки связаны и улучшить ваш контент.

Если вы хотите быстро оптимизировать изображения, я рекомендую:

  • Имя файла изображения: опишите, что это за изображение, используя как можно меньше слов.
  • ALT-текст: можно скопировать имя файла и использовать дополнительные слова для описания изображения.
  • Структурированные данные: вы можете добавить schema-разметку для описания изображений на странице.
  • Карта картинок сайта: Google рекомендует добавить отдельную карту для ваших изображений.

9. Неработающие ссылки и зацикленные редиректы

Все мы знаем, что битые ссылки – это плохо, некоторые оптимизаторы утверждают, что они могут потратить впустую бюджет на обход сайта. Однако Джон Мюллер заявил, что неработающие ссылки не уменьшают этот бюджет.

Я полагаю, что, учитывая неоднозначность имеющейся информации, мы должны быть осторожны и убирать все неработающие ссылки. Используйте Google Search Console или ваш любимый инструмент для сканирования, чтобы найти неработающие ссылки на сайте!

Зацикленные редиректы – ещё одна характерная черта старых проектов. Такое явление обычно возникает, когда в цепочке редиректов присутствует несколько этапов.

Пример зацикленного редиректаПример зацикленного редиректа

Пример выше: третий вариант первоначальной страницы перенаправляет пользователя на второй вариант, который, в свою очередь, перенаправляет опять на третий вариант. Получается замкнутый цикл.

Поисковые системы часто испытывают трудности при сканировании циклов перенаправления и потенциально могут завершить обход сайта. Лучшее решение здесь – заменить исходную ссылку на каждой странице финальной ссылкой.

10. Заголовки страниц и мета-описания

Для многих SEO-профессионалов подобная информация может показаться устаревшей, но на практике доказано, что хорошо оптимизированные заголовки страниц и мета-описания могут улучшить ранжирование и CTR в поисковой выдаче.

Да, это самые основы поисковой оптимизации, но Googlebot читает их (title, description), поэтому не стоит пренебрегать дополнительной возможностью. Есть много различных теорий по поводу правильных meta-тегов, но общие рекомендации довольно просты:

  • Лучше использовать вертикальные чёрточки (|) вместо дефисов (-) в качестве разделителя, хотя боту Гугла без разницы.
  • В заголовок главной, страницы контактов и «о компании» включите название вашего бренда. В большинстве случаев другие типы страниц не имеют большого значения.
  • Не увлекайтесь длиной.
  • Для вашего мета-описания скопируйте первый абзац текста и отредактируйте его так, чтобы он соответствовал диапазону, который в данное время Google рекомендует использовать для тега description. Если это в результате не совсем точно описывает вашу страницу, то вам следует подумать о том, чтобы поработать над содержанием.
  • Проверьте! Использует ли Google ваши собственные заголовки и описания.

Подведём итог

Когда дело доходит до технического SEO и оптимизации под поисковых роботов, есть много вещей, на которые стоит обратить внимание. Многие из них требуют практических исследований, и я рекомендую попросить ваших коллег поделиться опытом, прежде чем вносить изменения в сайт.

Хотя новаторская тактика является захватывающей, она может привести к снижению органического трафика. Хорошее правило – проверить эту тактику, подождав несколько недель между изменениями. Это даст Googlebot определённое время, чтобы он смог разобраться с нововведениями на сайте и соответственно повысить вас в выдаче.

Джон Макалпин Джон Макалпин

Автор оригинала: Джон Макалпин – руководитель SEO-департамента в Cardinal DIgital Marketing. Джон разрабатывает общую SEO-стратегию для CDM – SEO-агентства из Атланты, которое специализируется на обслуживании компаний, работающих в сфере здравоохранения на всей территории США. В настоящее время он живёт в Далласе, активно участвует в местном и национальном SEO-сообществе, имеет большой опыт в области технического SEO, веб-разработки и стратегии цифрового маркетинга.

Источник: www.searchenginejournal.com.

ПОНРАВИЛАСЬ СТАТЬЯ? ПОДЕЛИСЬ С ДРУЗЬЯМИ!

СТАТЬИ ИЗ РУБРИКИ:

Зачем Google роботы и зачем миру роботы Google — Ferra.ru

Список роботов Boston Dynamics можно продолжать: есть, например, человекообразные Atlas и Petman или, например, RiSE, ползающий по стенам и похожий на шестиногую ящерицу.

Раз Boston Dynamics выполняет заказы армии США, не следует ли из этого, что и Google теперь придётся заниматься тем же самым? С одной стороны, ответ положительный: нынешние контракты Boston Dynamics придётся выполнить, несмотря на слияние с Google. С другой стороны, в Google сообщают, что совершенно не заинтересованы в сотрудничестве с вооружёнными силами. Это даже не имеет экономического смысла: типичный контракт приносил Boston Dynamics от 2 до 10 миллионов долларов, что по меркам Google не стоит усилий.

В конце концов, в фирме Boston Dynamics, по словам одного из её бывших инженеров, изначально даже не планировали работать на армию США: военные контракты просто оказались удобным и надёжным источником финансирования. Широкий карман Google сыграет эту роль ещё лучше.

Что задумал Google

Остаётся главный вопрос: что же такое Рубин предложил главе Google Ларри Пейджу, что тот разрешил ему распоряжаться почти что неограниченным запасом финансов и пользоваться полной автономией?

Несложно заметить, что все покупки связаны с роботами, имеющими сочленения. Часть разработок направлена на взаимодействие с людьми, часть связана с более традиционной для роботов нишей — производством. Среди фирм, присоединившихся к Google, много таких, где велись работы над шагающими машинами — как двуногими, так и четвероногими. Не исключено, что и в Google рассчитывают сделать ходящего робота, но куда и зачем он будет ходить — пока что тайна, покрытая мраком.

Сам Эндрю Рубин на расспросы журналистов отвечал туманными полунамёками: в частности, привёл пример с автомобильными дворниками, которые включаются сами во время дождя. Такое изобретение нельзя назвать роботом, но, как и роботы, это умная технология, которая избавляет людей от лишних действий. Вряд ли в Google будут делать дворники (хотя целый автомобиль — почему бы и нет?), скорее это просто иллюстрация технологии, меняющей жизнь человека к лучшему, но не слишком навязчиво.

Ещё Рубин заявил, что в контексте коммерческих перспектив речь идёт скорее о планах, которые начнут воплощаться в реальность не ранее чем через десять лет. Но тут же оговорился: некоторые технологии, по его словам, уже почти дозрели до коммерческой эксплуатации.

Производство по-прежнему остаётся наиболее реалистичной областью для коммерческой эксплуатации роботов, и аналитики предполагают, что именно промышленное применение может интересовать Google в среднесрочной перспективе. К тому же здесь как раз наметилась очередная революция.

Универсальный рабочий

Чтобы понять, как за последнее время изменились промышленные роботы, достаточно взглянуть на парня по имени Baxter. Этот механический товарищ с двумя огромными ручищами и монитором на месте головы призван заменить людей, стоящих у конвейера и выполняющих несложные монотонные задачи вроде складывания деталей.

Поисковые роботы Яндекс и Google

Москва г. Москва, ул. Нобеля 7, п. 56 +7 (800) 700-59-30

Поисковым роботом называется специальная программа какой-либо поисковой системы, которая предназначена для занесения в базу (индексирования) найденных в Интернете сайтов и их страниц. Также используются названия: краулер, паук, бот, automaticindexer, ant, webcrawler, bot, webscutter, webrobots, webspider.

Принцип работы

Поисковый робот — это программа браузерного типа. Он постоянно сканирует сеть: посещает проиндексированные (уже известные ему) сайты, переходит по ссылкам с них и находит новые ресурсы. При обнаружении нового ресурса робот процедур добавляет его в индекс поисковика. Поисковый робот также индексирует обновления на сайтах, периодичность которых фиксируется. Например, обновляемый раз в неделю сайт будет посещаться пауком с этой частотой, а контент на новостных сайтах может попасть в индекс уже через несколько минут после публикации. Если на сайт не ведет ни одна ссылка с других ресурсов, то для привлечения поисковых роботов ресурс необходимо добавить через специальную форму (Центр вебмастеров Google, панель вебмастера Яндекс и т.д.).

Виды поисковых роботов

Пауки Яндекса:

  • Yandex/1.01.001 I — основной бот, занимающийся индексацией,
  • Yandex/1.01.001 (P) — индексирует картинки,
  • Yandex/1.01.001 (H) — находит зеркала сайтов,
  • Yandex/1.03.003 (D) — определяет, соответствует ли страница, добавленная из панели вебмастера, параметрам индексации,
  • YaDirectBot/1.0 (I) — индексирует ресурсы из рекламной сети Яндекса,
  • Yandex/1.02.000 (F) — индексирует фавиконы сайтов.

Пауки Google:

  • Робот Googlebot — основной робот,
  • Googlebot News — сканирует и индексирует новости,
  • Google Mobile — индексирует сайты для мобильных устройств,
  • Googlebot Images — ищет и индексирует изображения,
  • Googlebot Video — индексирует видео,
  • Google AdsBot — проверяет качество целевой страницы,
  • Google Mobile AdSense и Google AdSense — индексирует сайты рекламной сети Google.

Другие поисковики также используют роботов нескольких видов, функционально схожих с перечисленными.

Добавить комментарий

Ваш адрес email не будет опубликован. Обязательные поля помечены *