Асессоры яндекса: Кто такие асессоры «Яндекса» и Google, и как стать одним из них

кто такой, что делает, как им стать

Положительная репутация в поисковых системах без помех от недоброжелателей возможна с Семантикой!

Узнайте стоимость

Получи нашу книгу «Контент-маркетинг в социальных сетях: Как засесть в голову подписчиков и влюбить их в свой бренд».

Подпишись на рассылку и получи книгу в подарок!

Асессор Яндекса – это человек, который вручную проверяет соответствие запроса контенту страницы.

Больше видео на нашем канале — изучайте интернет-маркетинг с SEMANTICA

Например, на запрос “Кошачий корм” поисковая система выдала следующие сайты:

• Интернет-магазин кошачьего корма.
• Страницу, каким кормом кормить кота.
• Страницу о породах кошек.

Асессор оценивает, правильно ли составлена выборка поисковой системой.

Например, под запрос подходит лучше всего контент первого сайта. А породы кошек и корма — это разные темы.

Такие оценки учитываются поисковыми алгоритмами. На их основе машина обучается. И выдача становится все более релевантной введенному запросу.

Зачем нужны асессоры

Мы уже сказали, что асессоры “обучают” поисковые алгоритмы, явно указывая, какие сайты нужно выводить для конкретного запроса.

Другой задачей таких специалистов является проверка, не используются ли запрещенные методы продвижения.

Например, асессор может проверять содержимое тега keywords — нет ли там переспама нерелевантными ключами. И несмотря на то, что он уже не влияет на выдачу, если тег заполнен неправильно — асессор может наложить санкции на сайт.

Асессоры просматривают жалобы потребителей на черный PR, рассматривают сайты в ТОП-списке и выделяют несоответствующие запросу, чтобы затем удалить их.

Основные требования к экспертам

Чтобы стать асессором Яндекса, требуется:

• свободное владение английским языком (Intermediate) и умение на нем изъясняться и грамотно писать;
• уверенное владение ПК;
• хороший, надежный интернет;
• общая эрудиция, любознательность и широкий кругозор;
• внимательность, усидчивость, грамотность;
• склонность к монотонной и не всегда интересной работе.

Сайты для отслеживания, с которыми работают асессоры, могут быть совершенно разной тематики: от магазинов детских игрушек до трансконтинентальных перелетов.

Как стать асессором

Вас ожидает удаленная работа со сдельной оплатой труда. Точную сумму заработка никто не разглашает.

Прежде чем откликнуться, удостоверьтесь, что вы обладаете всеми требованиями, предъявляемыми к асессорам. Грамотно заполните готовую анкету и направьте отклик. Эрудиция и оригинальность могут сыграть вам на руку. После этого вам будет предложен тест, который покажет, насколько хорошо вы владеете компьютером, а также выявит ваши персональные качества. Помните, что асессоры должны быть усидчивы и внимательны к мелочам, а также обладать развитой логикой. Трудно сказать, сколько асессоров в Яндексе, но поскольку сайтов десятки миллионов, шанс получить эту работу есть всегда.

Специфика работы

Все задания будут направлены на анализ качества работы поисковика. Например, вам могут поставить цель вручную проверить первые десять сайтов, появляющиеся при конкретном запросе. Нужно будет отсортировать и отбраковать странички по их релевантности, спаму, количеству рекламы и т. д. Или сравнить две-три страницы и выбрать из них ту, которая наиболее полно отражает информацию по поиску.

Программисты Yandex создали специальный сервис «Толока», на котором любой желающий за символическую плату может выполнять аналогичные задания. Конечно, заработать здесь не получится, а вот понять на практике, что значит асессор и как работают поисковики, можно.

Оценки экспертов

Чтобы исключить человеческий фактор, оценки выставляет сразу несколько экспертов.

Итоговая оценка о качестве сайта и релевантности поиска выводится на основании всех мнений. При совершенно противоположных мнениях асессоров администратор выясняет причину несоответствия и может корректировать данные, которые затем поступают в аналитический отдел.

Эксперт имеет право выдать два вида оценок: предварительную, предусматривающую наличие/отсутствие порнографической информации и вирусов, и оценку на соответствие.

Если предварительный осмотр показал, что такие данные содержатся на странице, дальнейшее изучение материалов прекращается.

Релевантный осмотр позволяет отнести файл к конкретной категории:

• витальная — это официальный сайт.
• полезная — значит, что на страничке содержится полная информация по запросу.
• релевантная+ — соответствует запросу.
• релевантная— — не совсем соответствует.
• нерелевантная — категорически не подходит.
• спам — на сайте есть информация, с помощью которой разработчики пытались обмануть поисковик.
• не про то — к этой категории относят все документы, проходящие у автоматической системы под критерий поиска, но в корне ему не соответствующие.

Можно ли повлиять на оценку асессора

В очень упрощенной форме оценка каждой интернет-страницы осуществляется по нескольким направлениям:

1. Сайт должен быть современный во всем, в том числе и в дизайне. До сих пор изредка встречаются старые сайты, разработанные более 10 лет назад, с неизменными данными, но это скорее исключение из правила, которое довольно скоро исчезнет.
2. Открыв страницу, пользователь должен мгновенно понять, какие услуги здесь предоставляются. Грамотно разработанное меню прибавит несколько очков.
3. После этого оценивается сервис вашего сайта: насколько легко найти на нем ту или иную информацию, есть ли ранжирование поиска по каким-то показателям и другие компоненты, необходимые для удобства посетителей. Каждая отдельная вкладка должна отображать информацию об одном товаре.
4. Следом идет оценка качества ваших услуг: какой ассортимент товаров вы предоставляете, по каким ценам, есть ли доставка, бонусы, скидки, накопительные системы и т. д.
5. Важно, чтобы информация о контактах, юридическом лице, адресах была максимально информативно и полно отображена.

Требования, предъявляемые асессорами к сайтам, помогают увеличивать количество посещений и совершаемых покупок, их выполнение привлекает клиентов и помогает повыше подняться в ТОПе.

Именно благодаря таким экспертам-асессорам поисковая система Yandex отслеживает все запросы. В большинстве случаев оценка этих нужных специалистов полностью совпадает с мнением потребителей.

Как разместить информацию о «доставке» на сайте, чтобы понравиться и асессорам «Яндекса», и пользователям — SEO на vc.ru

Привет, на связи Seoremica. На продвигаемый интернет-магазин приходили проверяющие из «Яндекс.Толоки» 🔥. Два дня подряд удается наблюдать сеансы в Вебвизор. Что они проверяют? Делюсь информацией и предполагаю в каких разделах сайта необходимо рассказывать о доставке пользователям. И как не «погореть» при визите асессоров и краудсорсинге.

1990 просмотров

Начну с терминов. С iframe-toloka.com на сайт заходят не асессоры. Это пользователи, которые выполняют задания для обучения нейросети Яндекс. Специализированных знаний для этого не требуется, задания достаточно простые, но для многих владельцев сайта визиты воспринимаются не иначе как асессорская проверка. Хоть по сути это не так, выводы сделать все равно интересно.

Навигация по статье

Что смотрели проверяющие с Яндекс.Толока?

Что проверяли и вводили в поле?

Выводы о просмотренных визитах

Пример плохой реализации товарной карточки

Пример правильной реализации товарной карточки

Скриншоты с хорошими товарными карточками

Всегда ли требуется такая реализации?

Подводим итоги

Что смотрели проверяющие с Яндекс.Толока?

В моем распоряжении более двухсот свежих записанных визитов. По другим проектам статистики накопилось значительно больше. К счастью, отсмотреть записи визитов удавалось вовремя.

На этот раз интересовала их информация о доставке. Стартовой страницей стала товарная карточка. Попадая на нее, проверяющие отправлялись изучать информацию виджета с расчетом стоимости доставки.

Скриншот из Вебвизор

Возможно, на приведенном скриншоте это не слишком заметно, но в большинстве случаев проверяющие обводили курсором

способы доставки. Чтобы вы могли сделать выводы о логике моей аналитики, добавляю еще несколько примеров с передвижением курсора (а вместе с ним и внимания пользователей).

Скриншот из Вебвизор

Скриншот из Вебвизор

Проверка возможности изменения города

Далее аудиторы кликали на кнопку смены города, вводили свой вариант, фиксировали обновление информации на странице, после чего завершали сеанс.

Скриншот из Вебвизор

Интересное наблюдение: целая группа проверяющих вводила один и тот же географический пункт: Анна, Аннинский район, Воронежская область. Так что Воронеж на скриншоте выше совсем не случайность.

Скриншот из Вебвизор

Уже сейчас я добавил краткий пересказ большинства заходов с iframe-toloka.com и показал главное. Прежде чем поделиться своими выводами об увиденном, хочу поинтересоваться. Как вы считаете, что вообще оценивается как положительный результат, применительно к оформлению доставки в товарной карточке?

Выводы о просмотренных визитах

На самом деле, выводы были сделаны задолго до просмотренных сеансов пользователей из Толоки. Увиденное сейчас лишь подтвердило правильность моего понимания качества товарной карточки. Поделюсь ими с вами.

Раньше общепринятой реализацией был расчет стоимости доставки в корзине на этапе оформления заказа. Нужно было добавить товар в корзину, кликнуть по иконке, перейти к оформлению заказа и в одном из пунктов (не самом первом, кстати) выяснить, что доставки в нужный город нет, а стоимость доставки превышает стоимость заказа.

Здесь уже можно бросать корзину и искать интернет-магазин с более дружественным интерфейсом. До сих пор многие шаблоны интернет-магазинов предлагают пользователям именно такой сценарий.

Уже из описанной мной логики становится понятно, что для пользователей это не удобно. В условиях жесткой конкуренции, вы и сами не будете тратить время на заполнение всех полей, если не увидите возможность доставки в ваш город сразу в товарной карточке. На мой взгляд, это и оценивали аудиторы Толоки.

Считаю, что не предоставление полной информации о доставке в товарной карточке не только ухудшает конверсию, но и является прямым сигналом для поисковых систем к пессимизации страницы.

Пример плохого информирования о доставке

Приведу пример часто встречающейся реализации. Когда есть информация о способах доставки, но нет никакой информации о зоне доставки. Отправится ли товар в Екатеринбург? А сколько это займет времени? Изменится ли цена?

Попробуйте ответить на эти вопросы, рассмотрев товарную карточку получше.

Товарная карточка случайного интернет-магазина

Совершенно непонятно, осуществляется ли доставка по России. Самовывоз первым пунктом усиливает сомнения об ограниченном регионе работы компании.

Если в процессе поиска информации о доставке опуститься ниже (на мобильных так и произойдет), мы увидим такой футер:

Москва в футере может быть расценена, как регион работы компании, что снизит конверсию из остальной России.

Это, кстати, реальный кейс. Проводя SEO-аудит клиентского сайта обнаружил, что товарные карточки дают более 44% отказов. Оценил региональность трафика и выяснил, что 22% приходится на Санкт-Петербург, оставшиеся 78% — Россия. В товарной карточке информации о доставке не было, зато сразу под карточкой в футере указан фактический адрес магазина в Питере. Конверсия из Санкт-Петербурга была самой высокой, а остальной трафик почти не конвертировался, полагая, что это региональный магазин.

Павел Михайлов, SEOREMICA

Как и описывал ранее, шаблон магазина из примера предполагает заполнение полей с указанием нужного города, но уже внутри корзины. Вторым пунктом, дойти до которого можно только подтвердив первый:

Функционал корзины случайного интернет-магазина

На мой взгляд, сегодня подобная реализация будет расценена асессорами как нежелательная и манипулятивная. Объясню, что имею ввиду.

Такая реализация создает дефицит информации. Пользователь до самого конца не знает, сколько ему придется заплатить, когда получит заказ, и в какой регион он вообще может быть доставлен. При такой реализации мы вынуждаем пользователей добавлять товар в корзину.

Подобная реализация может расцениваться как манипуляция с целью улучшения поведенческих сигналов. На практике, правда, это приводит к обратному эффекту — страницы быстро закрываются.

Еще хуже, когда шаблон первым пунктом при оформлении заказа запрашивает контакты, и даже требует пройти быструю регистрацию по смс, чтобы предоставить информацию, которую продавец обязан предоставить покупателю еще до начала продажи. Чем не повод для понижения страницы?

Любой краудсорсинг сможет подтвердить нежелательные манипуляции, просто зафиксировав отсутствие информации до начала оформления заказа. Пока это явление не частое, но я отчетливо вижу направление проверок. Уверен, что анализировать логику корзины будут уже профессиональные асессоры, и на метрике их визиты так просто мы не заметим. Тем более с h.yandex-team.ru на сайт может заходить кто угодно.

Краудсорсинг — это явление, при котором большую задачу решают все желающие без специальных знаний, а в случае Толоки за вознаграждение.

Вынося за рамки все описанное выше, основной вывод звучит так:

Пример правильной реализации товарной карточки

Не лишним будет разобрать пример корректного добавления информации о доставке. Сразу оговорюсь, что правильность основана исключительно на моем практическом опыте и увиденном в Вебвизор.

Что показывать пользователю?

В товарной карточке, на мой взгляд, должны присутствовать:

• Возможность выбора города доставки. Последние проверки аудиторов с Яндекс.Толоки однозначно нам об этом говорят. Да и логика продаж это утверждение подтверждает. Легко представить, как находясь в Москве, я заказываю товар домой в Санкт-Петербург. Или любой другой удаленный регион России, например, в подарок. В этом случае GEO IP полезен для актуализации города, но все потребности клиента не закрывает.
• Перечислены все способы доставки. У пользователей должен быть выбор, каким сервисом доставки воспользоваться. Поскольку выбор будет зависеть от сроков доставки и итоговой стоимости, эту информацию мы также обязаны предоставлять заранее.
• Автоматический перерасчет стоимости доставки после смены города и при выборе способа доставки. Иначе информация на странице будет не актуальной. Хороших последствий в этом случае ожидать не будем.

Я прекрасно понимаю возможные возражения. Не всегда можно указать точную стоимость доставки, особенно когда не указаны вес и габариты товара, или они не учтены при автоматическом расчете. Об этом необходимо сообщать в товарной карточке. Сделать это возможно без потери конверсии, тестировали. В иных случаях, разрабатывается персональное решение. Для большинства классических ниш расчет стоимости доставки все таки возможен.

Павел Михайлов, SEOREMICA

Скриншоты хороших примеров

Покажу примеры, которые лично мне понравились.

Указано все, что необходимо. При клике на i можно раскрыть рекомендации и условия. 

Реализация из примера выше закрывает все задачи. Пользователь сразу видит город и получает возможность уточнить населенный пункт. Все варианты доставки со сроками и стоимостью (в некоторых случаях, с диапазоном цен). Это хорошо.

Еще один пример товарной карточки, которая получила бы положительную оценку:

www.chitai-gorod.ru

На мой взгляд, в этой товарной карточке многое продумано за пользователя. Можно не просто узнать, что самовывоз бесплатный, но и сразу выбрать адрес на карте. Это очень удобно. Отличный вариант для интернет-магазинов с ограниченным количеством способов доставки.

Сменить город тоже легко:

Этот шаг, конечно, я бы упростил. На мой взгляд подтверждение «а точно ли хотите сменить город?» лишнее. Но сама логика и как все это расположено на странице — очень хорошо.

Всегда ли требуется такая реализации?

Конечно же, нет никаких двух полюсов. Что правильно для одной ниши, может иметь свои нюансы в другой. Однако реализовав карточку таким образом — сделаем удобнее для пользователей, а значит решение правильное. Но нельзя не отметить в статье «нюансы».

Я занимаюсь продвижением вейп-шопа (хороший SEO-кейс об этом проекте публиковал), и в этой нише есть немало ограничений. Они касаются и доставки. Дистанционная продажа никотиносодержащей продукции запрещена законодательством РФ. Наличии информации о доставке с учетом количества проверок вообще вещь нежелательная. Зато есть интересные пример в оформлении.

zenmod.shop

Любопытной мне эта реализация показалась еще и тем, что акцент сделан на получении заказа в выбранном городе. Полные же условия доставки доступны по ссылке. С одной стороны есть и конкретный регион, и срок получения заказа, при этом само наличие выбора города доставку подразумевает. Вообще ограничений на доставку конкретно этой категории товаров нет. Но с учетом динамики, куда ниша движется, реализация, кажется, интересной.

Подобную реализацию я встречал и в нишах, где нет ограничений. Возникает вопрос, а как бы оценили ее аудиторы с Толоки? Вопрос дискуссионный. Вы сами как думаете?

Подводим итоги

Итоги я подведу о том, с чего начал статью: с посещений из Яндекс.Толока. Не секрет, что подобные проверки призваны обучить в будущем нейросеть отличать хорошее от плохого без помощи человека. Для меня лично самым показательным при проверке стало использование аудиторами одного и того же географического пункта. Уверен, если бы в поселок Анна возможности доставить товар не было, получили бы отрицательную оценку.

Для себя делаю вывод, что для Яндекс важна территория доставки и «зона покрытия». В нейросеть пойдет информация о положительной оценке для страниц с возможностью изменять регион доставки.

Отрицательным результат был бы в случае отсутствия способов доставки с указанием цен. Это только мое мнение и вы можете с ним как согласиться, так и привести контраргументы в комментариях. Буду рад интересной дискуссии.

Такие выводы у меня получились на этот раз.

Этим я хотел поделиться с вами сегодня. Не скрою, буду рад видеть вас среди подписчиков в своем SEO блоге на vc. Это мотивирует писать чаще и лучше! Если вам интересны выводы о других проверках асессоров, дайте мне об этом знать.

Предложить дополнения к материалу или обсудить со мной задачу по SEO можно в Telegram: https://t.me/seoremica

Увидимся в комментариях к материалу! Стараюсь отвечать на каждый.

сервисных партнеров Яндекса | Устойчивое развитие

Инвестиции в людей

Сотрудничая с сервисами Яндекса, различные лица и компании получают возможность зарабатывать деньги, имея свободу выбора, когда и как они взаимодействуют с Яндексом. Хотя в Яндексе есть отдельные команды, предназначенные для оказания поддержки каждой группе партнеров, все они руководствуются одной и той же целью: обеспечить безопасную и надежную работу наших партнеров.

Драйверы

Яндекс. Го и партнеры по доставке и выполнению заказов Яндекс.Доставки

Курьеры

Яндекс.Еда, Delivery Club, Яндекс.Лавка и Яндекс.Деливери Партнеры по доставке заказов проверка качества

Tolokers

Работники в партнерстве с Toloka, международным решением для маркировки данных для машинного обучения

Продуктовые магазины

Партнеры Yandex Eats и Delivery Club, использующие платформу для доставки

Компании, управляющие автопарком

Партнеры Yandex Go, подключающие свой автопарк к платформе

Продавцы

Партнеры Яндекс Маркета, размещающие свои товары на торговой площадке

Рестораны

Yandex Eats и партнеры Delivery Club, подключенные к платформе и предлагающие варианты доставки

Рекламные компании

Компании, размещающие рекламу через Яндекс Директ или Рекламную сеть Яндекса

Мелкие производители продуктов питания

Партнеры Яндекс Лавки, поставляющие свою продукцию в темные магазины сервиса

. ..и другие

Наши принципы

Гибкость

сведение к минимуму любых препятствий для использования этих возможностей.

Надежность

Наша цель — сделать наши услуги устойчивыми к любым сбоям, чтобы наши партнеры всегда имели доступ к заказам, применимым преимуществам и получали самую последнюю информацию и поддержку.

Правосудие

Мы следим за тем, чтобы наши правила были прозрачными, и наши партнеры знали о них. Мы ничего не делаем без уважительной причины и всегда можем четко объяснить свои решения при разрешении жалобы или выпуске релиза продукта.

Партнерские льготы

Добровольное медицинское страхование

Яндекс выделил 1 млрд рублей на программу добровольного медицинского страхования, разработанную для водителей и курьеров, до конца 2022 года.

Яндекс — первая компания в России и странах СНГ, полностью или частично возмещающая стоимость страхового полиса правомочным партнерам. Пилотная схема была запущена в марте 2021 года, а к концу года стала доступна по всей России для водителей и курьеров (самозанятых, индивидуальных предпринимателей или таксистов).

Страхование от несчастных случаев

По умолчанию все водители и курьеры (а также таксисты) получают страхование от несчастных случаев с покрытием до 2 млн рублей на время дежурства в Яндекс Go. Выплаты производятся в соответствии с утвержденным страховым полисом.

Разрешение споров

У каждого водителя и курьера, которые были оштрафованы или заблокированы Яндексом в сервисе, есть возможность обжаловать решение и запросить беспристрастное мнение комиссии водителей и курьеров. Комитет призван способствовать диалогу между сервисом и сервисными партнерами, предоставляя водителям и курьерам право голоса при принятии окончательного решения.

Водители, борющиеся с недисциплинированным поведением пассажиров, могут защитить свои интересы, активировав функцию «Конфликт» в приложении «Яндекс Про»: оно запускает аудиозапись, чтобы зафиксировать все, что происходит в автомобиле. Мы также разработали специальные подкасты для водителей с рекомендациями по поведению в конфликтных ситуациях.

Поддержка инвалидов

С 2018 года мы адаптируемся к потребностям глухих и слабослышащих сервисных партнеров, чтобы им было легче зарабатывать на жизнь с помощью наших платформ. Существуют специальные веб-ресурсы, которые предоставляют им все необходимые сведения для подготовки к работе, а также учебные материалы на языке жестов. Мы также встроили функции в партнерские и пользовательские приложения, чтобы обеспечить бесперебойную связь. Партнеры с нарушениями слуха получают запросы на заказ через чат или световые оповещения вместо звонков или звуковых уведомлений, а клиентов просят объяснить все детали в письменной форме.

Другие льготы

Сервисные партнеры, работающие не по найму или индивидуальные предприниматели, имеют доступ к программе юридической поддержки, которая предлагает до трех бесплатных консультаций в месяц.

Все водители, участвующие в программе лояльности, могут воспользоваться дебетовой картой, дающей высокий кэшбэк на топливо, мойку и ремонт и другие услуги по обслуживанию автомобиля.

Сервисным партнерам предлагаются бесплатные образовательные возможности. В 2021 году мы предложили обучение финансовой грамотности, посвященное основам управления личными финансами, а также обучение цифровой профессии (RU) на онлайн-платформе «Практикум» от Яндекса.

Partner Safety

Мониторинг безопасного вождения

Мы внедрили системы на основе GPS, которые отслеживают скорость движения, уведомляют водителей о дорожно-транспортных происшествиях, школьных зонах и других зонах, где запрещено превышение скорости, и предупреждают их о превышении скорости лимит превышен.

Безопасная езда на велосипеде

Мы сотрудничаем с тысячами велосипедных курьеров и планируем увеличить их долю в рамках наших экологических обязательств.

Автомобильные телепроверки

Все транспортные средства должны проходить регулярные телепроверки безопасности, чтобы убедиться, что они соответствуют всем применимым стандартам безопасности.

Меры против усталости

Важно, чтобы наши партнеры хорошо отдыхали при исполнении служебных обязанностей. Например, мы внедрили систему контроля за сменами, чтобы курьеры не перегружались. Специальная опция в приложении Яндекс Про показывает рестораны, в которых есть зоны отдыха для курьеров, бесплатный чай, вода и зарядка телефона.

Полезные материалы

• Материальная помощь в период пандемии (RU)
• Информация для глухих и слабослышащих водителей (RU)
• Безопасность водителя (RU)

Новый уровень качества поиска

Качество поиска

Работа поисковой системы заключается, прежде всего, в том, чтобы давать ответы на запросы пользователей. В ответ на каждый запрос поисковая система возвращает ссылки на веб-страницы, которые она находит в своем индексе — базе данных веб-страниц, известных этой конкретной поисковой системе.

Таким образом, ответ на запрос пользователя приходит в виде результатов поиска — списка гиперссылок на веб-страницы, содержание которых соответствует данному запросу.

Вот как это работает:

В наши дни трудно найти поисковый запрос, который выдавал бы менее дюжины результатов. Большинство поисковых запросов будут получать ссылки на миллионы веб-страниц. Количество ответов, потенциально соответствующих любому заданному поисковому запросу, растет все быстрее вместе с быстрым развитием Интернета. Не имеет особого смысла предоставлять пользователю все существующие потенциально совпадающие страницы — человеку придется просмотреть десятки ресурсов, прежде чем появится что-то полезное. Вместо этого поисковая система ранжирует результаты поиска, помещая наиболее релевантные из них на первое место.

Глядя на эти результаты поиска, пользователь может чувствовать себя вполне удовлетворенным, не совсем удовлетворенным или совсем не удовлетворенным. Это субъективное ощущение получения (или не получения) того, что искали, описывает качество поиска с точки зрения пользователя — полезна ли эта информация для меня? Хитрость заключается в том, чтобы описать и измерить все эти субъективные отношения и принять во внимание всех. Качество поиска зависит от того, насколько хорошо ранжированы результаты поиска . Ранжирование означает сортировку результатов поиска таким образом, чтобы они соответствовали ожиданиям пользователя.

Машинное обучение

Невозможно построить идеальный алгоритм, который выдавал бы наилучший возможный результат для каждого возможного запроса. Ежедневно поисковая система Яндекса обрабатывает почти 200 000 000 запросов. Почти половина этих запросов уникальны. Чтобы успешно справиться с этим грузом вопросов, поисковая система должна уметь принимать решения на основе предыдущего опыта, то есть учиться.

Машинное обучение необходимо не только в поисковых технологиях. Распознавание речи или текста, например, также невозможно без обучения машины. Термин «машинное обучение», придуманный в 50-х годах, в основном означает усилия, направленные на то, чтобы заставить компьютер выполнять задачи, естественные для человеческого поведения, но трудно разбиваемые на алгоритмические паттерны, «понимаемые» машинами. Обучающаяся машина — это машина, способная принимать собственные решения на основе входных алгоритмов, эмпирических данных и опыта.

Принятие решений, однако, является человеческим качеством, которым машина не может овладеть. Однако он может научиться создавать и применять правило, которое поможет решить , является ли конкретная веб-страница хорошим ответом на вопрос пользователя или нет.

Это правило основано на свойствах веб-страниц и запросах пользователей. Некоторые из этих свойств, такие как количество ссылок, ведущих на конкретную страницу, являются статическими — описывающими веб-страницу, в то время как другие, например, есть ли на веб-странице слова, соответствующие поисковому запросу, сколько и где на странице, являются dynamic — описывает как веб-страницу, так и поисковый запрос. Есть также свойства, специфичные только для поисковых запросов, например геолокация. Для поисковой системы это означает, что, чтобы дать хороший ответ на вопрос пользователя, она должна учитывать, откуда пришел этот вопрос.

Эти поддающиеся количественной оценке свойства веб-страниц и поисковых запросов называются факторами ранжирования . Эти факторы играют ключевую роль в выполнении точного поиска и принятии решения о том, какие результаты являются наиболее релевантными. Чтобы поисковая система выдавала релевантные результаты по запросу пользователя, она должна учитывать множество таких факторов.

;
Три типа факторов ранжирования:

Чтобы соответствовать ожиданиям пользователей, поисковой системе требуются образцы пользовательских запросов и сопоставление результатов, которые пользователи уже считают удовлетворительными. Оценщики — люди, которые решают, предлагает ли конкретная веб-страница «хороший» ответ на определенный поисковый запрос, — предоставляют свои оценки. Несколько поисковых ответов вместе с соответствующими запросами составляют обучающую выборку для поисковой системы, которая «научится находить» определенные зависимости между этими веб-страницами и их свойствами. Чтобы правдиво представить шаблоны поиска реальных пользователей, обучающая выборка должна включать все виды поисковых запросов в той пропорции, в которой они встречаются в реальной жизни.

После того, как поисковая система нашла зависимости между веб-страницами в обучающей выборке и их свойствами, она может выбрать наилучшую формулу ранжирования для результатов поиска, которые она может предоставить по запросу конкретного пользователя, и вернуть наиболее релевантные из них поверх всех остальные.

Подумайте об обучении машины собирать самые вкусные яблоки. Сначала оценщики откусывают от каждого яблока в «дегустационном ящике» и кладут все вкусные яблоки справа, а все кислые — слева. В этом ящике находятся яблоки всех сортов в той же пропорции, в какой они, вероятно, будут расти в саду. Машина не может попробовать яблоки на вкус, но может анализировать их свойства, такие как размер, цвет, содержание сахара, твердость, наличие или отсутствие листа. Дегустационный ящик — это обучающий образец, который позволяет машине научиться выбирать яблоки с выигрышным сочетанием свойств: размера, цвета, сладости и твердости. Хотя ошибки неизбежны. Например, если у машины нет информации о личинках насекомых, в отобранных ею лучших яблоках может скрываться червяк. Чтобы свести к минимуму вероятность ошибки, машина должна учитывать максимальное количество свойств яблок.

MatrixNet

Машинное обучение внедряется в поисковые технологии с начала нулевых. Разные поисковые системы используют разные модели. Одна из проблем машинного обучения — переобучение . Алгоритм, который подгоняет свои данные, подобен студенту-второкурснику, который ставит себе диагноз по всем возможным симптомам, о которых он прочитал в своем руководстве. Еще не познакомившись с реальной практикой, он придумывает причины для естественных вещей, которые наблюдает.

Когда компьютер использует большое количество факторов (в нашем случае свойства веб-страниц и поисковых запросов) на относительно небольшой обучающей выборке («хорошие» результаты по оценке асессоров), он начинает находить несуществующие зависимости . Например, обучающая выборка может случайно включать две разные страницы, каждая из которых имеет одну и ту же конкретную комбинацию факторов, например, обе они имеют размер 2 КБ, с фиолетовым фоном и текстом, начинающимся с «А». И по чистой случайности обе эти страницы оказались релевантными поисковому запросу [яблоко]. Компьютер может счесть это случайное сочетание факторов необходимым для того, чтобы результат поиска соответствовал поисковому запросу [яблоко]. В то же время менее важными будут считаться все веб-страницы, предлагающие действительно актуальную и полезную информацию о яблоках, но лишенные именно этого сочетания факторов.

В 2009 году Яндекс запустил MatrixNet, новый метод машинного обучения. Ключевой особенностью этого метода является его устойчивость к переобучению, что позволяет поисковой системе Яндекса учитывать очень большое количество факторов при принятии решения о релевантности результатов поиска. Но теперь поисковой системе не нужно больше образцов результатов поиска, чтобы научиться отличать «хорошее» от «не очень хорошего». Это защищает систему от ошибок, находя несуществующие зависимости.

MatrixNet позволяет генерировать очень длинную и сложную формулу ранжирования, учитывающую множество различных факторов и их комбинаций. Альтернативные методы машинного обучения либо создают более простые формулы с использованием меньшего количества факторов, либо требуют большей обучающей выборки. MatrixNet строит формулу на основе десятков тысяч факторов, что значительно повышает релевантность результатов поиска.

Еще одной важной особенностью MatrixNet является возможность настройки формулы ранжирования для определенного класса поисковых запросов. Между прочим, настройка алгоритма ранжирования, скажем, для поиска музыки не повлияет на качество ранжирования для других типов запросов. Алгоритм ранжирования похож на сложный механизм с десятками кнопок, переключателей, рычагов и датчиков. Обычно любой поворот любого отдельного переключателя в механизме приводит к глобальным изменениям во всей машине. Однако MatrixNet позволяет настраивать определенные параметры для определенных классов запросов, не вызывая капитального ремонта всей системы.

Изменение одного параметра в разных формулах ранжирования:

Кроме того, MatrixNet может автоматически выбирать чувствительность для определенных диапазонов факторов ранжирования. Это как пытаться услышать чей-то шепот на аэродроме. Образно говоря, MatrixNet слышит и шепот, и звук приземляющихся или взлетающих самолетов.

Ранжирование

Для каждого запроса пользователя поисковая система должна оценивать свойства миллионов страниц, оценивать их релевантность и ранжировать их в соответствии с наиболее релевантными. Последовательное сканирование каждой страницы потребовало бы либо огромного количества серверов (которые могли бы обработать все эти страницы очень быстро), либо заняло бы много времени — но поисковик не может ждать. MatrixNet решает эту проблему, поскольку позволяет проверять веб-страницы по очень большому количеству факторов ранжирования без увеличения вычислительной мощности.

В ответ на каждый запрос более тысячи серверов одновременно выполняют поиск. Каждый сервер выполняет поиск в своей части индекса, чтобы получить список лучших результатов. Этот список гарантированно включает веб-страницы, наиболее релевантные данному запросу.

Следующим шагом является создание окончательного списка лучших результатов на основе всех этих списков наиболее релевантных страниц, созданных каждым сервером. Затем эти результаты ранжируются с использованием длинной и сложной формулы MatrixNet, которая позволяет учитывать множество факторов ранжирования и их комбинаций. Таким образом, наиболее релевантные веб-сайты попадают в топ результатов поиска, чтобы пользователь мог практически мгновенно получить ответ на свой вопрос.