Что такое поисковые системы и для чего они нужны – Поиск информации в сети Интернет. Полезные и интересные ссылки в Интернет. Мытищинский филиал МГТУ им. Н. Э. Баумана (МГУЛ)

Поисковая система — Википедия

Поиск информации во Всемирной паутине был трудной и не самой приятной задачей, но с прорывом в технологии поисковых систем в конце 1990-х годов осуществлять поиск стало намного удобней

Поиско́вая систе́ма (англ. search engine) — это компьютерная система, предназначенная для поиска информации^{[источник не указан 371 день]}. Одно из наиболее известных применений поисковых систем — веб-сервисы для поиска текстовой или графической информации во Всемирной паутине. Существуют также системы, способные искать файлы на FTP-серверах, товары в интернет-магазинах, информацию в группах новостей Usenet.

Для поиска информации с помощью поисковой системы пользователь формулирует поисковый запрос^[1]. Работа поисковой системы заключается в том, чтобы по запросу пользователя найти документы, содержащие либо указанные ключевые слова, либо слова, как-либо связанные с ключевыми словами^[2]. При этом поисковая система генерирует страницу результатов поиска. Такая поисковая выдача может содержать различные типы результатов, например: веб-страницы, изображения, аудиофайлы. Некоторые поисковые системы также извлекают информацию из подходящих баз данных и каталогов ресурсов в Интернете.

Поисковая система тем лучше, чем больше документов, релевантных запросу пользователя, она будет возвращать. Результаты поиска могут становиться менее релевантными из-за особенностей алгоритмов (см. «Пузырь фильтров»^[⇨]) или вследствие человеческого фактора^[⇨]. По состоянию на 2015 год самой популярной поисковой системой в мире является Google, однако есть страны, где пользователи отдали предпочтение другим поисковикам. Так, например, в России «Яндекс» обгоняет Google больше, чем на 10 %^[⇨].

По методам поиска и обслуживания разделяют четыре типа поисковых систем: системы, использующие поисковых роботов, системы, управляемые человеком, гибридные системы и мета-системы^[⇨]. В архитектуру поисковой системы обычно входят:

• поисковый робот, собирающий информацию с сайтов сети Интернет или из других документов,
• индексатор, обеспечивающий быстрый поиск по накопленной информации, и
• поисковик — графический интерфейс для работы пользователя^[⇨].

На раннем этапе развития сети Интернет Тим Бернерс-Ли поддерживал список веб-серверов, размещённый на сайте ЦЕРН^[3]. Сайтов становилось всё больше, и поддерживать вручную такой список становилось всё сложнее. На сайте NCSA был специальный раздел «Что нового!» (англ. What’s New!)^[4], где публиковали ссылки на новые сайты.

Первой компьютерной программой для поиска в Интернете была программа Арчи^[en] (англ. archie — архив без буквы «в»). Она была создана в 1990 году Аланом Эмтэджем (Alan Emtage), Биллом Хиланом (Bill Heelan) и Дж. Питером Дойчем (J. Peter Deutsch), студентами, изучающими информатику в университете Макгилла в Монреале. Программа скачивала списки всех файлов со всех доступных анонимных FTP-серверов и строила базу данных, в которой можно было выполнять поиск по именам файлов. Однако, программа Арчи не индексировала содержимое этих файлов, так как объём данных был настолько мал, что всё можно было легко найти вручную.

Развитие и распространение сетевого протокола Gopher, придуманного в 1991 году Марком Маккэхилом (Mark McCahill) в университете Миннесоты, привело к созданию двух новых поисковых программ, Veronica^[en] и Jughead^[en]. Как и Арчи, они искали имена файлов и заголовки, сохранённые в индексных системах Gopher. Veronica (англ. Very Easy Rodent-Oriented Net-wide Index to Computerized Archives) позволяла выполнять поиск по ключевым словам большинства заголовков меню Gopher во всех списках Gopher. Программа Jughead (англ. Jonzy’s Universal Gopher Hierarchy Excavation And Display) извлекала информацию о меню от определённых Gopher-серверов. Хотя название поисковика Арчи не имело отношения к циклу комиксов «Арчи»

[en], тем не менее Veronica и Jughead — персонажи этих комиксов.

К лету 1993 года ещё не было ни одной системы для поиска в вебе, хотя вручную поддерживались многочисленные специализированные каталоги. Оскар Нирштрасс (Oscar Nierstrasz) в Женевском университете написал ряд сценариев на Perl, которые периодически копировали эти страницы и переписывали их в стандартный формат. Это стало основой для W3Catalog, первой примитивной поисковой системы сети, запущенной 2 сентября 1993 года^[5].

Вероятно, первым поисковым роботом, написанным на языке Perl, был «World Wide Web Wanderer» — бот Мэтью Грэя (Matthew Gray) из Массачусетского технологического института в июне 1993 года. Этот робот создавал поисковый индекс «Wandex». Цель робота Wanderer состояла в том, чтобы измерить размер всемирной паутины и найти все веб-страницы, содержащие слова из запроса. В 1993 году появилась и вторая поисковая система «Aliweb». Aliweb не использовала поискового робота, но вместо этого ожидала уведомлений от администраторов веб-сайтов о наличии на их сайтах индексного файла в определённом формате.

JumpStation^[en], ^[6] созданный в декабре 1993 года Джонатаном Флетчером, искал веб-страницы и строил их индексы с помощью поискового робота, и использовал веб-форму в качестве интерфейса для формулирования поисковых запросов. Это был первый инструмент поиска в Интернете, который сочетал три важнейших функции поисковой системы (проверка, индексация и собственно поиск). Из-за ограниченности ресурсов компьютеров того времени индексация и, следовательно, поиск были ограничены только названиями и заголовками веб-страниц, найденных поисковым роботом.

Первой полнотекстовой индексирующей ресурсы при помощи робота («craweler-based») поисковой системой, стала система «WebCrawler»^[en], запущенная в 1994 году. В отличие от своих предшественниц, она позволяла пользователям искать по любым словам, расположенным на любой веб-странице — с тех пор это стало стандартом для большинства поисковых систем. Кроме того, это был первый поисковик, получивший широкое распространение. В 1994 году была запущена система «Lycos», разработанная в Университете Карнеги-Меллон и ставшая серьёзным коммерческим предприятием.

Вскоре появилось множество других конкурирующих поисковых машин, таких как: «Magellan»^[en], «Excite», «Infoseek»^[en], «Inktomi»^[en], «Northern Light»^[en] и «AltaVista». В некотором смысле они конкурировали с популярными интернет-каталогами, такими как «Yahoo!». Но поисковые возможности каталогов ограничивались поиском по самим каталогам, а не по текстам веб-страниц. Позже каталоги объединялись или снабжались поисковыми роботами с целью улучшения поиска.

В 1996 году компания Netscape хотела заключить эксклюзивную сделку с одной из поисковых систем, сделав её поисковой системой по умолчанию на веб-браузере Netscape. Это вызвало настолько большой интерес, что Netscape заключила контракт сразу с пятью крупнейшими поисковыми системами (Yahoo!, Magellan, Lycos, Infoseek и Excite). За 5 млн долларов США в год они предлагались по очереди на поисковой странице Netscape

[7]^[8].

Поисковые системы участвовали в «Пузыре доткомов» конца 1990-х^[9]. Несколько компаний эффектно вышли на рынок, получив рекордную прибыль во время их первичного публичного предложения. Некоторые отказались от рынка общедоступных поисковых движков и стали работать только с корпоративным сектором, например, Northern Light^[en].

Google взял на вооружение идею продажи ключевых слов в 1998 году, тогда это была маленькая компания, обеспечивавшая работу поисковой системы по адресу goto.com^[en]. Этот шаг ознаменовал для поисковых систем переход от соревнований друг с другом к одному из самых выгодных коммерческих предприятий в Интернете^[10]. Поисковые системы стали продавать первые места в результатах поиска отдельным компаниям.

Поисковая система Google занимает видное положение с начала 2000-х^[11]. Компания добилась высокого положения благодаря хорошим результатам поиска с помощью алгоритма PageRank. Алгоритм был представлен общественности в статье «The Anatomy of Search Engine», написанной Сергеем Брином и Ларри Пейджем, основателями Google^[12]. Этот итеративный алгоритм ранжирует веб-страницы, основываясь на оценке количества гиперссылок на веб-страницу в предположении, что на «хорошие» и «важные» страницы ссылаются больше, чем на другие. Интерфейс Google выдержан в спартанском стиле, где нет ничего лишнего, в отличие от многих своих конкурентов, которые встраивали поисковую систему в веб-портал. Поисковая система Google стала настолько популярной, что появились подражающие ей системы, например, Mystery Seeker^[en](тайный поисковик).

К 2000 году Yahoo! осуществлял поиск на основе системы Inktomi. Yahoo! в 2002 году купил Inktomi, а в 2003 году купил Overture, которому принадлежали AlltheWeb

[en] и AltaVista. Затем Yahoo! работал на основе поисковой системы Google вплоть до 2004 года, пока не запустил, наконец, свой собственный поисковик на основе всех купленных ранее технологий.

Фирма Microsoft впервые запустила поисковую систему Microsoft Network Search (MSN Search) осенью 1998 года, используя результаты поиска от Inktomi. Совсем скоро в начале 1999 года сайт начал отображать выдачу Looksmart^[en], смешанную с результатами Inktomi. Недолго (в 1999 году) MSN search использовал результаты поиска от AltaVista. В 2004 году фирма Microsoft начала переход к собственной поисковой технологии с использованием собственного поискового робота — msnbot^[en]. После проведения ребрендинга компанией Microsoft 1 июня 2009 года была запущена поисковая система Bing. 29 июля 2009 Yahoo! и Microsoft подписали соглашение, согласно которому Yahoo! Search^[en] работал на основе технологии Microsoft Bing. На момент 2015 года союз Bing и Yahoo! дал первые настоящие плоды. Теперь Bing занимает 20,1 % рынка, а Yahoo! 12,7 %, что в общем занимает 32,60 % от общего рынка поисковых систем в США по данным из разных источников.

Поиск информации на русском языке[править | править код]

В 1996 году был реализован поиск с учётом русской морфологии на поисковой машине Altavista и запущены оригинальные российские поисковые машины Рамблер и Апорт. 23 сентября 1997 года была открыта поисковая машина Яндекс. 22 мая 2014 года компанией Ростелеком была открыта национальная поисковая машина Спутник, которая на момент 2015 года находится в стадии бета-тестировании. 22 апреля 2015 года был открыт новый сервис Спутник. Дети специально для детей с повышенной безопасностью.

Большую популярность получили методы кластерного анализа и поиска по метаданным. Из международных машин такого плана наибольшую известность получила «Clusty»^[en] компании Vivisimo^[en]. В 2005 году в России при поддержке МГУ запущен поисковик «Нигма», поддерживающий автоматическую кластеризацию. В 2006 году открылась российская метамашина Quintura, предлагающая визуальную кластеризацию в виде облака тегов. «Нигма» тоже экспериментировала

[13] с визуальной кластеризацией.

Высокоуровневая архитектура стандартного краулера

Основные составляющие поисковой системы: поисковый робот, индексатор, поисковик^[14].

Как правило, системы работают поэтапно. Сначала поисковый робот получает контент, затем индексатор генерирует доступный для поиска индекс, и наконец, поисковик обеспечивает функциональность для поиска индексируемых данных. Чтобы обновить поисковую систему, этот цикл индексации выполняется повторно^[14].

Поисковые системы работают, храня информацию о многих веб-страницах, которые они получают из HTML-страниц. Поисковый робот или «краулер» (англ. Crawler) — программа, которая автоматически проходит по всем ссылкам, найденным на странице, и выделяет их. Краулер, основываясь на ссылках или исходя из заранее заданного списка адресов, осуществляет поиск новых документов, ещё не известных поисковой системе. Владелец сайта может исключить определённые страницы при помощи robots.txt, используя который можно запретить индексацию файлов, страниц или каталогов сайта.

Поисковая система анализирует содержание каждой страницы для дальнейшего индексирования. Слова могут быть извлечены из заголовков, текста страницы или специальных полей — метатегов. Индексатор — это модуль, который анализирует страницу, предварительно разбив её на части, применяя собственные лексические и морфологические алгоритмы. Все элементы веб-страницы вычленяются и анализируются отдельно. Данные о веб-страницах хранятся в индексной базе данных для использования в последующих запросах. Индекс позволяет быстро находить информацию по запросу пользователя^[15].

Ряд поисковых систем, подобных Google, хранят исходную страницу целиком или её часть, так называемый кэш, а также различную информацию о веб-странице. Другие системы, подобные системе AltaVista, хранят каждое слово каждой найденной страницы. Использование кэша помогает ускорить извлечение информации с уже посещённых страниц^[15]. Кэшированные страницы всегда содержат тот текст, который пользователь задал в поисковом запросе. Это может быть полезно в том случае, когда веб-страница обновилась, то есть уже не содержит текст запроса пользователя, а страница в кэше ещё старая^[15]. Эта ситуация связана с потерей ссылок (англ. linkrot^[en]) и дружественным по отношению к пользователю (юзабилити) подходом Google. Это предполагает выдачу из кэша коротких фрагментов текста, содержащих текст запроса. Действует принцип наименьшего удивления, пользователь обычно ожидает увидеть искомые слова в текстах полученных страниц (User expectations^[en]). Кроме того, что использование кэшированных страниц ускоряет поиск, страницы в кэше могут содержать такую информацию, которая уже нигде более не доступна.

Поисковик работает с выходными файлами, полученными от индексатора. Поисковик принимает пользовательские запросы, обрабатывает их при помощи индекса и возвращает результаты поиска^[14].

Когда пользователь вводит запрос в поисковую систему (обычно при помощи ключевых слов), система проверяет свой индекс и выдаёт список наиболее подходящих веб-страниц (отсортированный по какому-либо критерию), обычно с краткой аннотацией, содержащей заголовок документа и иногда части текста^[15]. Поисковый индекс строится по специальной методике на основе информации, извлечённой из веб-страниц^[11]. С 2007 года поисковик Google позволяет искать с учётом времени создания искомых документов (вызов меню «Инструменты поиска» и указание временного диапазона).

Большинство поисковых систем поддерживает использование в запросах булевых операторов И, ИЛИ, НЕ, что позволяет уточнить или расширить список искомых ключевых слов. При этом система будет искать слова или фразы точно так, как было введено. В некоторых поисковых системах есть возможность приближённого поиска^[en], в этом случае пользователи расширяют область поиска, указывая расстояние до ключевых слов^[15]. Есть также концептуальный поиск^[en], при котором используется статистический анализ употребления искомых слов и фраз в текстах веб-страниц. Эти системы позволяют составлять запросы на естественном языке. Примером такой поисковой системы является сайт ask com.

Полезность поисковой системы зависит от релевантности найденных ею страниц. Хоть миллионы веб-страниц и могут включать некое слово или фразу, но одни из них могут быть более релевантны, популярны или авторитетны, чем другие. Большинство поисковых систем использует методы ранжирования, чтобы вывести в начало списка «лучшие» результаты. Поисковые системы решают, какие страницы более релевантны, и в каком порядке должны быть показаны результаты, по-разному^[15]. Методы поиска, как и сам Интернет со временем меняются. Так появились два основных типа поисковых систем: системы предопределённых и иерархически упорядоченных ключевых слов и системы, в которых генерируется инвертированный индекс на основе анализа текста.

Большинство поисковых систем являются коммерческими предприятиями, которые получают прибыль за счёт рекламы, в некоторых поисковиках можно купить за отдельную плату первые места в выдаче для заданных ключевых слов. Те поисковые системы, которые не берут денег за порядок выдачи результатов, зарабатывают на контекстной рекламе, при этом рекламные сообщения соответствуют запросу пользователя. Такая реклама выводится на странице со списком результатов поиска, и поисковики зарабатывают при каждом клике пользователя на рекламные сообщения.

Существует четыре типа поисковых систем: с поисковыми роботами, управляемые человеком, гибридные и мета-системы^[16].

• системы, использующие поисковые роботы

Состоят из трёх частей: краулер («бот», «робот» или «паук»), индекс и программное обеспечение поисковой системы. Краулер нужен для обхода сети и создания списков веб-страниц. Индекс — большой архив копий веб-страниц. Цель программного обеспечения — оценивать результаты поиска. Благодаря тому, что поисковый робот в этом механизме постоянно исследует сеть, информация в большей степени актуальна. Большинство современных поисковых систем являются системами данного типа.

Эти поисковые системы получают списки веб-страниц. Каталог содержит адрес, заголовок и краткое описание сайта. Каталог ресурсов ищет результаты только из описаний страницы, представленных ему веб-мастерами. Достоинство каталогов в том, что все ресурсы проверяются вручную, следовательно, и качество контента будет лучше по сравнению с результатами, полученными системой первого типа автоматически. Но есть и недостаток — обновление данных каталогов выполняется вручную и может существенно отставать от реального положения дел. Ранжирование страниц не может мгновенно меняться. В качестве примеров таких систем можно привести каталог Yahoo^[en], dmoz и Galaxy.

• гибридные системы

Такие поисковые системы, как Yahoo, Google, MSN, сочетают в себе функции систем, использующие поисковых роботов, и систем, управляемых человеком.

Метапоисковые системы объединяют и ранжируют результаты сразу нескольких поисковиков. Эти поисковые системы были полезны, когда у каждой поисковой системы был уникальный индекс, и поисковые системы были менее «умными». Поскольку сейчас поиск намного улучшился, потребность в них уменьшилась. Примеры: MetaCrawler^[en] и MSN Search.

Google — самая популярная поисковая система в мире с долей на рынке 69,24 %. Bing занимает вторую позицию, его доля 12,26 %^[17].

Самые популярные поисковые системы в мире^[18]:

Поисковая система	Доля рынка в июле 2014	Доля рынка в октябре 2014	Доля рынка в сентябре 2017
Google	68,69 %	58,01 %	69,24 %
Bing	17,17 %	29,06 %	12,26 %
Baidu	6,22 %	8,01 %	6,48 %
Yahoo!	6,74 %	4,01 %	5,19 %
AOL	0,13 %	0,21 %	1,11 %
Excite	0,22 %	0,00 %	0,00 %
Ask	0,13 %	0,10 %	0,24 %

Азия[править | править код]

В восточноазиатских странах и в России Google — не самая популярная поисковая система. В Китае, например, более популярна поисковая система Soso.

В Южной Корее поисковым порталом собственной разработки Naver пользуется около 70 % жителей^[19]Yahoo! Japan и Yahoo! Taiwan — самые популярные системы для поиска в Японии и Тайване соответственно^[20].

Россия и русскоязычные поисковые системы[править | править код]

Яндексом пользуются 53,3 % пользователей в России (Google — 42,9 %)^[21].

Согласно данным LiveInternet в декабре 2017 года об охвате русскоязычных поисковых запросов^[22]:

• Всеязычные:
• Англоязычные и международные:
• Русскоязычные — большинство «русскоязычных» поисковых систем индексируют и ищут тексты на многих языках — украинском, белорусском, английском, татарском и других. Отличаются же они от «всеязычных» систем, индексирующих все документы подряд, тем, что, в основном, индексируют ресурсы, расположенные в доменных зонах, где доминирует русский язык, или другими способами ограничивают своих роботов русскоязычными сайтами.

Некоторые из поисковых систем используют внешние алгоритмы поиска.

Количественные данные поисковой системы Google[править | править код]

Число пользователей Интернета и поисковых систем и требований пользователей к этим системам постоянно растёт. Для увеличений скорости поиска нужной информации крупные поисковые системы содержат большое количество серверов. Сервера обычно группируют в серверные центры (дата-центры). У популярных поисковых систем серверные центры разбросаны по всему миру^[23].

В октябре 2012 года Google запустила проект «Где живёт Интернет», где пользователям предоставляется возможность познакомиться с центрами обработки данных этой компании^[24].

О работе дата-центров поисковой системе Google известно следующее^[23]:

• Суммарная мощность всех дата-центров Google, по состоянию на 2011 год, оценивалась в 220 МВт.
• Когда в 2008 году Google планировала открыть в Орегоне новый комплекс, состоящий из трёх зданий общей площадью 6,5 млн м², в журнале Harper’s Magazine подсчитали, что такой большой комплекс потребляет свыше 100 МВт электроэнергии, что сравнимо с потреблением энергии города с населением 300 000 человек.
• Ориентировочное число серверов Google в 2012 году — 1 000 000.
• Расходы Google на дата-центры составили в 2006 году — $1,9 млрд, а в 2007 году — $2,4 млрд.

Размер всемирной паутины, проиндексированной Google на декабрь 2014 года, составляет примерно 4,36 миллиарда страниц^[25].

Поисковые системы, учитывающие религиозные запреты[править | править код]

Глобальное распространение Интернета и увеличение популярности электронных устройств в арабском и мусульманском мире, в частности, в странах Ближнего Востока и Индийского субконтинента, способствовало развитию локальных поисковых систем, учитывающих исламские традиции. Такие поисковые системы содержат специальные фильтры, которые помогают пользователям не попадать на запрещённые сайты, например, сайты с порнографией, и позволяют им пользоваться только теми сайтами, содержимое которых не противоречит исламской вере.

Незадолго до мусульманского месяца Рамадан, в июле 2013 года, миру был представлен Halalgoogling^[en] — система, выдающая пользователям только халяльные «правильные» ссылки^[26], фильтруя результаты поиска, полученные от других поисковых систем, таких как Google и Bing. Двумя годами ранее, в сентябре 2011 года, был запущен поисковый движок I’mHalal, предназначенный для обслуживания пользователей Ближнего Востока. Однако этот поисковый сервис пришлось вскоре закрыть, по сообщению владельца, из-за отсутствия финансирования^[27].

Отсутствие инвестиций и медленный темп распространения технологий в мусульманском мире препятствовали прогрессу и мешали успеху серьёзного исламского поисковика. Очевиден провал огромных инвестиций в веб-проекты мусульманского образа жизни, одним из которых был Muxlim^[en]. Он получил миллионы долларов от инвесторов, таких как Rite Internet Ventures, и теперь — в соответствии с последним сообщением от I’mHalal перед его закрытием — выступает с сомнительной идеей о том, что «следующий Facebook или Google могут появиться только в странах Ближнего Востока, если вы поддержите нашу блестящую молодёжь»^[28].

Тем не менее исламские эксперты в области Интернета в течение многих лет занимаются определением того, что соответствует или не соответствует шариату, и классифицируют веб-сайты как «халяль» или «харам». Все бывшие и настоящие исламские поисковые системы представляют собой просто специальным образом проиндексированный набор данных либо это главные поисковые системы, такие как Google, Yahoo и Bing, с определённой системой фильтрации, использующейся для того, чтобы пользователи не могли получить доступ к харам-сайтам, таким как сайты о наготе, ЛГБТ, азартных играх и каким-либо другим, тематика которых считается антиисламской^[28].

Среди других религиозно-ориентированных поисковых систем распространёнными являются Jewogle — еврейская версия Google и SeekFind.org — христианский сайт, включающий в себя фильтры, оберегающие пользователей от контента, который может подорвать или ослабить их веру^[29].

Персональные результаты и пузыри фильтров[править | править код]

Многие поисковые системы, такие как Google и Bing, используют алгоритмы выборочного угадывания того, какую информацию пользователь хотел бы увидеть, основываясь на его прошлых действиях в системе. В результате, веб-сайты показывают только ту информацию, которая согласуется с прошлыми интересами пользователя. Этот эффект получил название «пузырь фильтров»^[30].

Всё это ведёт к тому, что пользователи получают намного меньше противоречащей своей точке зрения информации и становятся интеллектуально изолированными в своём собственном «информационном пузыре». Таким образом, «эффект пузыря» может иметь негативные последствия для формирования гражданского мнения^[31].

Несмотря на то, что поисковые системы запрограммированы, чтобы оценивать веб-сайты на основе некоторой комбинации их популярности и релевантности, в реальности экспериментальные исследования указывают на то, что различные политические, экономические и социальные факторы оказывают влияние на поисковую выдачу^[32][33].

Такая предвзятость может быть прямым результатом экономических и коммерческих процессов: компании, которые рекламируются в поисковой системе, могут стать более популярными в результатах обычного поиска в ней. Удаление результатов поиска, не соответствующих местным законам, является примером влияния политических процессов. Например, Google не будет отображать некоторые неонацистские веб-сайты во Франции и Германии, где отрицание Холокоста незаконно^[34].

Предвзятость может также быть следствием социальных процессов, поскольку алгоритмы поисковых систем часто разрабатываются, чтобы исключить неформатные точки зрения в пользу более «популярных» результатов^[35]. Алгоритмы индексации главных поисковых систем отдают приоритет американским сайтам^[33].

Поисковая бомба — один из примеров попытки управления результатами поиска по политическим, социальным или коммерческим причинам.

1. ↑ Chu & Rosenthal, 1996, p. 129.
2. ↑ Tarakeswar & Kavitha, 2011, p. 29.
3. ↑ World-Wide Web Servers.
4. ↑ What’s New.
5. ↑ Oscar Nierstrasz.
6. ↑ Archive of NCSA.
7. ↑ Yahoo! And Netscape.
8. ↑ Netscape, 1996.
9. ↑ The dynamics of competition, 2001.
10. ↑ Intro to Computer Science.
11. ↑ ^{1 2} Google`s history.
12. ↑ Брин и Пейдж, p. 3.
13. ↑ Nigma.
14. ↑ ^{1 2 3} Risvik & Michelsen, 2002, p. 290.
15. ↑ ^{1 2 3 4 5 6} Knowledge Management, 2011.
16. ↑ Tarakeswar & Kavitha, 2011, p. 29.
17. ↑ NMS.
18. ↑ Статистика.
19. ↑ Naver.
20. ↑ Age of Internet Empires.
21. ↑ LiveInternet.
22. ↑ Liveinternet
23. ↑ ^{1 2} Antula.
24. ↑ Where the Internet lives.
25. ↑ World wide web size.
26. ↑ Islam.
27. ↑ I’mHalal
28. ↑ ^{1 2} Halalblog
29. ↑ ChristianNews.
30. ↑ Pariser, 2011.
31. ↑ Auralist, 2012, p. 13.
32. ↑ Segev, 2010.
33. ↑ ^{1 2} Search engine coverage bias, 2004.
34. ↑ Replacement of Google.
35. ↑ Shaping the Web, 2000.

• Gandal, Neil. The dynamics of competition in the internet search engine market. — 2001. — Vol. 19. — P. 1103–1117. — DOI:10.1016/S0167-7187(01)00065-0.

• Tarakeswar M. K., Kavitha M. D. Search Engines:A Study (англ.) // Journal of Computer Applications (JCA) : journal. — 2011. — Vol. 4, no. 1. — P. 29—33. — ISSN 0974-1925.
• Vaughan L., Thelwall M. Search engine coverage bias: evidence and possible causes (англ.) // Information Processing & Management : journal. — 2004. — Vol. 40. — P. 693–707. — DOI:10.1016/S0306-4573(03)00063-3.

Ссылки[

Зачем нужны поисковые системы?

Интернет – это бесконечное хранилище самой разной информации, которая обновляется ежесекундно. Каждый компьютер, имеющий подключение к сети, по сути, является одной из ячеек этого хранилища.

А информация лежит в этих ячейках не только в виде текста, но еще и в картинках, видео и аудиофайлах. Что же помогает каждый день пользователям интернета находить среди этого бесконечного числа информации то, что им нужно? Ответ прост – поисковые системы.

Что такое поисковая система?

Поисковик, поисковая машина или поисковая система – это самый главный навигатор в бесконечных океанах цифровой информации. С помощью поискового робота, который безостановочно «прогуливается» по страницам старых и только что созданных сайтов, поисковая система как бы заносит в свою память каждый отдельный текст, картинку, видео или любого другого рода файл.

Работа поисковой системы (ПС) строится на основе определенного алгоритма, который сортирует полученную информацию и соотносит её с теми или иными запросами, присваивая ей релевантность. Релевантность – это соответствие запросам.

Но не только от релевантности зависит то, попадет страница в выдачу поисковика или нет. Накладывается множество факторов: рейтинг сайта, его качество с точки зрения пользователя, правильный код страницы. И точный алгоритм работы ПС на основе этих факторов расшифровать невозможно.

Что такое позиция сайта в ПС?

Проходя индексацию, те или иные сайты попадают в базу поисковой системы. Индексация – это своеобразный официальный учет, признание того, что сайт существует (или определенная его страница). В зависимости от огромного количества факторов страница может попасть на 1000, 249, 11, 1 или любое другое место в выдаче.

Выдача – это то, что пользователь видит, вводя запрос в строку поисковой системы. Например, набирая «что такое поисковик?», человеку выдается бесконечный список страниц. Первая в списке – самая «удачливая», в ней наилучшим образом объединились все факторы, что и вывело её на лидирующую позицию.

Что влияет на эту позицию?

Конечно же, работа людей, занимающихся сайтами: вебмастеров, оптимизаторов, копирайтеров. Очень многое зависит именно от качества контента, расположенного на странице. Если на странице будет встречаться большое количество запросов – ключевых слов, — то она не попадет на первую строчку. ПС стали умными, они продуманным образом определяют полезность страницы.

Другой взгляд на актуальность ПС

Итак, поисковая машина нужна для следующего:

1. Выдача актуальной и соответствующей (релевантной) информации пользователю на его запрос. Ищет ли человек сведения об истории, новости или интернет-магазин с сухим кормом для своего любимчика – ПС поможет сделать это за 1 секунду.
2. ПС дает возможность развиваться новым сайтам, увеличивая мировой интернет таким образом. Сайты создаются для того, чтобы зарабатывать на них, или для того, чтобы делиться с людьми какой-то важной информацией с целью получения популярности, или просто потому, что «есть, что сказать».

ПС – это мощный инструмент, не только позволяющий структурировать миллиарды терабайтов информации, но и открывающий колоссальные возможности онлайн заработка.

Почему же поисковиков так много?

Многие рядовые юзеры пользуются, как правило, одной поисковой системой. В России – это Яндекс в подавляющем большинстве случаев. Второй по популярности – Google. Но существуют и другие системы, все из которых перечислить сложно. Одни из них работают достаточно успешно, другие нет.

Почему их так много? У них разные алгоритмы поиска и индексации, но суть не в этом. Конкуренция – вот то, что каждый день заставляет даже таких гигантов, как Яндекс, развиваться и совершенствоваться, а не стоять на месте. Если этот поисковик остановится в развитии, на его место быстро придет другой. И большое количество ПС – это, скорее, хорошо, чем плохо!

❶ Для чего нужны поисковые системы 🚩 Поисковая оптимизация

Поисковая система — это совокупность различных программных и аппаратных средств, главной задачей которых является поиск информации в сети интернет. Для обычного пользователя поисковая система представляет из себя обычный веб-интерфейс, который дополнительно обладает еще функцией поиска различных данных и ресурсов сети.

В основе любой поисковой системы находится так называемая поисковая машина, которая представляет из себя комплекс программных решений для целей обеспечения функционирования поисковой машины. Как правило механизм ее действия является коммерческой тайной его разработчиков.

В настоящее время существует множество поисковых систем, самые известные из которых: Google, Nigma, «Яндекс», Bing и некоторые другие. Каждая из этих систем в своей основе имеет принцип сканирования ключевых слов. Любой ресурс или сайт сети интернет индексируется (или, говоря грубее, регистрируется) поисковой машиной не просто так, а путем заявки на индексацию к администрации того или иного поисковика. В ответ администрация озвучивает необходимые условия для этого. Как правило, условия эти довольно нестрогие и заключаются в добавлении каких-либо тегов на главной странице ресурса.

После добавления тегов поисковая машина начинает сканировать код всех страниц ресурса. Процесс будет идти гораздо быстрее и проще, если в предоставленных для индексации ресурсах указаны ключевые слова. Под ключевыми словами подразумевается совокупность слов и фраз, по которым поисковая машина при запросе от пользователя смогла бы выделить данный ресурс из совокупности других.

В настоящий момент поисковых систем в чистом виде уже не существует. Помимо самого поисковика, его разработчики предоставляют пользователям услуги электронной почты, электронных денег, систем общения между пользователями поисковика, а также ряд приятных мелочей, как мониторинг погодных условий, пробок и прочее в зависимости от вкусов разработчиков.

Что такое поисковая система, как работает поиск

Наиболее популярным веб сервисом современности является именно поисковая система. Тут всё объяснимо, ведь те времена, когда представители первых пользователей интернета могли наблюдать новинки в сети уже давным-давно ушли.

Информации появляется и скапливается так много, что человеку стало очень трудно найти именно ту, которая ему была бы необходима. Представьте, как бы обстоял бы поиск в интернете, если бы рядовому пользователю пришлось бы искать информацию не пойми где. Именно не пойми где, потому как ручным поиском много информации не найдёшь.

Поисковая система, что это такое?

Хорошо если пользователю уже известны сайты, на которых возможно есть нужная информация, но что делать в противном случае? Для того, чтобы облегчить жизнь человеку в поиске нужной информации в интернете и были придуманы поисковые системы или просто поисковики. Поисковая система выполняет одну очень важную функцию, без которой интернет был бы не таким как мы его привыкли видеть – это поиск информации в сети.

Поисковая система – это специальный веб узел или по-другому сайт, который предоставляет пользователям по их запросам гиперссылки на страницы, сайтов, отвечающие на заданный поисковой запрос.

Если быть немного точнее, то поиск информации в интернете, осуществляющийся благодаря программно-аппаратному функциональному набору и веб интерфейсу для взаимодействия с пользователями.

Для взаимодействия человека с поисковой системой и был создан веб интерфейс, то есть видимая и понятная оболочка. Данный подход разработчиков поисковиков облегчает поиск многим людям. Как правило, именно в интернете осуществляется поиск при помощи поисковых систем, но также существуют системы поиска для FTP-серверов, отдельных видов товаров во всемирной паутине, либо новостной информации или же другие поисковые направления.

Поиск может осуществляться не только по текстовому наполнению сайтов, но и по другим типам информации, которые человек может искать: изображения, видео, звуковые файлы и т.д.

Как осуществляется поиск поисковой системой?

Сам поиск в интернете, ровно так же как просмотр веб сайтов возможен при помощи интернет обозревателя – браузера. Только после того, как пользователь задал свой запрос в строке поиска, осуществляется непосредственно и сам поиск.

Любая поисковая система содержит программную часть, на которой основан весь поисковой механизм, его называют поисковым движком — это программный комплекс и обеспечивающий возможность поиска информации. После обращению к поисковику, формирования человеком поискового запроса и ввода его в строку поиска, поисковая система генерирует страницу со списком результатов поиска, наиболее релевантные, по мнению поисковика тут располагаются выше.

Релевантность поиска – поиск наиболее отвечающих запросу пользователя материалов и расположение на них гиперссылок на странице выдачи с более точными результатами выше других. Само распределениерезультатов называется ранжированием сайтов.

Так как же поисковик подготавливает для выдачи свои материалы и как происходит поиск информации самим поисковиком? Сбору информации в сети способствует уникальный для каждой поисковой системы робот или по-другому бот, обладающий так же рядом других синонимов как краулер или паук, а саму работу системы поиска можно разделить на три этапа:

К первому этапу работы поисковой системы можно отнести сканирование сайтов в глобальной сети и сбор на свои собственные серверы копий веб страниц. Это образует огромное количество пока ещё не обработанной и не пригодной информации для поисковой выдачи.

Второй этап работы поисковика сводится к приведению в порядок полученной ранее, на первом этапе информации от сайтов. Производится такая сортировка, которая за наименьшее время будет благоприятствовать тому самому качественному поиску, которого собственно и ждут пользователи от поисковой системы. Этап называют индексацией, это значит, что страницы уже являются подготовленными к выдаче, а актуальная база будет считаться индексом.

Как раз третий этап и обуславливает поисковую выдачу, после приёма запроса от своего клиента, опираясь на ключевые или около ключевые слова, указанные в запросе. Это способствует отбору наиболее соответствующей запросу информации, и последующей её выдачи. Так как информации, очень и очень много, поисковая система выполняет ранжирование в соответствие со своими алгоритмами.
Лучшей поисковой системой считается та, которая сможет предоставить наиболее корректно отвечающий на запрос пользователя материал. Но и тут могут встречаться результаты, на которые повлияли люди, заинтересованные в продвижение своего сайта, такие сайты хоть и не всегда, но зачастую появляются в результатах поиска, но не на долго.

Хоть мировые лидеры уже во многих регионах определены, поисковые системы продолжаются развивать свой качественный, поиск. Чем качественней поиск они смогут предоставить, тем больше людей будут им пользоваться.

Как пользоваться поисковой системой?

Что такое поисковая система и как она работает уже понятно, но как ей правильно пользоваться? На большинстве сайтов всегда присутствует строка поиска, а рядом с ней находится кнопка Найти или Поиск. В поисковую строку вводится запрос, после чего нужно нажать кнопку поиска или же как это чаще бывает, нажать клавишу Enter на клавиатуре и за считанные секунды вы получаете результат запроса в виде списка.

А вот получить правильный ответ на запрос поиска, с первого раза удаётся не всегда. Для того, чтобы поиски желаемого не становились мучительными, необходимо правильно составлять поисковый запрос и следовать нижеописанным рекомендациям.

Составляем поисковый запрос правильно

Далее будут указаны советы по использованию поисковой системы. Следование некоторым хитростям и правилам при осуществлении поиска информации в поисковой системе даст возможность получить нужный результат гораздо быстрее. Следуйте данным рекомендациям:

1. Грамотное написание слов обеспечивает максимальное количество совпадений с искомым информационным объектом (Хоть современный поисковые системы уже научились исправлять орфографические ошибки, но данным советом пренебрегать не стоит).
2. Благодаря использованию синонимов в запросе, можно охватить более широкий поисковой диапазон.
3. Иногда изменение слова в тексте запроса может принести больший результат осуществляйте переформирование запроса.
4. Привносите в запрос конкретность, используйте точные вхождения фраз, которые должны определять главную суть поиска.
5. Экспериментируйте с ключевыми словами. Использование ключевых слов и словосочетаний может помочь определить главную суть, и поисковая машина выдаст более релевантный результат.

Так что такое поисковая система – это ни что иное, как возможность найти интересующую информацию и обычно совершенно бесплатно ей воспользоваться, чему-то научиться, что-то понять или сделать правильный для себя вывод. Многие уже не представляют своей жизни без голосового поиска, при котором текст не приходится набирать, свой запрос нужно всего лишь произнести, а устройством ввода информации тут является микрофон. Всё это свидетельствует о постоянном развитие поисковых технологий в интернете и необходимости в них.

структуры, функция, характеристики. Что нужно знать о поисковиках для успешного продвижения сайтов?

Поисковые системы (ПС) уже приличное время являются обязательной частью интернета. Сегодня они громадные и сложнейшие механизмы, которые представляют собой не только инструмент для нахождения любой необходимой информации, но и довольно увлекательные сферы для бизнеса.

Многие пользователи поиска никогда не думали о принципах их работы, о способах обработки пользовательских запросов, о том, как построены и функционируют данные системы. Данный материал поможет людям, которые занимаются оптимизацией и продвижение своих сайтов, понять устройство и основные функции поисковых машин.

Функции и понятие ПС

Поисковая система – это аппаратно-программный комплекс, который предназначен для осуществления функции поиска в интернете, и реагирующий на пользовательский запрос который обычно задают в виде какой-либо текстовой фразы (или точнее поискового запроса), выдачей ссылочного списка на информационные источники, осуществляющейся по релевантности. Самые распространенные и крупные системы поиска: Google, Bing, Yahoo, Baidu. В Рунете – Яндекс, Mail.Ru, Рамблер.

Рассмотрим поподробнее само значение запроса для поиска, взяв для примера систему Яндекс.

Запрос обязан быть сформулирован пользователем в полном соответствии с предметом его поиска, максимально просто и кратко. К примеру, мы желаем найти информацию в данном поисковике: «как выбрать автомобиль для себя». Чтобы сделать это, открываем главную страницу и вводим запрос для поиска «как выбрать авто». Потом наши функции сводятся к тому, чтобы зайти по предоставленным ссылкам на информационные источники в сети.

Но даже действуя таким образом, можно и не получить необходимую нам информацию. Если мы получили подобный отрицательный результат, нужно просто переформировать свой запрос, или же в базе поиска действительно нет никакой полезной информации по данному виду запроса (такое вполне возможно при заданных «узких» параметров запроса, как, к примеру, «как выбрать автомобиль в Анадыри»).

Самая основная задача каждой поисковой системы – доставить людям именно тот вид информации, который им нужен. А приучить пользователей создавать «правильный» вид запросов к поисковым системам, то есть фразы, которые будут соответствовать их принципам работы, практически, невозможно.

Именно поэтому специалисты-разработчики поисковиков делают такие принципы и алгоритмы их работы, которые бы давали пользователям находить интересующие их сведения. Это означает, что система, должна «думать» так же, как мыслит человек при поиске необходимой информации в интернете.

Когда он вводит свой запрос в поисковую машину, он желает найти то, что ему надо, как можно проще и быстрее. Получив результат, пользователь составляет свою оценку работе системы, руководствуясь несколькими критериями. Получилось ли у него найти нужную информацию? Если нет, то сколько раз ему пришлось переформатировать текст запроса, чтобы найти ее? Насколько актуальная информация была им получена? Как быстро поисковая система обработала его запрос? Насколько удобно были предоставлены поисковые результаты? Был ли нужный результат первым, или находился на 30-ом месте? Сколько «мусора» (ненужной информации) было найдено вместе с полезными сведениями? Найдется ли актуальная для него информация, при использовании ПС, через неделю, либо через месяц?

Для того чтобы получить правильные ответы на подобные вопросы, разработчики поиска постоянно улучшают принципы ранжирования и его алгоритмы, добавляют им новые возможности и функции и любыми средствами пытаются сделать быстрее работу системы.

Основные характеристики поисковых систем

Обозначим главные характеристики поиска:

Полнота.

Полнота является одной из главнейших характеристик поиска, она представляет собой отношение цифры найденных по запросу информационных документов к их общему числу в интернете, относящихся к данному запросу. Например, в сети есть 100 страниц имеющих словосочетание «как выбрать авто», а по такому же запросу было отобрано всего 60 из общего количества, то в данном случае полнота поиска составит 0,6. Понятно, что чем полнее сам поиск, тем больше вероятность, что пользователь найдет именно тот документ, который ему необходим, конечно, если он вообще существует.

Точность.

Еще одна основная функция поисковой системы – точность. Она определяет степень соответствия запросу пользователя найденных страниц в Сети. К примеру, если по ключевой фразе «как выбрать автомобиль» найдется сотня документов, в половине из них содержится данное словосочетание, а в остальных просто есть в наличии такие слова (как грамотно выбрать автомагнитолу, и установить ее в автомобиль»), то поисковая точность равна 50/100 = 0,5.

Чем поиск точнее, тем скорее пользователь найдет необходимую ему информацию, тем меньше разнообразного «мусора» будет встречаться среди результатов, тем меньше найденных документов будут не соответствовать смыслу запроса.

Актуальность.

Это значимая составляющая поиска, которую характеризует время, проходящее с момента опубликования информации в интернете до занесения ее в индексную базу поисковика.

К примеру, на следующий день после возникновения информации о выходе нового iPad, множество пользователей обратилась к поиску с соответствующими видами запросов. В большинстве случаев информация об этой новости уже доступна в поиске, хотя времени с момента ее появления прошло очень мало. Это происходит благодаря наличию у крупных поисковых систем «быстрой базы», которая обновляется несколько раз за день.

Скорость поиска.

Такая функция как скорость поиска теснейшим образом связана с так называемой «устойчивостью к нагрузкам». Ежесекундно к поиску обращается огромное количество людей, подобная загруженность требует значительного сокращения времени для обработки одного запроса. Тут интересы, как поисковой системы, так и пользователя целиком совпадают: посетитель хочет получить результаты как можно быстрее, а поисковая система должна отработать его запрос тоже максимально быстро, чтобы не притормозить обработку последующих запросов.

Наглядность.

Наглядное представление результатов является важнейшим элементом удобства поиска. По множеству запросов поисковая система находит тысячи, а в некоторых случаях и миллионы разных документов. Вследствие нечеткости составления ключевых фраз для поиска или его не точности, даже самые первые результаты запроса не всегда имеют только нужные сведения.

Это значит, что человеку часто приходится осуществлять собственный поиск среди предоставленных результатов. Разнообразные компоненты страниц выдачи ПС помогают ориентироваться в поисковых результатах.

История развития поисковых систем

Когда интернет только начал развиваться, число его постоянных пользователей было небольшим, и объем информации для доступа был сравнительно невеликим. В основном доступ к этой сети имели лишь специалисты научно-исследовательских сфер. В то время, задача нахождения информации не была столь актуальна как сейчас.

Одним из самых первых методов организации широкого доступа к ресурсам информации стало создание каталогов сайтов, причем ссылки на них начали группировать по тематике. Таким первым проектом стал ресурс Yahoo.com, который открылся весной 1994-ого года. Впоследствии когда количество сайтов в Yahoo-каталоге существенно увеличилось, была добавлена опция поиска необходимых сведений по каталогу. Это еще не было в полной мере поисковой системой, так как область такого поиска была ограничена только сайтами, входящими в данный каталог, а не абсолютно всеми ресурсами в интернете. Каталоги ссылок весьма широко использовались раньше, однако в настоящее время, практически в полной мере утратили свою популярность.

Ведь даже сегодняшние, громадные по своим объемам каталоги имеют информацию о незначительно части сайтов в интернете. Самый известный и большой каталог в мире DMOZ имеет информацию о пяти миллионах сайтов, когда база Google содержит информацию о более чем 25 миллиардов страниц.

Самой первой настоящей поисковой системой стала WebCrawler, возникшая еще в 1994-ом году.

В следующем году появились AltaVista и Lycos. Причем первая была лидером по поиску информации очень длительное время.

В 1997-ом году Сергей Брин вместе с Ларри Пейджем создал машину поисковую Google как исследовательский проект в Стэндфордском университете. Сегодня именно Google, самая востребованная и популярная поисковая система в мире.

В сентябре 1997-ом году была анонсирована (официально) ПС Yandex, которая в настоящий момент является самой популярной системой поиска в Рунете.

По данным на сентябрь 2015 года, доли поисковых систем в мире распределены следующим образом:

• Google — 69,24 %;
  
• Bing — 12,26 %;
• Yahoo! — 9,19 %;
• Baidu — 6,48 %;
• AOL — 1,11 %;
• Ask — 0,23 %;
• Excite — 0,00 %

По данным на декабрь 2016 года, доли поисковых систем в Рунете:

• Яндекс — 48,40%
• Google — 45,10%
• Search.Mail.ru — 5,70%
• Rambler — 0,40%
• Bing — 0,30%
• Yahoo — 0,10%
  

Принципы работы поисковой системы

В России главной системой поиска является Яндекс, затем Google, а потом Поиск@Mail.ru. Все большие системы поиска имеют свою структуру, которая весьма отличается от других. Но все-таки можно выделить общие для всех поисковиков основные элементы.

Модуль индексирования.

Данный компонент состоит из трех программ-роботов:

Spider (по англ. паук) – программа которая предназначена для того чтобы скачивать веб-страницы. «Паук» скачивает определенную страницу, одновременно извлекая из нее все ссылки. Скачивается код html практически с каждой страницы. Для этого роботы используют HTTP-протоколы.

«Паук» функционирует следующим образом. Робот передает запрос на сервер “get/path/document” и иные команды запроса HTTP. В ответ программа-робот получает поток текста, который содержит информацию служебного вида и, естественно, сам документ.

Извлекаются все ссылки из тэгов. Вместе с ними обрабатывают редиректы. Любая скачанная страница сохраняется в таком формате:

• URL скаченной страницы;
• дата, когда осуществлялось скачивание страницы;
• заголовок http-ответа сервера;
• html-код, «тела» страницы.

Crawler («путешествующий» паук). Данная программа автоматически заходит на все ссылки, которые найдены на странице, а также выделяет их. Его задача – определиться, куда в дальнейшем должен заходить паук, основываясь на этих ссылках или исходя из заданного списка адресов.

Crawler, исследуя найденные ссылки, ищет новые документы, еще не ставшие известными поисковой системе.

Indexer (робот-индексатор) – это программа, анализирующая страницы, которые скачали пауки.

Индексатор полностью разбирает страницу на составные элементы и проводит их анализ, применяя свои морфологические и лексические виды алгоритмов.

Анализ проводится над разнообразными частями страницы, такими как заголовки, текст, ссылки, стилевые и структурные особенности, теги html и др.

Таким образом, модуль индексирования дает возможность проходить по ссылкам заданного количества ресурсов, скачивать страницы, извлекать ссылочную массу на новые страницы из полученных документов и делать подробный их анализ.

База данных

База данных (или индекс поисковика) — комплекс хранения данных, массив информации в котором сохраняются определенным образом переделанные параметры каждого обработанного модулем индексации и скачанного документа.

Поисковый сервер

Это самый важный элемент всей системы, потому что от алгоритмов, лежащих в основе ее функциональности, прямо зависит скорость и, конечно же, качество поиска.

Поисковый сервер работает следующим образом:

• Запрос, который идет от пользователя подвергается морфологическому анализу. Информационное окружение любого документа, имеющегося в базе, генерируется (оно и будет в дальнейшем отображаться как сниппет, т.е. информационное поле текста соответствующего данному запросу).
• Полученные данные передают как входные параметры специализированному модулю ранжирования. Они обрабатываются по всем документам, и в итоге для каждого такого документа рассчитывается свой рейтинг, который характеризует релевантность такого документа запросу пользователя, и иных составляющих.
• В зависимости от условий заданных пользователем этот рейтинг вполне может быть подкорректирован дополнительными.
• Затем генерируется сам сниппет, т.е. для любого найденного документа из соответствующей таблицы извлекают заголовок, аннотацию, наиболее отвечающую запросу, и ссылка на этот документ, при этом найденные словоформы и слова подсвечивают.
• Результаты полученного поиска передаются осуществившему его человеку в виде страницы, на которую выдают поисковые результаты (SERP).

Все эти элементы тесно связаны между собой и функционируют, взаимодействуя, образовывая отчетливый, но достаточно непростой механизм функционирования ПС, требующий громадных затрат ресурсов.

Поисковые системы интернета — список: все поисковики мира и России, какие есть и существуют, бывают кроме Яндекса и Гугла

Всем привет! Сегодня будет статья про поисковые системы мира, какие вообще существуют, когда появились, что рулит конкретно в России, а что на всём земном шаре. Статья получилась огромная, поэтому присаживайтесь поудобнее, желательно заранее приготовив термос с чаем 🙂

Для того чтобы стать специалистом в любом деле, недостаточно лайфхаков, какими бы полезными они ни были. Необходимо основательно разбираться в вопросе и постоянно расширять кругозор.

Думали ли вы о том, как появилось то, что мы используем каждый день? Какие есть поисковые системы помимо Google и Яндекса? И почему все сео-студии и люди выбирают именно последние? Да, но не нашли ответы? Они в этой статье.

Содержание статьи:

Пару слов из истории поисковиков

Очень давно, когда в Интернете все только начиналось…

Люди обходились малым, они сохраняли ссылки на сайты в «Закладках». Но время шло и вместе с ним увеличивалось количество этих самых закладок. В итоге человеку стало сложно разбираться в своей же системе.

Для того чтобы хоть немного навести порядок были разработаны каталоги Yahoo, DMOZ и т.д. К слову, некоторые из них не канули в лету до сих пор. Каталог – это что-то вроде библиотеки. В нем можно не только сохранять, но и разделять на группы ссылки на сайты.

Всемирная Сеть разрасталась с невероятной скоростью и каталоги перестали отвечать потребностям посетителей. Тогда программисты приступили к работе над поиском внутри каталогов, а потом и над первой поисковой системой.

Wandex – поисковая система-первопроходец

Поисковой системой, ставшей первопроходцем, является Wandex (нет, это не «отец» Яндекса, между ними нет никаких «родственных» связей). Она, как и все остальные поисковики, была настолько далека от идеала, что выдавала буквально все подряд, а не то, что больше всего подходит под запрос. Никаких алгоритмов ранжирования не было.

Первой системой, которая была создана для поиска информации в интернете, стала Wandex, ее уже не существует. Она была создана World Wide Web Wanderer – ботом на языке Perl, разработанным Мэтью Грэем из Массачусетского технологического института в 1993 году. Он также участвовал в создании Apache, разработке сайта MIT и других проектов. Сегодня Мэтью Грей является сотрудником компании Гугл.

В 1993 году во всем интернете было лишь 623 сайта, поэтому работы у Вандекса было поменьше, чем у современных поисковых систем. Более того, благодаря таким скромным меркам, для создания индексов и отображении результатов не нужны были мощные сервера с многоступенчатой кластеризацией, сложная работа алгоритмов поиска и способы по их оптимизации.

Wandex и другие первые сервисы обладали несовершенной системой поиска. При запросе слова они отображали не самые актуальные ссылки, а все страницы, их данные, без анализа и ранжирования. Поэтому некоторое время настоящими конкурентами поисковых систем были каталоги страниц – веб-площадки с вручную отобранными категориями ссылок на веб-источники.

Восстановление Вандекса

31 декабря 2011 года стало известно о возрождении этой системы. 1 января 2012 года поисковый бот World Wide Web Wanderer был зарегистрирован владельцами многих сайтов, что стало причиной для дискуссий. Сегодня на главной странице находится поисковая строка с надписью Wandex.

Буква Х изображена в виде перекрещенных линий, одна из которых имеет форму лупы – часто применяемый символ в поисковике.

Самые популярные поисковики Интернете в мире и России

Самые популярные поисковики может назвать даже школьник 1-го класса. Это Гугл и Яндекс. Можно дни и ночи напролет спорить о том, какой из них лучше. Но зачем? Они разные, и в какой из них заходить, зависит от ваших целей. Для вас я подготовил большой список из 16 поисковых систем, это практически все поисковики, которые есть на данный момент или существовали ранее.

Начнём с поисковых систем на русском языке и самых популярных в России, а затем перейдём к мировым.

Яндекс

Если верить тому, что пишут в LiveInternet, то именно Яндексу отдает предпочтение большая часть россиян. Впрочем, разница между ним и Гуглом составляет всего лишь один процент.

Среди тех, кто занимается созданием и SEO-продвижением сайтов, бытует мнение, что Яндекс заточен под коммерческие запросы, что в нем их в несколько раз больше, чем у конкурента. На мой взгляд, это очередной домысел. Как показывает практика, региональность определяет размер и структуру целевой аудитории.

История появления Яндекса началась в конце 1980-х – с создания поисковых технологий в компании Аркадия, которая потом вошла в группу CompTek. Создатели придумали несколько поисковых программ – Международный классификатор изобретений и поиск по Библии, учитывающий морфологию русского языка. Метод поиска получил название Яndex.

Первая активная версия поискового приложения под названием Yandex возникла в 1993 году, в 1995 году компьютеры компании-создатели поисковика были подсоединены к интернету, а в 1996 году стала велись работы по доработке методов поиска.

Официальным днем рождения поисковика Яндекс.ру является 23 сентября 1997 года. В этот день система была представлена на выставке Softool в Москве. Яндекс 1997 года учитывал морфологию русского языка, расстояние между словами и умел распределять документы на основе их релевантности заданному запросу.

В 1998 году на портале впервые возникла контекстная реклама – реклама, которая соответствует запросу потенциального пользователя. При таком методе показа рекламу видит только целевая аудитория. Контекстная реклама стала одним из важных ответов на вопросы пользователей, а в дальнейшем – главной бизнес-моделью компании Яндекс.

Компания Яндекс была основана в 2000 году. Ее учредителями стали акционеры КомпТек. Организация ru-Net Holdings вложила в Яндекс более 5 миллионов долларов, ее прибыль составила 35%. Среди акционеров были менеджеры Яндекса и ее главные разработчики поисковой системы.

Генеральным директором компании стал Аркадий Волож, а директором – Илья Сегалович – он же отвечал за внедрение и разработку технологий. Команда Яндекса состояла из 25 человек, а вся информация находилась на одном сервере.

В 2013 году российский поисковик Яндекс вышел на четвертое место в мире по количеству обрабатываемых запросов, обогнав Микрософт и уступив лидирующие места Гугл, Яху и Байду. Доход поиска Яндекса на отечественном рынке составляет 61,6%. Количество международной аудитории портала составляет 93,1 миллионов человек. Чистый доход компании за 2013 год вырос на 80%.

Google

Гугл правит балом во всех странах мира, кроме России. Он пришел к нам относительно недавно, в 2004 году, когда Яндекс уже уверенно стоял на ногах.

Google распространился настолько, что слово «загуглить» стало нарицательным, им обозначают поиск чего-то в Интернете. Забавно, но когда я прошу маму что-то «загуглить», она все равно открывает Яндекс. Может быть, не догадывается, какие есть другие поисковые системы.

Компания Гугл впервые появилась в качестве развития научного проекта Ларри Пейджа и Сергея Брина. В 1996 году студенты Стэнфорда трудились над проектом цифровой библиотеки (SDLP). Он был целью Разработки новых технологий для общей, интегрированной и универсальной цифровой библиотеки. Финансирование осуществлялось за счет Национального научного фонда.

Чтобы найти тему для диссертации Пейдж рассматривал среди другой информации изучение математических свойств Интернета, представляя структуру ссылок в виде большого графа. Его научный руководитель, Терри Виноград, посоветовал ему выбрать эту идею (позже Пейдж отметил, что это был самый лучший совет, который он когда-либо получал), и он полностью погрузился в проблему выяснения, какие сайты ссылаются на эту страницу, рассматривая количество и характер обратных ссылок.

Скоро к нему присоединился аспирант Стэнфорда Сергей Брин, который был лучшим другом Пейджа. Вместе они создали алгоритм PageRank. После определения результатов BackRub, состоящих из списка URL, отсортированного по количеству обратных ссылок на этот URL, они поняли, что поисковик, созданный на PageRank, принесет им высокие результаты.

Такую технологию ранжирования страницы и ее рейтинга уже изучил Робин Ли, создавший в 1996 году маленькую поисковую систему RankDex. Данная технология была запатентована и применялась позже после основания Baidu в Китае.

Первое инвестирование в Гугл было зафиксировано в августе 1998 года в сумме 100 тысяч долларов от Энди Бехтольштейма, одного из разработчиков Sun Microsystems. Официально компания была зарегистрирована 4 сентября 1998 года в гараже друга в Менло-Парк, штат Калифорния. Имя Гугл возникло от слова «гугол», обозначающего цифру 1 и сто нолей. В конце 1998 года Гугл проиндексировал более 60 миллионов страниц.

На главной странице по-прежнему была отметка БЕТА, но поисковая система уже получала положительные отклики: показатели поиска Google были выше, чем у других систем, высокие технологические инновации, чем у перегруженных веб-порталов.

Поисковик Гугл привлекает огромное количество интернет-пользователей своим минимализмом и доступным интерфейсом. В 2000 году Гугл стала продавать рекламу, связанную с ключевыми запросами поиска. Реклама состояла из текста, поэтому не нагружала оформление страницы и не снижала скорость ее загрузки.

Ключевые запросы реализовывались на базе сочетания стоимости предложения и числа переходов, стоимость начиналась от 0,05$ за переход. Данная модель реализации рекламы по ключевикам была впервые предложена goto.com. В отличие от св

Как работает поисковая система и какие бывают поисковики? | Интернет

Интернет необходим многим пользователям для того, чтобы получать ответы на запросы (вопросы), которые они вводят.

Если бы не было поисковых систем, пользователям пришлось бы самостоятельно искать нужные сайты, запоминать их, записывать. Во многих случаях найти «вручную» что-то подходящее было бы весьма сложно, а часто и просто невозможно.

За нас всю эту рутинную работу по поиску, хранению и сортировке информации на сайтах делают поисковики.

Содержание статьи:

1. Поисковые системы в Интернете на русском языке
2. Цель поисковиков
3. Работа поисковика и действия вебмастеров
4. Как работает поисковая система?
5. Сканирование
6. Индексирование
7. Ранжирование

Начнем с известных поисковиков Рунета.

Поисковые системы в Интернете на русском

1) Начнем с отечественной поисковой системы. Яндекс работает не только в России, но также работает в Белоруссии и Казахстане, в Украине, в Турции. Также есть Яндекс на английском языке.

Яндекс https://www.yandex.ru/

2) Поисковик Google пришел к нам из Америки, имеет русскоязычную локализацию:

Google https://www.google.ru/

3)Отечественный поисковик Майл ру, который одновременно представляет социальную сеть ВКонтакте, Одноклассники, также Мой мир, известные Ответы Mail.ru и другие проекты.

Майл ру https://mail.ru/

4) Интеллектуальная поисковая система

Nigma (Нигма) http://www.nigma.ru/

С 19 сентября 2017 года “интеллектуалка” nigma не работает. Она перестала для её создателей представлять финансовый интерес, они переключились на другой поисковик под названием CocCoc.

5) Известная компания Ростелеком создала поисковую систему Спутник.

Спутник http://www.sputnik.ru/

Есть поисковик Спутник, разработанный специально для детей, про который я писала ТУТ.

6) Рамблер был одним из первых отечественных поисковиков:

Рамблер http://www.rambler.ru/

В мире есть другие известные поисковики:

подробнее о них ЗДЕСЬ.

Попробуем разобраться, как же работает поисковая система, а именно, как происходит индексация сайтов, анализ результатов индексации и формирование поисковой выдачи. Принципы работы поисковых систем примерно одинаковые: поиск информации в Интернете, ее хранение и сортировка для выдачи в ответ на запросы пользователей. А вот алгоритмы, по которым работают поисковики, могут сильно отличаться. Эти алгоритмы держатся в тайне и запрещено ее разглашение.

Введя один и тот же запрос в поисковые строки разных поисковиков, можно получить разные ответы. Причина в том, что все поисковики используют собственные алгоритмы.

Цель поисковиков

В первую очередь нужно знать о том, что поисковики – это коммерческие организации. Их цель – получение прибыли. Прибыль можно получать с контекстной рекламы, других видов рекламы, с продвижения нужных сайтов на верхние строчки выдачи. В общем, способов много.

Прибыль поисковика зависит от того, какой размер аудитории у него, то есть, сколько человек пользуется данной поисковой системой. Чем больше аудитория, тем большему числу людей будет показываться реклама. Соответственно, стоить эта реклама будет больше. Увеличить аудиторию поисковики могут за счет собственной рекламы, а также привлекая пользователей за счет улучшения качества своих сервисов, алгоритма и удобства поиска.

Самое главное и сложное здесь – это разработка полноценного функционирующего алгоритма поиска, который бы предоставлял релевантные результаты на большинство пользовательских запросов.

Работа поисковика и действия вебмастеров

Каждый поисковик обладает своим собственным алгоритмом, который должен учитывать огромное количество разных факторов при анализе информации и составлении выдачи в ответ на запрос пользователя:

• возраст того или иного сайта,
• характеристики домена сайта,
• качество контента на сайте и его виды,
• особенности навигации и структуры сайта,
• юзабилити (удобство для пользователей),
• поведенческие факторы (поисковик может определить, нашел ли пользователь то, что он искал на сайте или пользователь вернулся снова в поисковик и там опять ищет ответ на тот же запрос)
• и т.д.

Все это нужно именно для того, чтобы выдача по запросу пользователя была максимально релевантной, удовлетворяющей запросы пользователя. При этом алгоритмы поисковиков постоянно меняются, дорабатываются. Как говорится, нет предела совершенству.

С другой стороны, вебмастера и оптимизаторы постоянно изобретают новые способы продвижения своих сайтов, которые далеко не всегда являются честными. Задача разработчиков алгоритма поисковых машин – вносить в него изменения, которые бы не позволяли «плохим» сайтам нечестных оптимизаторов оказываться в ТОПе.

Как работает поисковая система?

Теперь о том, как происходит непосредственная работа поисковой системы. Она состоит как минимум из трех этапов:

• сканирование,
• индексирование,
• ранжирование.

Число сайтов в интернете достигает просто астрономической величины. И каждый сайт – это информация, информационный контент, который создается для читателей (живых людей).

Сканирование

Это блуждание поисковика по Интернету для сбора новой информации, для анализа ссылок и поиска нового контента, который можно использовать для выдачи пользователю в ответ на его запросы. Для сканирования  у поисковиков есть специальные роботы, которых называют поисковыми роботами или пауками.

Поисковые роботы – это программы, которые в автоматическом режиме посещают сайты и собирают с них информацию. Сканирование может быть первичным (робот заходит на новый сайт в первый раз). После первичного сбора информации с сайта и занесения его в базу данных поисковика, робот начинает с определенной регулярностью заходить на его страницы. Если произошли какие-то изменения (добавился новый контент, удалился старый), то все эти изменения будут поисковиком зафиксированы.

Главная задача поискового паука – найти новую информацию и отдать ее поисковику на следующий этап обработки, то есть, на индексирование.

 Индексирование

Поисковик может искать информацию лишь среди тех сайтов, которые уже занесены в его базу данных (проиндексированы им). Если сканирование – это процесс поиска и сбора информации, которая имеется на том или ином сайте, то индексация – процесс занесения этой информации в базу данных поисковика. На этом этапе поисковик автоматически принимает решение, стоит ли заносить ту или иную информацию в свою базу данных и куда ее заносить, в какой раздел базы данных. Например, Google индексирует практически всю информацию, найденную его роботами в Интернете, а Яндекс более привередлив и индексирует далеко не все.

Для новых сайтов этап индексирования может быть долгим, поэтому посетителей из поисковых систем новые сайты могут ждать долго. А новая информация, которая появляется на старых, раскрученных сайтах, может индексироваться почти мгновенно и практически сразу попадать в «индекс», то есть, в базу данных поисковиков.

Ранжирование

Ранжирование  – это выстраивание информации, которая была ранее проиндексирована и занесена в базу того или иного поисковика, по рангу, то есть, какую информацию поисковик будет показывать своим пользователям в первую очередь,  а какую информацию помещать «рангом» ниже. Ранжирование можно отнести к этапу обслуживания поисковиком своего клиента – пользователя.

На серверах поисковой системы происходит обработка полученной информации и формирование выдачи по огромному спектру всевозможных запросов. Здесь уже вступают в работу алгоритмы поисковика. Все занесенные в базу сайты классифицируются по тематикам, тематики делятся на группы запросов. По каждой из групп запросов может составляться предварительная выдача, которая впоследствии будет корректироваться.

Рис. 1 Упреждающий поиск – выдаются подсказки при вводе первых букв в строку поиска

Предварительная выдача называется еще «упреждающим поиском» – это когда пользователь только начинает вводить свой запрос, а ему уже предлагаются различные варианты ответов.

В каждой поисковой системе есть модераторы – люди, отвечающие за оценку сайтов и результаты выдачи по определенным группам запросов. Модераторы нужны для того, что контролировать работу поисковика, а также замещать алгоритм там, где он работает недостаточно хорошо (корректировать его работу). Модераторы могут вручную менять позиции тех или иных сайтов, если видят, что алгоритм поисковика в каких-то случаях сработал некорректно.

Голосование

Спасибо за Ваш голос!

 Загрузка …

P.S. К статье отлично подходит:

1. Что полезно знать о запросах в поисковых системах Google и Яндексе

2. Основная миссия и задачи поисковика Google

3. Поиск информации ВКонтакте

4. Семь необычных поисковых систем