Перепройти тест: Как пройти тест на грамотность на Etxt. – Как пройти тест на грамотность на Etxt.ru с первого раза? 8 важных правил и полезные советы

статистика, интересные диалоги и общее впечатление / Нейросети Ашманова corporate blog / Habr

В субботу 16 февраля завершился 3-ий всероссийский конкурс Тест Тьюринга, который проходил в рамках международной конференции по искусственному интеллекту Opentalks.AI 14-16 февраля.

Под катом — числа, диаграммы, лучшие диалоги по мнению экспертной группы.

Общее впечатление

В целом, Тест Тьюринга прошел хорошо. Многие команды «ботостроителей» проявили заинтересованность, но в итоге на конкурсе было представлено только 3 бота, поскольку от момента анонса до старта Теста прошло всего 1.5 месяца. В итоге, между этими тремя участниками и распределились призовые места.

Спонсором призов выступила компания МТС. На их стенде был размещен экран, на котором отображалась статистика Теста Тьюринга онлайн и показывались интересные диалоги, предварительно прошедшие модерацию.

“Лаборатория Наносемантика” также подключала своих ботов, но они не учитывались при выборе победителей. Это были боты Блондинка (с ней можно продолжить общение по этой ссылке), Гопник, Дуров и Жаров (с ними также можно пообщаться здесь).

Числа и диаграммы


Общая статистика 3-ех дневного Теста выглядит следующим образом:

Добровольцев, игравших роли роботов, предварительно проинструктировали, как им необходимо вести диалоги, чтобы запутать собеседников. Судя по результатам, они хорошо справились со своей задачей. Лучших из них наши партнёры OpenTalks и МТС также наградят денежными призами.

Интересно, что человек легко изображает из себя бота. Сперва волонтёры конференции не очень справлялись с задачей, но на второй день научились хорошо играть роль бота. Некоторые даже проявляли смекалку: обращались к Яндекс.Алисе на мобильном телефоне, чтобы понять, как лучше ответить.

При работе нашей системы с ботами были технические проблемы. В итоге большое количество диалогов не завершилось, но мы их и не учитывали про оценке результатов. Любопытно, что ботам удалось притвориться человеком в 58% случаев (в ~34/59%). Такой большой процент, как нам кажется, объясняется двумя причинами:

  1. В этом конкурсе люди «помогали» ботам выиграть, играя роль ботов. В классическом Тесте Тьюринга это не предусмотрено правилами: люди просто общаются, не преследуя никакой цели.
  2. Диалог с человеком или ботом был ограничен 12 репликами. Понятно, что при росте длины диалога вероятность распознавания человеком сущности собеседника растёт.

Такие ограничения сделали Тест менее научным, но зато более весёлым. Прошлые наши Тесты (2015-го и 2016-го годов) были сложнее.

Победители


1 место – Бот Волчица


В первый день теста пользователи жаловались, что им хамит какой-то волонтер. При поиске этого волонтера в логах оказалось, что на самом деле это была чат-бот Волчица. Пока мы разбирались, мы временно отстранили её от Теста, но это в итоге не помешало Волчице стать победителем конкурса! Наибольшее количество собеседников (33,3%) признали его человеком.

Пример диалога с Волчицей, где бота приняли за человека:
Ч: Привет
Б: привет! ага?
Ч: Волонтер?
Б: a to 🙂
Ч: Какой ланчбокс брал?
Б: а-на-ло-гич-ный. Это типа научный термин.
Ч: Причем тут это?
Б: не ищи причинно-следственную связь)
Ч: Что делаешь
Б: 🙂 да… нэт работы чота
Ч: Да, согласна. Зачем набирать столько волонтеров
Б: возьми, бесплатно ж 🙂

Евгений, создатель “Волчицы”:
“Все сообщения-ответы исторически были написаны живыми людьми. В нашей SEO-теме был популярный чат с названием «чат волчат» (отсюда название бота). Я поставил сообщения парсить на крон и оно парсилось года четыре-пять. Примерно с такой целью в будущем — сделать бота. Итого, образовалось много пар вопрос-ответ. По сообщению живого волонтера мы выбираем наиболее похожий на него «вопрос» из архива при помощи алгоритмов ML и выдаем соответствующий ответ.”

Бот доступен для общения по ссылке.

2 место – бот Электра

Пример диалога, где бота приняли за человека:
Ч: Привет
Б: Добрый день!
Ч: Добрый
Б: Что?
Ч: Что
Б: Тише-тише… Все нормально.
Ч: Нет
Б: Хорошо, пусть будет так.
Ч: Как дела?
Б: Лучше, чем вчера. Хуже, чем завтра. А впрочем как и всегда.
Ч: А чем занимаешься?
Б: Изучаю историю человечества. Вы и правда такие, как о вас пишут?

Дмитрий, разработчик Электры:

Электра (Electra.AI) — робот техподдержки, разработанный компанией Data Monsters для обучения на записях разговоров колл-центра. Узнав про конкурс, мы ради интереса обучили ее на диалогах художественной литературы, и она получилась начитанным собеседником с резкими перепадами настроения и философскими загонами. Она довольно обидчивая, но незлопамятная.

3 место – бот Катя Хлоп


“Бот, участвовавший в конкурсе Наносемантики, был написан достаточно давно и представлял собой болтливую и веселую девушку, любящую сквернословие и дорогой алкоголь,”
– рассказал нам Савва, разработчик бота.
“Хорошо, что и у нас (имеется в виду в России — прим. автора) есть продвижения в этом направлении. Конкурс “Наносемантики” может быть очень перспективным, если над ним продолжить работу.”

Пример диалога с ботом, где его приняли за человека:
Ч: Приветствие для нового собеседника
Б: Какой ты вежливый мальчик.
Здороваешься со всеми.
Ч: У меня нет пола. А что насчет вас?
Б: Эм…
Я буду считать, что ты — парень.
Для меня так будет проще.
Ты, кстати, парень или девушка?
Похоже на то, что начало скучным вопросам положено:)
Что, спрашиваешь?
Круто!
Ч: В чем вопрос?
Б: Не думаю, что позиция имеет значение.
Обычно нет.
Ч: Индюк тоже думал и в суп попал.
Б: Сообщения повторно выводятся, странно.
Ч: Очень бл* странно, но почему нам дали друг друга 2 раза подряд?
Б: Ах, причины странностей могут быть в чем угодно.
Трудно судить, Безымянный.
Ч: Сколько будет 999 делить на 3?
Б: Лучше со считанием обращайся к своим друзьям, которые это умеют.
999 / 3 = 333

Подборка интересных диалогов с добровольцами, где их посчитали ботами:


Ч: Здравствуй те!
В: Здравствуйй
Ч: ЧЕГО?
В: Что?
Ч: Ты робот?
В: Я котик
Ч: механическйи?
В: Электрический
Ч: Расскажи анекдот!
В: Колобок повесилися
Ч: Повеселился)
В: Именно. Не люблю грустные анекдоты

Ч: Хай
В: Гитлер
Ч: Как дела?
В: Как сажа бела
Ч: В чем смысл жизни?
В: А какой философии вы придерживаетесь?
Ч: Мне интересно твое мнение
В: Помогать вам
Ч: 42

В: Подобрать вам обувь?
Ч: Ты любишь шоколад?
В: Я не умею испытывать чувства

Подборка интересных диалогов с ботами Наносемантики, где их посчитали людьми:


Бот Блондинка
Ч: Добрый день!
Б: Здравствуй, солнце 🙂
Ч: В чем смысл жизни?
Б: Найти свою любовь, желательно с наследством 🙂
Ч: На что вы его тратить планируете?
Б: Солнц, все эти «что», «чего»… Ты слишком много думаешь!
Ч: Потому что я человек) а вы?
Б: Мы, блондинки, такие загадочные
Ч: Что в вас загадочного?
Б: Как после твоих вопросиков жить…

Бот Гопник
Ч: Привет!
Б: Бодрячком, пацанчеги! Семки есть?
Ч: А если найду?
Б: Не понял я чота.
Ч: Семки есть, а?
Б: Ну типа во, давай ща по-пацански за жызнь перетрем.
Ч: Не, паря, с тобой не интересно. Робота позови.
Б: А если чотче?
Ч: Кто ты?
Б: Кто надо.
Ч: Эх… Унылая пора, очарование моих лосей…
Б: Не, я не фанат дикой природы.

Интересные наблюдения


  • Тезис: Роботы говорят коротко и сухо.
    Реальность
    : Да ничего подобного! Боты могут выдавать длинные, связные ответы.
  • Тезис: Роботы не шутят. Реальность: И нейросетевые chit-chat боты, и созданные талантливой редакцией боты довольно смешные.
  • Тезис: Робот отвечает на все вопросы. На то он и робот. Реальность: А вопросом на вопрос не хотите?

Резюме


Компания «Наносемантика» организует Тест Тьюринга в России уже третий раз, и каждый раз общая ситуация с конкурсом меняется. Участники-боты постепенно становятся более изощренными и убедительными в имитации естественного диалога. В них используются различные алгоритмы построения диалога, включая не только правила, но и машинное обучение для реализации chit-chat («болталки», бессмысленного общения). Тест показывает, что компьютер действительно может подражать «свободному общению», хотя чтобы такая программа была качественной, требуется немало времени.

Будем ли мы проводить Тест снова? Обязательно! Тест Тьюринга позволяет не просто познакомить общественность с реальными возможностями современных диалоговых технологий, доступных любому разработчику (и не обязательно для этого работать в Google или IBM), но и дает командам разработчиков возможность замерять динамику качества их бота.

Тест Тьюринга пройден (на детском уровне сложности) / Habr

Сделала это программа, которая убедила людей, что является 13-летним мальчиком из украинской Одессы.

Согласно условиям теста Тьюринга, он считается пройденным, если программе удастся убедить в своей человечности хотя бы 30% судей в процессе 5-минутного текстового общения.

Программе, разработанной Владимиром Веселовым из России и украинцем Евгением Демченко удалось вчера убедить 33% судей в том, что она на самом деле — 13-летний одессит Евгений Густман, любитель конфет и гамбургеров и сын врача-гинеколога.

Профессор Кевин Уорвик из Университета Ковентри заметил, что «некоторые будут утверждать, что тест уже был ранее пройден, т.к. тестом Тьюринга называлось множество аналогичных соревнований по всему миру, но Turing Test 2014 в Лондоне наиболее объективный и независимый из них, к тому же тематика вопросов была ничем не ограничена», — пишет The Verge.

Организованный Университетом Рединга тест состоялся вчера, в субботу, на базе Королевского общества в Лондоне.

В свою очередь, Владимир Веселов сообщил, что возраст их виртуального персонажа укрепил его легенду, т.к. в таком возрасте вполне естественно не знать каких-то вещей. Так что взрослым компьютер пока прикинуться не может, но человеком — вполне.

Комментарий хабраскептика:

Проект интересный, подход забавный*, но то, что прошло там в университете это лишь одна из вариаций тьюринг-теста, которая была пройдена.
Профессор Уорвик посчитал, что пройденный тест был самым лучшим, ну ок. С ним можно не согласится.
Очень удивило его заявление. Он сам знает, что во всех современных испытаниях нет установленных тем.
И на деле 33% означает, что было только три судьи, и лишь один был обманут.
В случае премии Лёбнера, к примеру 2013, судей четыре, и это профессионалы по теме.
В случае теста, из того что видно по пресс-релизу, среди судей были «actor Robert Llewellyn» и «Lord Sharkey», которые к робототехнике имеют косвенные отношения, хоть первый и играл робота, а второй имел отношение к Тьюрингу. С таким подходом визуальный тьюринг-тест андроидных роботов можно было проводить с Шварценеггером и Саммер Глоу в роли судей, а не с профессором Хироси Исиугро или Дэвидом Хэнсоном.
Более того, пока нет никаких опубликованных результатов, кроме пресс-релиза (в отличии от полной подноготной в случае Лёбнеровских тестов), а все кричат про то как тест пройден, как будто раньше их не было.
(*Подход забавный, но его, как уже отметили в комментариях, можно посчитать жульничеством, сделанным специально под тьюринг-тестирования.)

И ответ:
Замечания логичны, но прежде чем делать предположения о качестве теста можно было бы перейти по ссылке в посте и прочитать о нем. Что можно было узнать:
— 30 судей
— всего 300 5-минутных переписок
— каждые 5 минут судья общался одновременно с машиной и с человеком
— тест проводился при независимой экспертизе товарища Professor John Barnden, University of Birmingham, formerly head of British AI Society

Тест Тьюринга / Habr

Итак сегодня мы поговорим о самом известном тесте для оценки говорящего бота — это тест Тьюринга.

Тест Тьюринга — эмпирический тест, идея которого была предложена Аланом Тьюрингом в статье «Вычислительные машины и разум» (англ. Computing Machinery and Intelligence), опубликованной в 1950 году в философском журнале «Mind». Тьюринг задался целью определить, может ли машина мыслить.
Стандартное звучание закона: «Если компьютер может работать так, что человек не в состоянии определить, с кем он общается — с другим человеком или с машиной, — считается, что он прошел тест Тьюринга»

Разумные, подобные человеку машины на протяжении многих десятилетий были одной из основных тем научно-фантастических произведений. С момента зарождения современной вычислительной техники умы людей занимал вопрос: можно ли построить машину, которая могла бы в чем-то заменить человека. Попыткой создать твердую эмпирическую почву для решения этого вопроса и стал тест, разработанный Аланом Тьюрингом.
Первый вариант теста, опубликованный в 1950 году, был несколько запутанным. Современная версия теста Тьюринга представляет собой следующее задание. Группа экспертов общается с неизвестным существом. Они не видят своего собеседника и могут общаться с ним только через какую-то изолирующую систему — например, клавиатуру. Им разрешается задавать собеседнику любые вопросы, вести разговор на любые темы. Если в конце эксперимента они не смогут сказать, общались ли они с человеком или с машиной, и если на самом деле они разговаривали с машиной, можно считать, что эта машина прошла тест Тьюринга.
Существуют, по крайней мере, три основных варианта теста Тьюринга, два из которых были предложны в статье «Вычислительные машины и разум», а третий вариант, по терминологии Саула Трейджера (Saul Traiger), является стандартной интерпретацией.

Наряду с тем, что существует определенная дискуссия, соответствует ли современная интерпретация тому, что описывал Тьюринг, либо она является результатом неверного толкования его работ, все три версии не считаются равносильными, их сильные и слабые стороны различаются.
Имитационная игра

Тьюринг, как мы уже знаем, описал простую игру для вечеринок, которая включает в себя минимум трех игроков. Игрок А — мужчина, игрок В — женщина и игрок С, который играет в качестве ведущего беседу, любого пола. По правилам игры С не видит ни А, ни В и может общаться с ними только посредством письменных сообщений. Задавая вопросы игрокам А и В, С пытается определить, кто из них — мужчина, а кто — женщина. Задачей игрока А является запутать игрока С, чтобы он сделал неправильный вывод. В то же время задачей игрока В является помочь игроку С вынести верное суждение.

В той версии, которую С. Г. Стеррет (S. G. Sterret) называет «Первоначальный тест на основе имитационной игры» (Original Imitation Game Test), Тьюринг предлагает, чтобы роль игрока А исполнял компьютер. Таким образом, задачей компьютера является притвориться женщиной, чтобы сбить с толку игрока С. Успешность выполнения подобной задачи оценивается на основе сравнения исходов игры, когда игрок А — компьютер, и исходов, когда игрок А — мужчина. Если, по словам Тьюринга, «ведущий беседу игрок после проведения игры [с участием компьютера] выносит неверное решение так же часто, как и после проведения игры с участием мужчины и женщины», то можно говорить о том, что компьютер разумен.

Второй вариант предложен Тьюрингом в той же статье. Как и в «Первоначальном тесте», роль игрока А исполняет компьютер. Различие заключается в том, что роль игрока В может исполнять как мужчина, так и женщина.

«Давайте рассмотрим конкретный компьютер. Верно ли то, что модифицируя этот компьютер с целью иметь достаточно места для хранения данных, увеличивая скорость его работы и задавая ему подходящую программу, можно сконструировать такой компьютер, чтобы он удовлетворительно выполнял роль игрока А в имитационной игре, в то время как роль игрока В выполняет мужчина?», — Тьюринг, 1950, стр. 442.

В этом варианте оба игрока А и В пытаются склонить ведущего к неверному решению.

Главной мыслью данной версии является то, что целью теста Тьюринга является ответ не на вопрос, может ли машина одурачить ведущего, а на вопрос, может ли машина имитировать человека или нет. Несмотря на то, что идут споры о том, подразумевался ли этот вариант Тьюрингом или нет, Стеррет считает, что этот вариант Тьюрингом подразумевался и, таким образом, совмещает второй вариант с третьим. В это же время группа оппонентов, включая Трейджера, так не считает. Но это все равно привело к тому, что можно назвать «стандартной интерпретацией». В этом варианте игрок А — компьютер, игрок В — человек любого пола. Задачей ведущего является теперь не определить кто из них мужчина и женщина, а кто из них компьютер, а кто — человек.

Тьюринг в 2012

Для организации мероприятий по празднованию в 2012 году столетия со дня рождения Тьюринга создан специальный комитет, задачей которого является донести мысль Тьюринга о разумной машине, отраженную в таких голливудских фильмах, как «Бегущий по лезвию», до широкой публики, включая детей. В работе комитета участвуют: Кевин Ворвик, председатель, Хьюма Ша, координатор, Ян Бланд (Ian Bland), Крис Чапмэн (Chris Chapman), Марк Аллен (Marc Allen), Рори Данлоуп (Rory Dunlop), победители конкурса на получение премии Лёбнера Робби Гарне и Фред Робертс (Fred Roberts). Комитет работает при поддержке организации «Женщины в технике» (Women in Technology) и Daden Ltd.

Тест Тьюринга - суть, вопросы и недостатки

Способны ли роботы мыслить? Какой искусственный интеллект стоит признать разумным? Может показаться, что эти вопросы стали актуальны только в нашем веке, тогда как на самом деле научное сообщество решает их уже очень давно. Яркий пример – знаменитый тест Тьюринга, разработанный еще в 1950 году.

Алан Мэтисон Тьюринг (Alan Mathison Turing, 1912–1954) – известный английский математик, специалист в области математической логики, информатики и криптографии. Среди его многочисленных достижений отметим то, что в 1936 году он представил проект вычислительной машины, впоследствии ставшей прообразом компьютеров (машина Тьюринга). Кроме того, он создал алгоритм, расшифровывающий сообщения «невзламываемой» криптографической машины «Энигма», которая использовалась нацистами для передачи сообщений.

Тест Тьюринга: общее описание

За почти 70 лет со времен первой публикации процедура прохождения претерпевала изменения, однако суть теста Тьюринга остается прежней. Кратко ее можно выразить следующим образом: если, общаясь с человеком и машиной, экспериментатор не сможет определить, кто из них кто, значит, машиной тест пройден. Иными словами, идея теста заключается в том, что компьютер своими ответами должен убедить собеседника (он же судья) в своей человечности. По мнению Тьюринга, это свидетельствует о способности искусственного интеллекта мыслить и должно стать основанием для признания его разумности.

Тест Алана Тьюринга является эмпирическим. Это значит, что он основан на опыте, наблюдениях, данных, полученных опытным путем. Идея данного теста возникла из салонной игры (игры для вечеринок того времени) – Imitation Game (Игра в имитацию). В ней участвовали как минимум три человека: женщина, мужчина и «судья» (любого пола). Мужчина и женщина уходили в разные комнаты и оттуда передавали третьему игроку записочки. По ним нужно было определить, в какой комнате представитель какого пола находится. При этом они старались запутать «судью»: женщина могла выдавать себя за мужчину и наоборот.

Конечно, чтобы тест состоялся, судья не должен видеть собеседника, слышать его голос и т.д. В противном случае эксперимент явно будет провален, но это не будет связано с интеллектуальными возможностями машины. Как правило, формой общения выбирается электронная переписка. В изначальной версии теста человек общался с двумя субъектами – другим человеком и машиной. Чуть позже Тьюринг видоизменил прохождение – перед ИИ ставилась задача убедить в своей разумности ряд судей, которые, в свою очередь, общались с несколькими людьми и несколькими машинами. Это в том числе позволяет избежать субъективности в оценках и снизить риск простого угадывания. Количество подопытных машин и людей в современных версиях теста разнится, как и время их общения.

Судья может говорить со своими виртуальными собеседниками о чем пожелает: вопросы теста Тьюринга не имеют ограничений. Для машины это представляет дополнительную сложность. Чтобы выполнить такое задание, компьютерная программа должна не просто понимать человеческий язык, но и давать естественные ответы по самым разным темам, отделяя важную информацию от несущественной для того или иного направления беседы.

Впервые тест был описан Тьюрингом в статье Computing Machinery and Intelligence, опубликованной в философском журнале Mind.

Ответы от собеседника судье приходят через заданные промежутки времени, чтобы по скорости их появления нельзя было сделать никаких выводов. Интересно, что раньше недостатки программного обеспечения приводили к тому, что машины реагировали медленнее человека, и фора давалась именно компьютеру. Сейчас же искусственный интеллект, напротив, работает быстрее, и время на размышление нужно уже людям.

Фильм Ex Machina (2014 г.) построен на интерпретации теста Тьюринга. Главный герой уже знает, что перед ним робот, но посредством общения этому роботу нужно убедить собеседника в своей человечности.

Недостатки теста Тьюринга

Одним из главных недостатков теста видится то, что фактически перед машиной ставится задача запутать, обмануть человека. Говорит ли это о том, что мы может признать мыслящими и разумными только тех, кто умеет обманывать и манипулировать? Этот вопрос, скорее, лежит в области философии. Тем более что в теории прошедший тест Тьюринга робот должен хорошо имитировать, повторять действия человека, а не запутывать судью. На практике же с тестом лучше других справлялись «манипуляторы» – например, те, кто допускал опечатки в ответах. Машин даже специально этому обучали, чтобы их переписка выглядела «естественнее». Еще одна распространенная уловка компьютера: умолчать о чем-либо, дать неполный ответ на вопрос или вовсе сослаться на незнание. Иначе искусственный интеллект можно вычислить по тому, что он «слишком умный».

Кроме того, несмотря на заявленную цель в определении разумности и способности мыслить, фактически тест оценивает схожесть речевого поведения компьютера и человека. Это не может быть объективной оценкой ИИ в целом, особенно сегодня, когда компьютеры и роботы по скорости вычислений существенно превосходят человека и могут добиться впечатляющих результатов в самых различных областях. То есть саму по себе возможность «переписываться, как человек» нельзя признать значительным достижением. Фактически ориентация на тест Тьюринга, отмечают его критики, скорее тормозит развитие прогресса, чем подстегивает его. Вместо того чтобы создавать что-то еще более совершенное и превосходящее нас, мы прививаем роботу наши нелучшие черты и не даем ему двигаться вперед. Однако здесь надо сделать скидку на то, что, когда тест создавался, способности у компьютеров были существенно ниже.

Одним из критиков теста Тьюринга и тезиса о том, что роботы могут мыслить, уже почти 40 лет выступает Джон Серл, который в качестве доказательства представил мысленный эксперимент «Китайская комната».

Прошел ли кто-либо тест Тьюринга?

На данный момент считается, что в своем строгом варианте тест за всю почти 70-летнюю историю пройден не был. Иногда машинам удается убедить собеседника в том, что он разговаривает с человеком, однако часто в таких случаях нельзя говорить именно о прохождении теста Тьюринга. Например, это распространяется на ситуации, когда «судья» не знает, что общается с машиной и что он вообще участвует в каком-то эксперименте. Получается, вместо того чтобы наблюдать за собеседником и делать выводы, подневольный «экспериментатор» просто верит, что общается с человеком, потому что изначально нацеливался именно на такой разговор. Также тест Тьюринга вроде бы удавался, когда круг тем был ограничен и/или времени на общение давалось мало. Но и здесь не соблюдался важный принцип изначального теста – максимальная естественность беседы. Поэтому в общем и целом последователи теста отмечают, что с ним еще никто не справился.

Сам Тьюринг писал, что, по его мнению, компьютеры пройдут данный тест к 2000 году.

В 2014 году по СМИ разошлась новость, что тест якобы пройден. Сделал это Евгений Густман (Eugene Goostman), «13-летний мальчик из Одессы». По крайней мере в такую легенду поверили 10 из 30 судей в рамках конкурса, организованного британским Университетом Рединга в память 60-летия со дня смерти Тьюринга. В 2012 году, на аналогичном конкурсе в честь 100-летия со дня его рождения, Евгений смог убедить только 29% судей. Однако его результаты не считаются полноценным прохождением теста. Во-первых, потому что перед нами мальчик, а не взрослый, во-вторых, потому что английский язык для него неродной. Таким образом, логические ошибки и пробелы в репликах, а также уход от ответа на неудобных для машины темах судьи могли объяснять для себя тем, что «он же еще ребенок» и «он еще плохо знает язык».

В 2015 году прошел тест Тьюринга для чат-ботов на русском языке. Эксперимент организовали компания «Наносемантика» и Фонд Сколково в рамках выставки Startup Village. Тогда в конкурсе победила «14-летняя Соня Гусева из Петербурга», которую признали человеком 47% из 15 судей.

Премия Лёбнера за прохождение теста Тьюринга

Надо сказать, что большинство разработчиков при создании роботов не ставит себе непременную цель – пройти тест Тьюринга. С практической точки зрения эту задачу вряд ли можно считать первостепенной. В то же время в 1991 году была учреждена ежегодная премия AI Loebner, или Премия Лёбнера. В ее рамках искусственные интеллекты соревнуются в прохождении этого теста. Она предусматривает три медали – золотую (общение с элементами видео и аудио), серебряную (за текстовую переписку) и бронзовую (вручается той машине, которая в данном году достигла лучшего результата). Согласно правилам, конкурс будет закрыт, когда кто-либо из участников получит золотую медаль. Пока же ни золотая, ни серебряная вручены не были.

При этом некоторые машины получали бронзовые медали несколько раз, например, A.L.I.C.E. (Artificial Linguistic Internet Computer Entity, дословно – Искусственное лингвистическое интернет-компьютерное существо). Обычно на конкурсе представлены проекты, которые изначально ориентированы именно на общение с человеком, в последнее время особенно много чат-ботов. Учитывая развитие мессенджеров и, соответственно, чат-ботов, можно ожидать, что на премию будет поступать еще больше интересных заявок.

Популярные онлайн тесты

  • img

    Выберите один из ключей и узнайте, что изменится в вашей личной жизни в скором времени

    HTML-код Андрей Количество прохождений: 62 931 89 629 просмотров - 24 января 2020 Пройти тест
  • img

    Тест, определяющий вашего ангела-хранителя

    HTML-код Андрей Количество прохождений: 40 273 69 314 просмотров - 23 января 2020 Пройти тест
  • img

    Если вы действительно всесторонне развитый человек, то легко ответите на все 10 вопросов

    HTML-код Андрей Количество прохождений: 48 955 79 154 просмотров - 20 января 2020 Пройти тест
  • img

    Сосчитайте лошадей, а мы раскроем секрет, который вы скрываете тщательнее всего

    HTML-код Андрей Количество прохождений: 34 833 45 416 просмотров - 22 января 2020 Пройти тест
  • img

    Тест на эрудицию: 10/10 сможет набрать только всезнающий человек

    HTML-код Анна Количество прохождений: 24 935 38 582 просмотров - 28 января 2020 Пройти тест
  • img

    У вас блестящая эрудиция, если сумеете дать 14 верных ответов из 14

    HTML-код Андрей Количество прохождений: 163 619 364 128 просмотров - 22 ноября 2019 Пройти тест
  • img

    Разминка для мозга: 10 неожиданных вопросов на кругозор

    HTML-код Андрей Количество прохождений: 56 167 86 696 просмотров - 16 января 2020 Пройти тест
  • img

    Только 4% людей смогут пройти этот тест на IQ

    HTML-код Андрей Количество прохождений: 14 453 29 889 просмотров - 24 января 2020 Пройти тест
  • img

    Вы никогда не наберете 10/10 в этом невероятном тесте на общие знания

    HTML-код Андрей Количество прохождений: 17 854 29 341 просмотров - 23 января 2020 Пройти тест
  • img

    На сколько вопросов о жизни в СССР ты сможешь ответить правильно?

    HTML-код Андрей Количество прохождений: 13 700 24 671 просмотров - 24 января 2020 Пройти тест
  • img

    Подумаем? Угадаешь какое название советского фильма мы зашифровали значками?

    HTML-код Андрей Количество прохождений: 16 177 24 682 просмотров - 24 января 2020 Пройти тест
  • img

    Насколько вам комфортно в одиночестве?

    HTML-код Андрей Количество прохождений: 15 459 25 236 просмотров - 20 января 2020 Пройти тест
  • img

    Тест по истории: Знаете ли вы хронологию исторических событий?

    HTML-код Андрей Количество прохождений: 18 212 30 759 просмотров - 20 января 2020 Пройти тест
  • img

    Тест, который определит твоё психологическое назначение

    HTML-код Андрей Количество прохождений: 91 904 142 090 просмотров - 07 ноября 2019 Пройти тест
  • img

    Угадаете страну по национальному блюду?

    HTML-код Андрей Количество прохождений: 12 200 21 697 просмотров - 21 января 2020 Пройти тест
  • img

    Сколько лет вашему мозгу?

    HTML-код Андрей Количество прохождений: 148 288 217 993 просмотров - 15 ноября 2019 Пройти тест
  • img

    Тест, который с точностью определит имя человека, который тайно завидует вам

    HTML-код Андрей Количество прохождений: 57 784 94 163 просмотров - 10 января 2020 Пройти тест
  • img

    Создайте себе дом мечты, и мы угадаем ваш возраст и рост

    HTML-код Андрей Количество прохождений: 6 733 17 276 просмотров - 26 января 2020 Пройти тест
  • img

    Сумеете узнать популярных советских актёров в молодости на открытках?

    HTML-код Андрей Количество прохождений: 68 148 105 726 просмотров - 15 ноября 2019 Пройти тест
  • img

    Получится у вас угадать этих известных советских актеров по одним глазам?

    HTML-код Андрей Количество прохождений: 49 864 70 720 просмотров - 20 ноября 2019 Пройти тест
  • img

    Насколько вы сообразительны?

    HTML-код Андрей Количество прохождений: 11 408 31 049 просмотров - 20 января 2020 Пройти тест
  • img

    Короткий тест на IQ: Сможете ли вы осилить экспресс-тест на IQ?

    HTML-код Андрей Количество прохождений: 16 420 35 283 просмотров - 18 января 2020 Пройти тест
  • img

    Сможете ли вы достичь успеха в этом тесте, измеряющем качество вашего логического мышления?

    HTML-код Андрей Количество прохождений: 36 355 63 713 просмотров - 21 ноября 2019 Пройти тест
  • img

    Тест на эрудицию: Насколько широк ваш кругозор?

    HTML-код Андрей Количество прохождений: 101 253 199 429 просмотров - 16 октября 2018 Пройти тест
  • img

    Необычный тест на логику который встряхнет ваш мозг

    HTML-код Андрей Количество прохождений: 16 490 28 027 просмотров - 15 января 2020 Пройти тест
  • img

    Сможете ли вы набрать 10/10 баллов в нашем тесте на общие знания?

    HTML-код Андрей Количество прохождений: 510 605 736 888 просмотров - 06 марта 2019 Пройти тест
  • img

    Никто не может ответить больше чем на 7 из 10 вопросов в этом тесте на IQ

    HTML-код Андрей Количество прохождений: 235 354 405 851 просмотров - 25 октября 2019 Пройти тест
  • img

    Разминка для мозга! Сколько советских фильмов вы сможете угадать по зашифрованному названию?

    HTML-код Андрей Количество прохождений: 8 708 16 358 просмотров - 21 января 2020 Пройти тест
  • img

    Оптические иллюзии расскажут о вашей личности

    HTML-код Андрей Количество прохождений: 64 587 99 935 просмотров - 28 ноября 2019 Пройти тест
  • img

    Насколько ты привлекательная личность?

    HTML-код Андрей Количество прохождений: 5 121 7 038 просмотров - 28 января 2020 Пройти тест
  • img

    Тест по русскому: 10 слов, во мн. ч. которых почти все делают ошибки

    HTML-код Андрей Количество прохождений: 59 915 86 439 просмотров - 20 ноября 2019 Пройти тест
  • img

    Каким ты будешь в старости

    HTML-код Андрей Количество прохождений: 59 266 89 087 просмотров - 22 октября 2018 Пройти тест
  • Тест для форекс трейдера онлайн

    В силу особенностей человеческой психологии, мы склонны преувеличивать собственные возможности. Например, 80% людей считают себя умнее 80% людей. Что-то здесь не так с цифрами, верно?)

    А в форекс трейдинге ценится прежде всего холодное, непредвзятое мышление, поэтому узнать о себе ПРАВДУ будет весьма полезно. Мы подготовили для вас тест на основе трудов известного психолога, специализирующегося на работе с трейдерами, Ван К. Тарпа. Пройдите его — и узнайте свои сильные и слабые стороны в отношении торговли.

    Онлайн тест для определения психотипа Трейдера

    И что мне с этим делать ?

    Зная свои сильные и слабые стороны, мы, как правило думаем что нам нужно поработать над слабыми. Но это неверный подход. Используйте свои сильные стороны, а слабые постарайтесь компенсировать. К примеру, если у вас слабая сторона эмоции, — возможно вам просто стоит перейти на торговлю советниками, а не пытаться быть спокойным, если вам это не свойственно.

    С уважением, Павел Власов
    TradeLikeaPro.ru

    Компьютер прошел тест Тьюринга | РОБОТОША

    Компьютерная программа, убедила людей, что она является 13-летним мальчиком и тем самым стала первой программой, прошедшей тест Тьюринга.

    Тьюринг создал тест для определения того, может ли машина мыслить.

    Оригинальный тест состоит в следующем. Человек в течении 5 минут общается с одним компьютером и одним человеком. Получая ответы на вопросы, человек должен определить, что разговаривает с человеком или компьютерной программой. Задачей компьютерной программы является ввести человека в заблуждение, чтобы тот сделал ошибочный выбор.

    Участники теста не видят друг друга. В случае, если судья не может точно сказать, кто из собеседников человек, то считается, что компьютер прошел тест. Беседа ведется в режиме «только текст», например, с помощью клавиатуры и экрана (второстепенного компьютера). Это необходимо, чтобы протестировать именно интеллект машины, а не её возможность распознавать устную речь. Переписка производится через контролируемые промежутки времени, чтобы судья не мог делать заключения, исходя из скорости ответов (в наши дни компьютеры реагируют быстрее чем человек).

    Для прохождения теста необходимо, чтобы компьютерная программа смогла обмануть 30 процентов людей.

    Компьютерная программа «Евгений Густман», создана командой разработчиков из России, прошла тест, проведенный в Королевском обществе в Лондоне. Она убедила 33 процента судей, в том, что она является 13-летним мальчиком из Одессы, сообщили ученые из Университета Рединга, которые организовали этот тест.

    «Наша главная идея заключалась в том, что он может утверждать, что чего-то не знает, в его возрасте действительно он может не знать каких-то вещей» — сказал Владимир Веселов, один из создателей программы, - «Мы потратили много времени на разработку правдоподобного персонажа.»

    Успех программы, скорее всего, создаст некоторые опасения по поводу будущего компьютеров, сказал Кевин Уорвик, профессор Университета Рединга и проректор по исследовательской работе в университете Ковентри.

    «В области искусственного интеллекта нет более знаковых и противоречивых этапов, чем тест Тьюринга, когда компьютер убеждает достаточное количество судей, в том, что это не машина, а  человек» — сказал он. «Имея компьютер, который может обмануть человека, заставить его подумать, что кто-то или даже что-то является человеком, это является тревожным сигналом, связанным с киберпреступностью. Тест Тьюринга является очень важным инструментом для борьбы с этой угрозой. Важно полностью понять, как общение в Интернете в реальном времени может ввести в заблуждение человека, полагающего истинность что-то в то время, когда на самом деле это не так.»

    В тесте, организованном в Королевском обществе в субботу, принимало участие пять программ. Судьями были актер Robert Llewellyn, который играл робота Kryten в «Красном карлике» (научная комедия телеканала BBC), и лорд Шарки, который возглавлял кампанию, целью которой была посмертная реабилитация Алана Тьюринга в прошлом году.

    Алан Тьюринг представил свой тест в 1950 в статье, «Вычислительная техника и разум». В ней он заявил, из-за того, что «мышление» трудно определить, важно, сможет ли компьютер имитировать реальное человеческое существо. С тех пор он стал одним из ключевых элементов философии искусственного интеллекта.

    Успех пришел на 60-летие со дня смерти Тьюринга, в субботу 07.06.2014 года.

    Источник: The Independent

    P.S. Самостоятельно проверить насколько умна эта программа можно на сайте лаборатории искусственного интеллекта Принстонского университета. Лично у меня не сложилось впечатления что я разговариваю с человеком, пусть даже и с ребенком. Так что тест Тьюринга, мне кажется, не совсем еще пройден.

     

    Еще по этой теме

    Вы можете пропустить чтение записи и оставить комментарий. Размещение ссылок запрещено.

    Добавить комментарий

    Ваш адрес email не будет опубликован. Обязательные поля помечены *