ИИ провалил корректно проведенный тест тьюринга.

Громкие сообщения о том, что ИИ прошел тест тьюринга, могут быть преждевременными. К такому выводу пришли исследователи университета Кентербери, опубликовавшие работу в журнале Philosophy of Science.

Тест, предложенный Аланом тьюрингом в 1950 году, проверяет, способен ли собеседник отличить машину от человека в переписке. Ученые выяснили: популярные правила - пять минут на разговор и "Победа" ИИ при обмане 30% судей - сам тьюринг не устанавливал. Он открытый диалог без жесткого лимита времени описывал.

Авторы попросили 37 участников поговорить с человеком и GPT-4-Turbo от Openai столько, сколько нужно для уверенного решения. ИИ распознали 36 человек - это 97%. При этом 89% участников общались дольше пяти минут: в среднем беседа занимала 14 минут, а самая долгая - 46.

По словам руководителя работы Кристофа бартнека, долгий свободный разговор позволяет проверить, понимает ли система тему, а не только выдает убедительные фразы. Однако результат не означает, что будущие модели неизбежно провалятся: более новые ИИ могут показать себя иначе.

Изображение: Shutterstock AI/Shutterstock/Fotodom.