Тайны профессора хокинга.

Знаменитый физик на неожиданные вопросы пользователей интернета ответил.

Профессор хокинг, каждый раз, когда я читаю лекции на тему ИИ, машинного обучения или умных роботов, в итоге все кончается разговором со студентами на тему терминатора. В этих дискуссиях я всегда говорю, что опасность ИИ раздувается в СМИ. Настоящая опасность тут та же, что и в любом не до конца понятном программном коде: в непредсказуемости пограничных случаев
. Мне кажется, это отличается от "Опасного ИИ" в представлениях большинства людей - у по нет мотивов, сознания и злых намерений: программа просто пытается оптимизировать функцию, которую мы сами прописали и спроектировали.

Ваша (и Илона маска) точка зрения в СМИ часто приводится как пример веры в "Злой ИИ". Студенты об этом знают, и это придает оживления нашим дискуссиям. Как бы вы вашу позицию на моих семинарах представили? Можно ли совместить наши точки зрения? Не наивна ли моя склонность критиковать "Страх Перед Терминатором"? И последнее - какую моральную позицию, по вашему мнению, стоит поощрять среди студентов, интересующихся ИИ?

Вы правы: масс - медиа часто неверно интерпретируют чужие слова. Настоящий риск ИИ связан не со злым умыслом, а с компетентностью. Сверхразумный ИИ будет замечательно достигать своих целей, и если эти цели не совпадут с нашими, вот тогда мы попадем в беду. Вы же не ненавистник муравьев, который по злобе давит насекомых. Но если вы руководитель проекта по экологически чистой гидроэнергетике, а на территории, подлежащей затоплению, находится муравейник - горе муравьям. Давайте не ставить человечество на место этих муравьев. Пожалуйста, поощряйте ваших студентов не только создавать ИИ, но и обеспечивать его использование в благих целях.

Доктор хокинг, здравствуйте. Я недавно степень бакалавра по ИИ и когнитивистике получил. Изучая ИИ, я непосредственно сталкиваюсь с этическими вопросами, связанными с тем, как быстро машины узнают о личных свойствах и поведении людей, а также научились определять их личность с пугающей скоростью. Тем не менее, идея "Сознательной", разумной системы ИИ, которая представляла бы смертельную угрозу для человечества, мне кажется странной и очень далекой от нас (при нынешнем уровне развития нейрофизиологии и вычислительной техники. Вот что я хотел спросить: предупреждая нас об угрозе умных машин, вы говорите о современных тенденциях (в машинном обучении, например) или о подготовке к тому, что неизбежно наступит в далеком будущем?

О втором. Среди исследователей ИИ нет согласия в том, сколько времени потребуется на доведение ИИ до уровня человеческого разума и выше, так что, пожалуйста, не верьте никому, кто заявляет о том, что это случится при вашей жизни (или не при вашей жизни. Но в любом случае это будет самое лучшее или самое худшее событие в истории человечества, так что крайне ценно понять это правильно. Нам следует изменить задачу: создавать не чистый неуправляемый искусственный интеллект, но благотворный интеллект. Поиск путей к этой цели может потребовать многих десятилетий, так что давайте начнем сейчас, а не ночью накануне включения первого мощного ИИ.

Хорошо бы спросить профессора хокинга что-то иное, если он не против. Здесь более чем достаточно научных вопросов, заданных с недоступным мне красноречием. Так что вот: какова ваша любимая песня и почему?

"Have I Told You Lately" рода стюарта.

Какой ваш любимый фильм всех времен и почему?

"Жюль и Джим" 1962 года.

Что из последних вещей, которые вы видели в интернете, показалось вам забавным?

"Теория Большого Взрыва".

В этом году вы, Илон маск и многие известные ученые подписали открытое письмо о "Подводных Камнях" ИИ. Мои вопросы. 1. есть мнение, что творение никогда не станет умнее своего творца. Вы согласны? Таким образом, если да, то как же искусственный интеллект может представлять угрозу для рода человеческого (его творцов? 2. если ИИ сможет превзойти людей, где проводить красную линию? Иными словами, до какого уровня человечество должно доводить ИИ, чтобы тот не обогнал его?

Вполне возможно обогнать по интеллекту собственных предков: в ходе эволюции мы обошли наших обезьяноподобных предков, а Эйнштейн был умнее своих родителей. Линия, о которой вы говорите - это когда ИИ сможет лучше человека конструировать ИИ, и таким образом получит шанс усовершенствовать себя без помощи человека. Лишь в том случае, если это произойдет, мы столкнемся со взрывом интеллекта, с машинами, превосходящими нас по уровню интеллекта больше, чем мы превосходим улиток.

Доктор хокинг, какую тайну вы считаете наиболее увлекательной и почему? Спасибо.

Женщин. Мой секретарь напоминает мне: хотя у вас есть степень доктора философии в области физики, женщины должны оставаться загадкой.

Я сильно опоздал на вопросную вечеринку, но все равно спрошу с надеждой получить ответ. Думали ли вы о технологической безработице, когда мы создаем автоматизированные процессы, способные выполнять многие рабочие задачи быстрее и дешевле, чем люди? Многие в этом контексте вспоминают луддитов, восстание которых отчасти произошло из-за "Технологической Безработицы" (по крайне мере, они так думали. Ожидаете ли вы, что люди будут работать меньше при росте автоматизации? Думаете ли вы, что люди всегда смогут найти работу или создать новые рабочие места?

В том случае, если машины будут производить все, что нам нужно, все зависит от распределения полученных благ. В случае если это богатство разделить на всех, каждый может перейти к роскошному и праздному образу жизни или большинство людей окажется за чертой бедности - если владельцы машин успешно предотвратят перераспределение богатства. Пока мировые процессы идут скорее во втором направлении, и технологии лишь усиливают все растущее неравенство.

Профессор хокинг, недавно я думал о воле биологических организмов к выживанию и воспроизводству и о том, как этот импульс эволюционировал на протяжении жизни миллионов поколений. Будет ли ИИ наделен этими базовыми стимулами, а если нет, то будет ли это представлять угрозу для человечества?

Сконструированный ИИ (в отличие от возникшего в ходе эволюции) может, в принципе, руководствоваться любыми побуждениями и преследовать любые задачи. Однако, как подчеркивает Стив омохандро, сверхразумный ИИ будущего, скорее всего, разовьет в себе побуждение к выживанию и приобретению новых ресурсов - чтобы смочь выполнить свои задачи. Выживание и накопление ресурсов повысит шансы на достижение цели. Это может создать проблемы для людей, чьи ресурсы ИИ присвоит.

Профессор хокинг, в 1995 году родители оставили нас с братом в пункте видеопроката в Кембридже. Мы сидели на скамеечке и смотрели по телевизору "мир уэйна 2". Тут ваша медсестра подкатила коляску с вами, и мы все вместе смотрели фильм примерно пять минут. Мой отец увидел это и настоял на том, чтобы взять видеокассету с картиной напрокат - если это хорошо для вас, то и для нас подойдет, решил он. Вы не помните, как вы смотрели "мир Уэйна 2"? Нет.