Свежий Демис Хассабис: самый опасный этап развития ИИ - это закрытый цикл рекурсивного самоулучшения(RSI) Основатель DeepMind, Нобелевский лауреат считает, что уже сейчас ИИ сильно помогает людям в программировании, но человек всё ещё остаётся в процессе работы: проверяет код, принимает решения, контролирует процесс. Но когда человек уйдет из этого процесса полностью, чтобы система сама предлагала улучшения, их внедряла и запускала обучение следующих версий, тогда процесс станет намного быстрее. Именно это он считает очень рискованным путём к полному AGI по 2 причинам: 1. Может произойти взрыв интеллекта - это когда система может начать улучшать себя так быстро, что люди потеряют контроль над процессом. 2. Появится чужой интеллект - результат, скорее всего, будет сильно отличаться от человеческого мышления. У нас не будет оснований полагать, что он окажется в похожем ментальном пространстве. Из-за этого будет трудно понять такую систему, а ей понять нас. Хассабис говорит, что большинство ИИ-исследователей это понимают, но идёт жёсткая конкурентная гонка за улучшение систем для программирования, которые как раз и ускоряют путь к RSI. Поэтому нужно быть очень осторожными, приближаясь к закрытому циклу.