По данным TechCrunch, OpenAI на этой неделе представила сотни решений некоторых из самых сложных математических задач мира, заявив, что консультировалась с экспертной группой элитных математиков, чтобы избежать споров, возникших в прошлый раз, когда одна из её моделей решила давнюю проблему в этой области. Однако OpenAI не достигла установленных стандартов, особенно в тех случаях, когда математики подчеркивали необходимость человеческого понимания математического результата. Это вызывает особую озабоченность после выхода новой статьи, в которой подчеркиваются разрывы между естественным языком и формально выраженным решением проблемы, за которую обещали миллион долларов и которую, по сути, решили модели OpenAI. Экспертная группа по математике и искусственному интеллекту (AGMAI), организованная Институтом высших исследований Принстона, состоит из девяти выдающихся исследователей из различных учреждений мира. Организация выпустила рекомендации для передовых лабораторий, занимающихся решением математических задач, в конце сентября. В заявлении по поводу последнего набора доказательств AGMAI отметила, что «в конечном итоге математическому сообществу предстоит оценить, насколько успешно были выполнены наши рекомендации». Однако первой просьбой организации было «прекратить тестирование сложных математических задач на закрытых моделях». Выпуск OpenAI явно указывает на то, что она оценивает свои закрытые модели, используя открытые исследовательские задачи в математике. Экспертная группа не ответила на запрос TechCrunch о более тщательной оценке последнего выпуска доказательств OpenAI. Лаборатория, безусловно, следовала некоторым из своих принципов, включая выпуск результатов как можно скорее и предоставление информации о том, как модели пришли к своим выводам. Однако это касалось не всех материалов: только 10 из 719 рукописей содержали информацию о процессе мышления модели. Для статей, которые не понимают, математики предложили формализовать доказательства — но только 42% доказательств, выпущенных OpenAI, не прошли этот процесс. В конечном итоге всё еще неясно, берет ли OpenAI «ответственность за обеспечение того, чтобы человеческое понимание последовало» при выпуске своих доказательств в соответствии с принципами AGMAI. AGMAI предложила OpenAI помочь финансировать работу человеческих математиков, которые будут необходимы для того, чтобы решения лаборатории стали значимыми в реальном смысле. «Проблемы решаются автономно AI-промптерами, которые не заинтересованы в более широкой области, как только их первоначальная цель «решена», и не понимают выводы AI достаточно хорошо, чтобы отвечать на вопросы по результату, давать лекции или иным образом взаимодействовать с остальной частью области», — написал в социальных сетях Терренс Тао, выдающийся математик, который критиковал подход OpenAI, после выхода этого релиза. Эта проблема была проиллюстрирована статьей, опубликованной на этой неделе математиками из Кембриджского университета и Королевского колледжа в Лондоне, которая ставит под сомнение подход передовых лабораторий к этим вызовам. Когда модели AI решают математические задачи, они сначала создают объяснение на «естественном языке», а затем пытаются выразить этот результат на языке программирования Lean, который теоретически подтверждает точность доказательства, компилируя его как код. Однако могут возникнуть проблемы с тем, как модели переводят свои доказательства на естественном языке в код; эта статья документирует как минимум два несоответствия между доказательством на естественном языке и кодом Lean, предложенным OpenAI для решения проблемы, основанной на уравнениях Навье-Стокса, описывающих сложное поведение жидкостей. Эти несоответствия не обязательно опровергают ни одно из решений, но они поднимают вопросы о том, можем ли мы просто полагаться на модели для формализации своих собственных решений без человеческого участия. Вот одна из причин, по которой AGMAI попросила OpenAI «включить машинно-читаемые метаданные, коррелирующие естественный язык и формальные артефакты», чего передовая лаборатория не сделала с этими выпусками. «Из-за феномена неверных переводов — как подчеркивается в этой статье — доказательство на NL от OpenAI и другие автоматизированные доказательства Lean не должны приниматься на веру без того же процесса рецензирования и проверки, которому подвергаются другие доказательства», — заключают авторы статьи «потерянные в переводе». Математики подчеркивают, что когда новые результаты открываются людьми, они берут на себя ответственность за них и взаимодействуют с более широкой общественностью через статьи, лекции и семинары. Этот процесс увеличивает понимание решений, находит стратегии, которые можно использовать для решения других проблем, и позволяет новому знанию применяться в практических областях. Когда модель получает задание решить сложную задачу и выдает решение, «человеческого понимания этого результата на момент выпуска нет, и теперь начинается работа», — сказала профессор математики Гарвардского университета Мелани Вуд в интервью TechCrunch. Материал подготовлен нейросетью на основе оригинальной публикации. ИИ может ошибаться в деталях (цифры, имена, даты, цитаты) — для важной информации сверяйтесь с первоисточником.