Исследование показывает, как ИИ ускоряет формальную верификацию кода

Согласно материалу Wired, исследователь Стэнфордского университета Чуюэ Сун и её коллеги разработали инструмент ИИ, который завершил инженерный проект менее чем за полдня и стоимостью менее 500 долларов, в то время как трем высококвалифицированным специалистам потребовалось пять месяцев на выполнение той же работы вручную. Это резкое сокращение времени и затрат, о котором сообщила Сун в недавней статье, стало одним из первых результатов, которые пробуждают малоизвестную область кодирования и математики, известную как формальная верификация. На протяжении десятилетий разработчики мечтали использовать математику для доказательства того, что их программное обеспечение свободно от ошибок. Этот процесс долгий и трудоемкий, требующий от инженеров написания точных заявлений о целях их программного обеспечения и преобразования их кода в формулы, которые можно проверить. Хотя компании уже проводят сложные тесты для выявления как можно большего количества недостатков в своем программном обеспечении, они редко тратят деньги на формальную верификацию, которая может выявить еще более непредсказуемое поведение. Теперь волна стартапов ставит на то, что генеративный ИИ сделает формальную верификацию программного обеспечения как практичной, так и необходимой. Среди них находится компания &Truth, в которую Сун присоединилась в августе и которая была публично запущена в четверг. Исследования Сун продемонстрировали потенциал технологии, используя ИИ для верификации части кода, который шифрует разговоры в мессенджере Signal. «Мосты, здания не рушатся, потому что люди провели математические расчеты перед их строительством», — говорит Илья Сергеев, главный научный сотрудник &Truth. «Почему мы не делаем то же самое для кода? Технология математического обоснования была всегда, просто её трудно масштабировать». &Truth привлекла 70 миллионов долларов от инвесторов и стремится в конечном итоге верифицировать любой язык программирования. Конкурирующий стартап Harmonic, который был основан генеральным директором Robinhood Владом Теневым и получил 295 миллионов долларов финансирования, на этой неделе объявил, что его математически ориентированный ИИ-агент Аристотель поддерживает верификацию программного обеспечения, написанного на C, и проектирования аппаратного обеспечения на Verilog. Он оценивает технологию с потенциальными пользователями, включая производителей чипов Tensordyne и Nvidia, чья венчурная капитальная компания является одним из инвесторов стартапа. И всего лишь на прошлой неделе Anthropic и стартап верификации Theorem совместно объявили, что они использовали ИИ для помощи в нахождении ошибок в открытом программном обеспечении, которые не удалось обнаружить триллионам тестов. Они также представили дополнение для Claude, чтобы помочь другим разработчикам с верификацией. Стоимость первоначального проекта не была раскрыта. Большое обещание заключается в будущем, где программное обеспечение работает более надежно с меньшими проблемами безопасности. Но остается открытым вопрос, сможет ли ИИ вывести формальную верификацию за пределы самых критических систем в организациях, таких как NASA и Apple, и сделать её широко доступной. Технология все еще находится на стадии прототипирования. Хотя спрос велик, неясно, сколько клиенты готовы платить и как они предпочитают внедрять технологию. Формальная верификация зависит от предположений о том, как компьютеры и люди взаимодействуют с программным обеспечением, и некоторые эксперты скептически относятся к её способности ловить ошибки, возникающие из-за человеческих ошибок и сбоев оборудования. Уилл Уилсон, который управляет стартапом по поиску ошибок ИИ Antithesis, называет формальную верификацию «ловушкой» для математиков, таких как он сам. Antithesis потратила миллионы долларов на формальную верификацию некоторых своих киберзащит, процесс, который Уилсон описывает как «неприятный». Тем не менее, стартап всё равно обнаружил дополнительные ошибки с помощью своего инструмента, и Antithesis также нашла ошибки в программном обеспечении, которое несколько её клиентов формально верифицировали. «Это может дать вам некоторую уверенность, но только надежное исчерпывающее тестирование может доказать, что ваша уверенность истинна», — говорит Уилсон. Или, как выразился Виталик Бутерин, инженер, известный созданием криптовалюты Ethereum, в блоге ранее в этом году, «формальная верификация не является панацеей». Но он и другие сторонники этого подхода всё же считают, что это будет важной защитой от кибератак ИИ-систем и разрушительного хаоса. По данным компании, Boeing, серверы Amazon и более 2,5 миллиарда активных устройств Apple содержат как минимум часть формально верифицированного программного обеспечения. Код, о котором идет речь, обычно связан с безопасностью, и уязвимости в нём могут причинить серьезный вред, если их эксплуатировать. Байрон Кук, выдающийся ученый и вице-президент Amazon Web Services, говорит, что формальная верификация облегчила клиентам беспокойство по поводу безопасности облака и помогла внутренним командам работать быстрее, устраняя большие ошибки на ранних стадиях. Однако несколько средних технологических компаний заявляют Wired, что они обычно верифицировали только одну ключевую функцию своих продуктов, если вообще что-то. Они ссылаются на нехватку инженеров по верификации, затраты, которые превышают потенциальные риски, и, возможно, что более важно, опасения, что ожидание недель для формальной верификации кода может замедлить инновации. В начале этого года команда безопасности Apple заявила, что некоторые проблемы, которые формальная верификация обнаружила в её библиотеке «corecrypto», используемой для шифрования, не могли быть найдены никаким другим способом. Но компания добавила, что ей нужно быть «консервативной», добавляя новый код в corecrypto, чтобы гарантировать, что она может успевать с его проверкой. Два руководителя по кибербезопасности в крупных компаниях, которые не верифицировали никакой код, говорят, что они не уверены, принесет ли автоматизация пользу. Но руководители, которые не были уполномочены говорить публично, говорят, что могли бы представить, что заплатят крупным лабораториям ИИ за «верифицированный» ИИ-сгенерированный код. Разработчики проектов с открытым исходным кодом, которые являются основой многих приложений, всё больше экспериментируют с верификацией с помощью ИИ. Некоммерческая организация Beneficial AI Foundation использовала грант от Anthropic для валидации того же шифровального кода в этом году, что и Сун в Стэнфорде. Майкл Розенберг, куратор библиотеки, известной как curve25519-dalek, надеется, что появится устойчивое финансирование для постоянных усилий по верификации. «У меня нет идей, как это произойдет, и мы определенно не должны полагаться на добрую волю компаний ИИ», — говорит он. Некоторые стартапы, стремящиеся расширить верификацию, также не уверены, следует ли им развертывать свои инструменты напрямую клиентам или через посредников, таких как Anthropic. Их общий план заключается в том, чтобы использовать ИИ для автоматизации большей части работы, связанной с определением того, как программа должна себя вести. Например, спецификации для таблицы данных могут требовать, чтобы она содержала одни и те же элементы до и после сортировки, просто в другом порядке. Дальнейшие усилия по автоматизации, которые могут не включать ИИ, будут переводить этот код в формат, который математические инструменты, такие как Lean, Rocq и Isabelle, могут использовать для проверки, работает ли код так, как задумано. Еще одним недавним игроком на рынке формальной верификации является Мадан Мусувати, который покинул Microsoft Research после более чем 20 лет, чтобы основать стартап Truidic. После инцидентов, таких как хак OpenAI Hugging Face, он почувствовал настоятельную необходимость коммерциализировать свои исследования. «ИИ в руках нападающих может быть чрезвычайно мощным», — говорит Мусувати, но верификация может «сделать ИИ безопасным и защищенным для всех, повсюду». Proofcraft, одна из немногих компаний, которая долго предлагала традиционную верификацию, говорит, что растущий интерес к процессу приводит к потоку запросов от потенциальных клиентов. Джун Андроник, генеральный директор компании, и Гервин Кляйн, её главный ученый, говорят, что интерес легко превышает то, что они и их конкуренты могут предоставить. Но оба беспокоятся, что спецификации, сгенерированные ИИ, могут вызвать «необоснованное доверие» к результатам. Верификаторы также стремятся сохранить радость, которую приносит их работа. Кляйн называет это «довольно затягивающим, как игра-головоломка». Если всё пойдет хорошо, он будет решать головоломки больше, чем когда-либо. Материал подготовлен нейросетью на основе оригинальной публикации. ИИ может ошибаться в деталях (цифры, имена, даты, цитаты) — для важной информации сверяйтесь с первоисточником.