Anthropic and Theorem Used Claude for Mathematical Verification of 123 Open-Source Libraries
📌 Anthropic and Theorem used Claude for mathematical verification of 123 open-source libraries. Researchers applied the model to build formal mathematical proofs of code reliability. The basis was ready-made fuzzing tests from OSS-Fuzz, Google's service for…
- 01.📌 Anthropic and Theorem used Claude for mathematical verification of 123 open-source libraries
- 02.Researchers applied the model to build formal mathematical proofs of code reliability
- 03.The basis was ready-made fuzzing tests from OSS-Fuzz, Google's service for…
📌 Anthropic и Theorem использовали Claude для математической верификации 123 открытых библиотек Исследователи применили модель для построения формальных математических доказательств надежности кода. Основой послужили готовые фаззинг-тесты из OSS-Fuzz, сервиса Google для непрерывной проверки открытого кода случайными данными, которые сами по себе не способны дать стопроцентной гарантии отсутствия сбоев. Claude превращал каждый такой тест в строгое утверждение и доказывал его. Всего за несколько недель нейросеть сгенерировала около 180 миллионов строк кода доказательств для 239 точек входа в 123 библиотеках из набора OSS-Fuzz. Корректность доказательств проверяла программа Rocq, которая пересчитывает каждый шаг рассуждения, и результаты математически подтверждают, что протестированные программы гарантированно завершатся штатно при обработке любых произвольных входных данных размером до 64 МБ. В процессе построения доказательств модель вскрыла и устранила сотни нетривиальных багов, которые практически невозможно отловить случайными тестами. В их числе - ошибка перезаписи буфера в алгоритме декомпрессии, срабатывавшая только при строгом совпадении внутренней структуры и размера файла около 20 МБ, а также чтение за границами массива в декодере изображений, требовавшее для воспроизведения 64-мегабайтный файл и более 2 ГБ выделенной памяти. Ранее подобная строгая верификация считалась слишком трудоемкой для реального применения - к примеру, доказательство корректности микроядра seL4 потребовало 20 человеко-лет против всего двух человеко-лет на написание самого кода. Авторы рассчитывают, что скоро формальная верификация станет такой же обыденной практикой, как сегодня фаззинг, почти для всего промышленного кода, хотя пока это дорого - на одно доказательство ушло сотни миллионов токенов. К слову, совсем без людей обойтись всё еще не получается - в экспериментах следили за тем, чтобы модель не добивалась доказуемости, выхолащивая саму программу, поэтому её правки кода штрафовались и проверялись человеком. @ai_machinelearning_big_data
Related Intelligence
All stories →Anthropic’s IPO filing reveals its strategy for keeping enterprise customers hooked
Anthropic’s S-1 shows more than half of its $100,000-plus customers now use both the Claude Platform and a first-party app, a cross-selling playbook reminiscent of Amazon that’s making enterprise customers stickier.
FairStress: тест на демографическую справедливость моделей
📌 FairStress: тест на демографическую справедливость моделей Институт Аллена опубликовал набор FairStress для проверки того, меняет ли языковая модель своё решение о человеке из-за его расы, пола, религии, возраста, инвалидности или ориентации в сферах найма, кредитования,…
But the most interesting thing about Anthropic's IPO data is that they raised a total of $141.1 billion, and they still have...
But the most interesting thing about Anthropic's IPO data is that they raised a total of $141.1 billion, and still have $131.7 billion in their accounts. It turns out that throughout its history, Anthropic has spent about $9.4 billion, while in just 3 years its revenue has grown from zero to $16.3 billion in...