Anthropic объявляет о сотрудничестве с независимыми оценщиками

По данным Anthropic, в прошлом месяце компания взяла на себя обязательства по более тщательной независимой оценке своих моделей и практик безопасности. Также был подписан Аккорд Белого дома по супер-интеллекту, в котором компании обязались сотрудничать с независимыми внешними аудиторами или оценщиками. Сегодня компания объявила о начале предоставления доступа к команде из METR, некоммерческой организации, которая оценивает передовые модели искусственного интеллекта. METR опубликует результаты своих оценок рисков. В течение прошлого года Anthropic сотрудничала с METR в рамках нескольких обзоров своих отчетов о рисках. Компания также работает с SecureBio и Accenture в качестве оценщиков и ведет предварительные переговоры с несколькими другими организациями, включая Hugging Face. В этом сообщении объясняется подход компании к взаимодействию с оценщиками. Anthropic стремится быть публично ответственной за принимаемые решения, однако не может раскрывать всю информацию, касающуюся ее работы по обеспечению безопасности, поскольку некоторые данные могут быть полезны недоброжелателям или являются коммерчески чувствительными. Вместо этого компания предоставляет независимым оценщикам глубокий доступ к своей информации, позволяя им делиться доказательствами и обоснованными выводами о рисках, связанных с разработкой моделей. Для оценки передовых моделей оценщики должны обладать экспертизой в оценке возможностей таких моделей, а также независимостью, не имея акций компании или финансовой зависимости от нее. Кроме того, они должны иметь достаточный доступ для значимой оценки рисков, включая информацию о том, как модели были обучены, и о функционировании мер безопасности. Хотя аналогия не совсем точная, надзор за банками работает по аналогичному принципу. Банки знают больше о своих рисках, чем внешние наблюдатели, поэтому регуляторы назначают резидентных инспекторов для работы внутри крупных банков. Если риск, принимаемый банком, может угрожать обществу, третьи стороны пытаются предсказать это заранее. Для индустрии ИИ это шаг к надежному надзору за безопасностью. Anthropic активно работает с несколькими оценщиками и учится, какие виды партнерства работают лучше всего. Компания обязуется делиться обновлениями по мере продвижения. Что подразумевается под «доступом, аналогичным доступу сотрудников»? Anthropic предоставила шести сотрудникам METR оборудование, офисное пространство и доступ к внутренним инструментам и системам, которые примерно соответствуют тому, к чему имеют доступ собственные команды оценки рисков. За исключением небольшого числа четко определенных категорий (например, данные о клиентах или информация, защищенная адвокатской тайной), сотрудники Anthropic могут делиться информацией с METR так же, как они делились бы с коллегой, работающим над оценкой рисков. METR опубликует свой анализ уровней рисков, инцидентов или практик компании. Anthropic не может наложить вето на публикацию, но может требовать отредактировать информацию, если она попадает в узкие заранее определенные категории. METR имеет право публично комментировать наши редактирования и высказывать мнение о том, были ли они оправданы, при этом не раскрывая редактируемую информацию. Сотрудничество с METR ограничено небольшой командой, работающей по обязательствам. Другие сотрудники METR изолированы от работы этой команды, включая исследователей, которые работают над другими проектами. Встраивание оценщиков дает нескольким квалифицированным людям, работающим в соответствии со стандартами безопасности Anthropic, близкий взгляд на то, как компания функционирует. Anthropic также работает над несколькими другими партнерствами. Поскольку эти партнерства находятся на ранних стадиях, оценщики получают более ограниченную информацию и имеют более ограниченные права на публикацию. Целью этих ранних взаимодействий является обеспечение защиты конфиденциальной информации и наличие у партнеров необходимых ресурсов и экспертизы для оценки моделей. По мере развития партнерств и укрепления доверия, компания надеется полностью интегрировать больше независимых оценщиков. Anthropic разрабатывает три уровня доступа для оценщиков. Со временем компания надеется, что у нее будет несколько оценщиков на третьем уровне, каждый из которых будет публиковать свой анализ позиций по рискам и ключевых решений. На первом уровне оценщики проводят узконаправленные исследования рисков, а Anthropic решает, какой доступ предоставить оценщику первого уровня. Оценщики могут публиковать свои выводы с согласия компании. На втором уровне оценщики могут публиковать без согласия компании и имеют доступ к более обширной информации. Anthropic все еще может требовать удаления определенных категорий информации, хотя оценщики могут публиковать свои мнения о том, были ли редактирования оправданы. Третий уровень — это соглашение, описанное с METR, с доступом, аналогичным доступу сотрудников, и правами на публикацию, схожими с правами второго уровня. SecureBio в настоящее время находится на первом уровне. Он проводит обзор главы о химическом и биологическом оружии из августовского отчета о рисках после завершения и публикации пилотного обзора предыдущего отчета о рисках. После завершения этого обзора Anthropic рассмотрит возможность перехода к проектам с увеличенным доступом и правами на публикацию. С Accenture и Faculty компания работает над амбициозным партнерством, которое включает оценку и тестирование моделей, проведение оценок согласования, тестирование мер безопасности и развитие возможностей в обеих организациях. Anthropic считает, что каждая компания, работающая с передовыми ИИ, должна следовать такому же примеру. Материал подготовлен нейросетью на основе оригинальной публикации. ИИ может ошибаться в деталях (цифры, имена, даты, цитаты) — для важной информации сверяйтесь с первоисточником.