Anthropic запрещает жестокое обращение с Claude и обновляет политику

По данным The Verge, компания Anthropic впервые за более чем год обновляет свою политику использования, чтобы отразить новые случаи неправильного использования, включая вмешательство в выборы, разработку оружия, слежку, а также применение в здравоохранении и финансах. Одним из наиболее значительных изменений является запрет на "долгое и ненужное жестокое обращение" с моделью Claude. В августе прошлого года компания объявила, что Claude сможет завершать разговоры с "постоянно вредными или агрессивными" пользователями в рамках своего исследования "благополучия модели". Новое обновление подтверждает, что прекращение разговоров остается "основным механизмом принуждения"; Anthropic не прокомментировала, появятся ли другие механизмы принуждения, такие как возможные блокировки пользователей. Компания отметила, что новое обновление политики "предназначено только для крайних случаев, когда пользователи неоднократно ведут себя жестоко по отношению к нашим моделям без видимой цели. Это не относится к обычным проявлениям разочарования пользователей, критике, темам темного творчества или тестированию модели". Кроме изменений в области благополучия модели, Anthropic собрала несколько "разрозненных" существующих ограничений в новую запрет на обманные коммерческие или политические кампании, что касается растущей проблемы пропаганды, создаваемой ИИ. Это ограничивает "усилия по сокрытию того, кто стоит за сообщением, или увеличению охвата контента через фальшивые аккаунты или посты". В разделе о выборах также запрещается обман избирателей и вмешательство в выборы, включая распространение дезинформации "о кандидатах или о том, как голосовать, выдавая себя за кандидатов или выборных должностных лиц, или пытаясь подавить явку", - написала Anthropic. Прекращение разговоров по-прежнему остается "основным механизмом принуждения". Anthropic заявила, что хотя ее политика использования всегда публично запрещала разработку оружия с использованием Claude, компания наблюдала несколько попыток использовать Claude для разработки руководств и управления программным обеспечением для оружия, поэтому новая политика использования расширяет запрет, включая "программное обеспечение и компоненты, которые делают оружие работоспособным, а также действия, такие как вооружение дронов и других автономных транспортных средств". Кроме того, в последнем отчете о угрозах компания указала, что люди все чаще используют Claude для слежки, чтобы идентифицировать и отслеживать "политических диссидентов", поэтому запреты на слежку стали более ясными. "Отслеживание людей без их согласия запрещено, независимо от того, происходит ли это в реальном времени или через анализ ранее собранных данных", - написала Anthropic. "Claude не может использоваться для принятия решений или рекомендаций о том, кого расследовать, арестовывать или предъявлять обвинения в процессе правоохранительных органов или уголовного правосудия. Мы также запрещаем использование Claude для создания или улучшения инструментов, предназначенных для слежки". Anthropic утверждает, что эти правила могут быть изменены для "контрактов с определенными государственными клиентами ... если, по мнению Anthropic, ограничения на использование в контракте и применимые меры предосторожности достаточно для снижения потенциального вреда". Компания ранее заключала контракты с военными США. Кроме того, Anthropic добавила новое правило, согласно которому, когда модели ИИ компании "подключены к аппаратному обеспечению, которое выполняет автономные физические действия и может причинить вред", "квалифицированный оператор должен иметь возможность наблюдать за оборудованием и остановить его при необходимости". Неясно, должен ли этот оператор быть человеком или нет. Это отражает растущую тенденцию лабораторий ИИ инвестировать в робототехнику и другое оборудование, чтобы дать системам ИИ физические воплощения и может дать подсказки о будущих партнерствах Anthropic в этой области. В течение последнего года Anthropic неоднократно намекала на то, что ее модели ИИ могут быть сознательными в некотором роде. "Вопросы о потенциальном внутреннем опыте, сознании, моральном статусе и благополучии являются серьезными, и мы их исследуем по мере того, как модели становятся более сложными и способными", - сказал Кайл Фиш, возглавляющий исследование благополучия модели, в интервью The Verge в феврале. В том же месяце генеральный директор Anthropic Дарио Амодеи сказал в подкасте: "Мы не знаем, являются ли модели сознательными". Другие части индустрии ИИ прямо выступали против таких идей. В прошлом сентябре кодекс поведения Microsoft AI привлек внимание своей четкой позицией по благополучию ИИ, с проектом, опубликованным Мустафой Сулейманом, в котором говорилось: "Идея благополучия модели неправильна. ИИ не должны иметь прав или юридической личности". Но в какой-то момент документ изменился, чтобы иметь более взвешенную точку зрения: "Хотя наука о сознании ИИ далека от окончательного решения ... Мы отвергаем стремление к юридической личности или идею о том, что модели могут заслуживать благополучия или иметь право". Материал подготовлен нейросетью на основе оригинальной публикации. ИИ может ошибаться в деталях (цифры, имена, даты, цитаты) — для важной информации сверяйтесь с первоисточником.