Musubi presents a model for content moderation using AI

TechCrunch сообщает, что компания Musubi представила новую идею использования моделей принятия решений для модерации контента. Во вторник Musubi анонсировала легковесную модель принятия решений для модерации в реальном времени под названием PolicyLM-1.7B, выпущенную с открытыми весами. Цель модели заключается в том, чтобы применять политику контента, написанную на понятном английском языке, к сообщениям менее чем за 50 миллисекунд. Модель Musubi разработана так, чтобы быть сопоставимой по стоимости и скорости с системами классификации ИИ, которые используются для модерации на большинстве социальных платформ. Однако благодаря гибкости современных языковых моделей она может применять сложные политики без специального обучения. Более того, модель не требует повторного обучения при изменении политики, что позволяет людям, устанавливающим политику, вносить изменения по мере необходимости. Соучредитель Musubi и главный специалист по ИИ Филип Янкович считает, что это дает менеджерам платформ возможность проактивно маркировать контент. «Команды продуктов просто хотят лучше понимать, что происходит на их платформе, особенно с учетом того, что объем контента стремительно увеличивается», — говорит Янкович. «Возможность маркировать все это в очень масштабируемом и настраиваемом формате чрезвычайно полезна». Модели принятия решений стали популярной темой в мире ИИ с момента выхода Jev от Typesafe AI в сентябре, за которым последовали конкурирующие модели от OpenAI и Amazon. Вместо вывода текста модель принятия решений выдает вероятности исходов, хотя в данном случае модель дает бинарное суждение: либо контент попадает в категорию, либо нет. Ограничивая вывод модели набором заранее определенных вариантов, модели принятия решений могут работать быстрее и дешевле, чем большие языковые модели, при этом сохраняя гибкость архитектуры трансформеров. Одним из ранних примеров использования является контроль за ненадлежащим поведением ИИ-агентов, поэтому естественно применять ту же технологию для контроля за человеческим поведением. Янкович отмечает, что его интерес к моделям принятия решений возник еще до появления Jev, восходя к проекту 2024 года под названием GLiNER (Общая модель для распознавания именованных сущностей), который использовал многие из тех же техник. Тем не менее, Musubi не боится сравнения. Напротив, компания стремится использовать новый интерес к моделям принятия решений, чтобы привлечь внимание к модерации контента. «Если Jev привлек ваше внимание, PolicyLM-1.7B — это такая же модель, специально обученная для модерации контента, которую вы можете запустить самостоятельно», — говорится в анонсе продукта. Материал подготовлен нейросетью на основе оригинальной публикации. ИИ может ошибаться в деталях (цифры, имена, даты, цитаты) — для важной информации сверяйтесь с первоисточником.