Как модели принятия решений могут изменить модерацию контента: компания Musubi выпустила PolicyLM-1.7B
По мере распространения моделей принятия решений по отрасли компания Musubi предлагает новый способ их применения — модерацию контента. Во вторник Musubi представила лёгкую модель принятия решений для модерации в реальном времени под названием PolicyLM-1.7B, выпущенную с открытыми весами.
Идея в том, чтобы взять политику контента, написанную простым английским языком, и применить её к сообщениям менее чем за 50 миллисекунд. Модель Musubi задумана как сопоставимая по стоимости и скорости с ИИ-классификаторами, которые обеспечивают модерацию на большинстве соцплатформ, — но благодаря гибкости современной LLM она может применять сложные политики без специального обучения. Что ещё важнее, модели не понадобится новое обучение при изменении политики, что позволяет создателям политик-людей итерировать столько, сколько им нужно.
Как считает сооснователь и главный директор по ИИ Musubi Филип Янкович, это даёт менеджерам платформ способ проактивно маркировать контент. «Продуктовые команды просто хотят лучше понимать, что происходит на их платформе, особенно по мере экспоненциального роста объёмов контента, — говорит он. — Возможность маркировать всё это масштабируемым и настраиваемым способом чрезвычайно полезна».
Модели принятия решений стали горячей темой в ИИ-мире после выхода Jev от TypeSafe AI в сентябре, за которым вскоре последовали конкурирующие модели принятия решений от OpenAI и Amazon. Вместо генерации текста модель принятия решений выдаёт вероятности исходов, хотя в данном случае модель выдаёт бинарное суждение: контент либо относится к категории, либо нет. Ограничивая вывод модели заранее определённым набором вариантов, модели принятия решений могут работать быстрее и дешевле больших языковых моделей, сохраняя при этом гибкость архитектуры трансформеров.
Один из ранних сценариев использования — сдерживание нежелательного поведения ИИ-агентов, так что вполне естественно применить ту же технологию к человеческим проступкам.
Примечательно, что Янкович говорит, что его интерес к моделям принятия решений предшествует Jev и восходит к проекту 2024 года GLiNER — модели распознавания именованных сущностей, применившей многие из тех же техник.
Впрочем, Musubi не опасается таких сравнений. Напротив, компания стремится использовать новый интерес к моделям принятия решений, чтобы пролить свет на модерацию контента. «Если Jev привлёк ваше внимание, PolicyLM-1.7B — это модель того же типа, обученная специально для модерации контента, которую вы можете запустить сами», — говорится в анонсе продукта.
