Anthropic отказалась от скрытого ограничения возможностей Claude Fable 5 для разработчиков ИИ

Американский стартап Anthropic изменил политику безопасности своего нового искусственного интеллекта после резкой критики со стороны научного сообщества. Ранее компания планировала тайно снижать производительность нейросети Claude Fable 5, чтобы не дать конкурентам использовать ее для обучения сторонних моделей. Теперь разработчики пообещали сделать все защитные механизмы прозрачными для пользователей.

Скрытые ограничения во благо безопасности

Релиз Claude Fable 5 состоялся ранее на этой неделе. Модель получила дополнительные защитные барьеры, призванные предотвратить ее опасное использование. Разработчики внедрили следующие меры предосторожности:

• Автоматическое перенаправление запросов по кибербезопасности, химии и биологии на менее мощную версию нейросети для предотвращения создания цифрового или биологического оружия.
• Ограничение использования модели для обучения конкурирующих систем искусственного интеллекта.
• Защита технологического преимущества в сфере производства полупроводников и оптимизации программного обеспечения.

Однако в отношении специалистов, занимающихся созданием передовых систем искусственного интеллекта, Anthropic планировала применить скрытые ограничения. Компания собиралась незаметно ухудшать качество ответов нейросети. Такой шаг был направлен против создателей конкурирующих моделей, которые используют Claude для обучения своих продуктов, что прямо нарушает правила использования сервиса.

Реакция сообщества и обвинения в монополизации

Подобное решение вызвало волну возмущения среди специалистов по машинному обучению. Эксперты отметили, что скрытое ухудшение работы популярного инструмента, ставшего стандартом для написания кода, вредит не только конкурентам, но и открытым научным проектам.

В обзорах профильных специалистов указывается, что скрытое снижение производительности подрывает доверие к Anthropic и мешает совместной работе над безопасностью ИИ. По словам представителей стартапа Prime Intellect, такие действия похожи на попытку монополизировать сферу исследований, заблокировав доступ к передовым технологиям для всех, кроме нескольких крупнейших лабораторий. Кроме того, тайные фильтры лишали независимых аудиторов возможности объективно оценивать надежность и производительность нейросети.

Переход к прозрачным правилам

В официальном заявлении представители Anthropic признали ошибку и принесли извинения за неверно выбранный баланс между безопасностью и открытостью. Теперь защитные механизмы Claude Fable 5 будут явными. Если система заподозрит, что пользователь пытается обучить на основе Claude стороннюю нейросеть, она открыто откажет в запросе или предупредит о перенаправлении на базовую модель.

Разработчики объясняют жесткие меры предосторожности тем, что Claude стала слишком эффективным инструментом для ускорения исследований. В Anthropic опасаются, что технологии развиваются быстрее, чем общество успевает к ним адаптироваться. По мнению руководства стартапа, миру необходима возможность временно замедлять разработку передовых систем для проведения исследований в области безопасности.

Поскольку теперь ограничения стали видимыми, система может чаще выдавать ложные срабатывания на безопасные запросы. Разработчики пообещали оперативно повысить точность классификаторов, чтобы минимизировать неудобства для пользователей.

Твитнуть