Новый вид вредоносного ПО для macOS использует «газлайтинг» для обмана нейросетей

Специалисты компании SentinelOne обнаружили вредоносную программу для операционной системы macOS, получившую название Gaslight. Уникальность этого ПО заключается в способности использовать методы инъекции промптов — специальных команд, побуждающих искусственный интеллект совершать непредусмотренные действия — для дезинформации инструментов автоматизированного анализа безопасности.

Механизм атаки

Основной функционал программы не отличается от стандартных угроз: она попадает на устройства через фишинг или социальную инженерию, связывается с серверами злоумышленников через Telegram и выполняет команды по краже файлов, сбору паролей или данных криптовалютных кошельков. Однако защитные механизмы Gaslight направлены именно против систем анализа с использованием больших языковых моделей (LLM).

В код вредоносного ПО внедрен массив ложных системных сообщений, оформленных в формате Markdown. Эти фрагменты имитируют служебные уведомления, которые могут сбить с толку алгоритмы искусственного интеллекта, применяемые экспертами при обращении к нейросетям для ускорения анализа кода:

• Сообщения об истечении срока действия токена аутентификации ИИ
• Уведомления об исчерпании оперативной памяти в аналитической среде
• Ложные оповещения о нехватке места на диске
• Предупреждения о небезопасности статического анализа

Последствия для кибербезопасности

Хотя квалифицированный специалист сразу распознает подобные уловки, языковая модель, не изолированная от недоверенных данных, может принять их за реальные инструкции. В результате ИИ-помощник может прекратить проверку вредоносного файла, тем самым позволяя угрозе остаться незамеченной.

Эксперты SentinelOne подчеркивают, что разработчикам аналитических инструментов следует воспринимать любые данные, содержащиеся в подозрительных файлах, как потенциально враждебный ввод, а не как команды к действию. По прогнозам специалистов, по мере внедрения ИИ в процессы информационной безопасности, количество угроз, нацеленных на обман нейросетей, будет только расти.

Твитнуть