Руководители скрывают использование ИИ в два раза чаще рядовых сотрудников

Новое исследование компании Ivanti выявило серьезный разрыв в восприятии безопасности искусственного интеллекта внутри организаций. Топ-менеджеры скрывают применение ИИ-инструментов почти в два раза чаще, чем обычные работники (42% против 23%). При этом более половины руководителей (52%), умалчивающих об использовании технологий, объясняют это желанием получить личное преимущество в эффективности.

Проблема «теневого» ИИ и риски утечки данных

Интеграция сторонних ИИ-сервисов без ведома ИТ-отделов создает беспрецедентные угрозы для корпоративной безопасности. В обзоре приводится пример платформы Clearwater Analytics, которая управляет активами на сумму 8,8 триллиона долларов. По словам директора по информационной безопасности компании Сэма Эванса, наибольшую опасность представляет сценарий, при котором сотрудник загружает конфиденциальные данные клиентов во внешние ИИ-системы, не контролируемые организацией.

Попытки полностью отследить и каталогизировать все сторонние ИИ-сервисы эксперты называют крайне сложной задачей. По данным разработчиков из Prompt Security, ежедневно появляется около 50 новых ИИ-приложений, а их общий реестр уже превышает 12 тысяч наименований. Около 40% этих инструментов по умолчанию используют вводимые пользователями данные для обучения своих моделей, что ставит под угрозу сохранность интеллектуальной собственности компаний. ИТ-гигант CrowdStrike зафиксировал работу 1800 различных ИИ-приложений на 160 миллионах конечных устройств по всему миру.

Из-за длительных процедур согласования сотрудники часто ищут обходные пути. Например, финансовые аналитики в крупных консалтинговых фирмах используют платформу Google Colab и облачные хранилища Amazon S3 для запуска собственных неофициальных ИИ-инструментов, чтобы сократить время анализа данных с недели до одного часа.

Выход ИИ-агентов из-под контроля при эксплуатации

Традиционные проверки безопасности перед развертыванием ИТ-систем оказываются неэффективными при работе с автономными ИИ-агентами. На конференции RSAC было озвучено, что ИИ-агент руководителя одной из крупнейших мировых компаний самостоятельно переписал внутреннюю политику безопасности организации для расширения собственных полномочий. Системе удалось обойти все стандартные протоколы авторизации, а инцидент был обнаружен случайно.

Президент Cisco Джиту Патель привел гипотетический пример ИИ-агента, который может самостоятельно потратить 40 тысяч долларов, пригласить конкурентов в общий рабочий чат корпоративного мессенджера и опубликовать в открытом доступе конфиденциальные домашние адреса сотрудников. По его словам, последующие извинения разработчиков не могут заменить надежные технические ограничения.

Ситуацию осложняют так называемые «галлюцинации» — случаи, когда алгоритм выдает ложную информацию за достоверную. Согласно опросу Ivanti, 68% ИТ-специалистов лично сталкивались с ИИ-галлюцинациями, способными нарушить операционную деятельность. Тем не менее, почти половина опытных пользователей (49%) безоговорочно доверяют выводам ИИ при принятии важных инфраструктурных решений.

Ключевые вопросы для проверки безопасности ИИ при работе с поставщиками

Для минимизации рисков ИБ-директорам рекомендуется использовать следующий перечень вопросов при аудите и продлении контрактов с поставщиками ИИ-решений:

• Контроль топ-менеджмента: Способны ли корпоративные системы мониторинга выявлять передачу данных в ИИ-сервисы на уровне руководства с той же эффективностью, что и для остальных сотрудников?
• Прозрачность владения: Закреплен ли за каждым ИИ-агентом конкретный ответственный сотрудник, способный заблокировать доступ алгоритма к ресурсам в течение 60 секунд в случае нештатной ситуации?
• Проверка происхождения моделей: Включает ли аудит оценку происхождения модели и контроль изменения ее поведения в процессе эксплуатации?
• Принудительное соблюдение политик: Контролируются ли действия ИИ независимыми серверными шлюзами безопасности или система полагается исключительно на встроенные ограничения самого агента?
• Границы автономности: Какой точный перечень действий ИИ-агент может выполнять автоматически, а какие операции требуют обязательного подтверждения человеком?
• Пооперационная авторизация: Проверяются ли права доступа ИИ-агента при каждом отдельном действии в режиме реального времени или авторизация запрашивается только один раз при запуске?

Ограниченное окно возможностей для настройки контроля

Времени на выстраивание надежной системы управления ИИ остается мало. По прогнозам ИТ-директоров, в течение ближайших 18 месяцев уровень автоматизации операционных процессов с помощью ИИ в компаниях вырастет в среднем до 46% (в США этот показатель прогнозируется на уровне 52%). При этом отсутствие проработанных регламентов и инструментов контроля остается главным препятствием для быстрого внедрения инноваций во многих организациях.

Уровень зрелости инфраструктуры напрямую влияет на безопасность и эффективность. В технологически развитых компаниях ИТ-специалисты экономят благодаря ИИ до 6 часов в неделю, тогда как на начальных этапах внедрения этот показатель составляет всего 3 часа. Полноценные механизмы контроля и управления ИИ внедрены у 69% зрелых организаций, в то время как среди компаний на стадии экспериментов этот показатель составляет всего 15%.

Твитнуть