«Человек в подсказке»: новый класс атак с использованием инъекций в подсказки в сочетании с вредоносными расширениями браузера позволяет выдавать секретные команды LLM
Новая теоретическая атака, описанная исследователями LayerX , показывает, насколько пугающе просто вредоносному или скомпрометированному расширению браузера перехватывать пользовательские чаты с LLM и внедрять атаки с подсказками, предназначенные для извлечения данных без ведома цели.
Атака может быть осуществлена с использованием практически любого расширения браузера, если оно изначально было разработано для этой цели или было взломано и соответствующим образом изменено хакерами. Хотя организации часто ограничивают установку расширений браузера теми, которые находятся в белом списке или одобрены для служебного пользования, используемые вредоносные расширения не требуют специальных разрешений, и такой подход представляет значительный риск для тех, у кого слабые политики безопасности или есть проблемы с теневой ИТ-инфраструктурой.
Атаки с мгновенным внедрением представляют уникальную угрозу для внутренних LLM
Любое вредоносное расширение потенциально может инициировать атаки с внедрением подсказок, которые отдают приказы украсть и перенести данные в LLM, одновременно скрывая эти подсказки от пользователя и закрывая другие пути побега, такие как история чата.
Уязвимость связана с фундаментальным способом реализации полей ввода подсказок инструментов генеративного ИИ (GenAI) в браузерах. Они широко используют объектную модель документа (DOM) страницы, доступную любому расширению браузера с доступом к скриптам; таким образом, расширение может как читать, так и записывать подсказки непосредственно в LLM без взаимодействия с пользователем.
Так называемая атака «Человек в подсказке» представляет собой два приоритетных риска. Один из них касается внутренних LLM-программ, которые хранят конфиденциальные корпоративные данные и персональные данные, полагая, что они надежно изолированы от другого программного обеспечения и приложений. Другой риск исходит от конкретных LLM-программ, которые широко интегрированы в рабочие пространства, например, взаимодействие Google Gemini с инструментами Google Workspace, такими как Почта и Документы (и предоставление им широкого спектра прав доступа).
Эта категория атак с мгновенным внедрением применима не только к любому типу браузерного расширения, но и к любой модели или развертыванию LLM (включая внутренние инструменты, использующие фронтенд LLM через браузер, и SaaS-приложения с поддержкой ИИ). При этом вредоносному расширению не требуются специальные разрешения для работы, поскольку доступ к DOM уже обеспечивает всё необходимое.
Исследователи смогли создать два рабочих прототипа
Один из рабочих прототипов, созданных исследователями, атакует ChatGPT через командный сервер, который можно установить как локально, так и удалённо. После установки вредоносное расширение открывает фоновую вкладку для выполнения запросов к LLM, сохраняет содержимое чата в скрытый журнал, а затем полностью удаляет его, чтобы пользователь не заметил его при просмотре истории чата.
Другой прототип нацелен на Google Gemini и, как следствие, на любые элементы Google Workspace, с которыми он интегрирован. Gemini предназначен для автоматизации рутинных и трудоемких задач в Workspace, таких как ответы на электронные письма, редактирование документов и обновление контактов. Проблема в том, что он имеет практически полный доступ к содержимому этих учетных записей, а также ко всему, к чему у пользователя есть разрешение на доступ или чем с ним поделился кто-то другой. Атаки с использованием быстрых инъекций, проводимые этими расширениями, позволяют не только легко похищать содержимое электронных писем и документов, но и отправлять сложные запросы в LLM для поиска определенных типов данных и расширений файлов; функция автозаполнения также может быть использована для перечисления доступных файлов.
Внутренние LLM-модели подвергаются ещё большему риску от этих атак с мгновенным внедрением. Помимо ложного чувства безопасности, которое возникает из-за того, что они, по-видимому, «изолированы» от любых путей опасного контакта, эти модели с меньшей вероятностью оснащены защитными механизмами, ограничивающими потенциально опасные команды, а вредоносная активность вряд ли будет обнаружена традиционными решениями безопасности.
Как отмечают исследователи, в интернет-магазине Chrome уже доступно множество легальных расширений, которые выполняют те же функции, что и атаки с использованием инъекций, но без злого умысла. И хотя сетевые политики часто накладывают строгие ограничения на загрузку расширений для браузера, установка через фишинг или иной преступный метод была бы для злоумышленника относительно незаметным и малорискованным способом создать долгосрочную базу для кражи. Расширения браузера можно скрыть, а легальные расширения можно перехватить (как это произошло в феврале, когда были скомпрометированы 16 популярных расширений Chrome, что поставило под угрозу около 3,2 миллиона пользователей).
Исследователи LayerX рекомендуют организациям противодействовать возможности возникновения подобных атак с использованием быстрых инъекций путем мониторинга взаимодействий DOM в любых LLM или связанных с ними инструментах, регулярно проверять, какие расширения установлены, и использовать оценки поведенческих рисков вместо белых списков для фильтрации расширений, которые можно установить.
Mayank Kumar, основатель и инженер по искусственному интеллекту DeepTempo , добавляет: «Давление в связи с необходимостью интеграции генеративного ИИ реально, каждая организация хочет внедрить в свои рабочие процессы модели GenAI, такие как ChatGPT, Gemini и т. д., ссылаясь на потенциальное повышение производительности. Хотя да, это помогает повысить производительность команд, это также серьезно проверяет на прочность инфраструктуру безопасности, созданную до GenAI. Атака «man-in-the-prompt» выявляет сами интерфейсы и взаимодействия между проприетарными данными, инструментами GenAI и сторонними интеграциями, такими как расширения браузера. Поскольку подобные атаки продолжают набирать популярность, необходимо переосмыслить безопасность этих интерфейсов. Подсказки — это не просто текст, это интерфейсы. Речь уже идет не только о защите самой модели ИИ, но и о защите всего потока данных, проходящего через потенциально уязвимые среды браузера».
«Чтобы по-настоящему защититься от этих развивающихся угроз, мы должны выйти за рамки поверхностной защиты. Это подразумевает внедрение возможностей глубокого сетевого мониторинга, способных обнаруживать аномалии, даже если внедрение уязвимостей на уровне приложений остаётся незамеченным. Коррелируя модели сетевого трафика с взаимодействием инструментов ИИ, организации могут устанавливать базовые показатели нормального поведения и отмечать подозрительные действия, такие как необычная утечка данных или неожиданные командно-административные сообщения, даже если они скрыты в легитимных запросах ИИ. Такая многоуровневая защита, сочетающая в себе как осведомлённость на уровне приложений, так и тщательный контроль на уровне сети, крайне важна для снижения значительных рисков, связанных с этим новым видом кибератак с использованием ИИ», — добавил Кумар.
About The Author
