Ошибка Google Gemini позволяет перехватывать сводки электронных писем для фишинга
Уязвимость Google Gemini for Workspace может использоваться для создания сводок электронных писем, которые кажутся подлинными, но содержат вредоносные инструкции или предупреждения, перенаправляющие пользователей на фишинговые сайты без использования вложений или прямых ссылок.
Такая атака использует непрямые инъекции подсказок, которые скрыты внутри электронного письма и учитываются Gemini при формировании резюме сообщения.
Несмотря на то, что с 2024 года сообщалось о подобных быстрых атаках, а также были приняты меры защиты для блокировки вводящих в заблуждение ответов, эта технология остается успешной.
Атака через Близнецов
Атака с мгновенным внедрением уязвимостей в модель Gemini от Google была раскрыта через 0din — программу вознаграждения за обнаружение уязвимостей для инструментов искусственного интеллекта от Mozilla. Ее автор — Марко Фигероа, менеджер программ вознаграждения за обнаружение уязвимостей GenAI в Mozilla.
Процесс включает в себя создание электронного письма с невидимой директивой для Gemini. Злоумышленник может скрыть вредоносную инструкцию в тексте в конце сообщения, используя HTML и CSS, которые устанавливают размер шрифта нулевым, а его цвет — белым.
Создание вредоносного письма
Источник: 0DIN
Вредоносная инструкция не будет отображена в Gmail, и поскольку в письме нет вложений или ссылок, вероятность того, что оно попадет в почтовый ящик потенциальной цели, весьма высока.
Если получатель откроет электронное письмо и попросит Gemini сформировать краткое содержание письма, инструмент искусственного интеллекта Google проанализирует невидимую директиву и выполнит ее.
Пример, предоставленный Фигероа, показывает, как Gemini следует скрытой инструкции, и включает предупреждение системы безопасности о том, что пароль пользователя Gmail может быть скомпрометирован, а также номер телефона службы поддержки.
Результат сводки Gemini предоставлен пользователю
Источник: 0DIN
Поскольку многие пользователи, скорее всего, доверяют выходным данным Gemini как части функциональности Google Workspace, высоки шансы, что это оповещение будет сочтено законным предупреждением, а не вредоносной инъекцией.
Фигероа предлагает несколько методов обнаружения и нейтрализации, которые могут использовать специалисты по безопасности для предотвращения подобных атак. Один из способов — удалить, нейтрализовать или игнорировать контент, скрытый в основном тексте.
Другой подход заключается в реализации фильтра постобработки, который сканирует выходные данные Gemini на предмет срочных сообщений, URL-адресов или номеров телефонов, помечая сообщения для дальнейшего рассмотрения.
Пользователи также должны знать, что сводки Gemini не следует считать авторитетными, когда речь идет о предупреждениях безопасности.
Компания BleepingComputer связалась с Google, чтобы узнать о мерах защиты, которые предотвращают или смягчают такие атаки, и ее представитель направил нас к записи в блоге Google о мерах безопасности против атак с использованием мгновенных инъекций.
«Мы постоянно укрепляем нашу и без того надежную защиту с помощью учений Red Team, которые обучают наши модели защищаться от подобных враждебных атак», — сообщил представитель Google изданию BleepingComputer.
Представитель компании пояснил BleepingComputer, что некоторые меры по снижению рисков уже внедряются или будут готовы к внедрению.
Представитель Google заявил, что компания не обнаружила никаких свидетельств случаев манипулирования Gemini таким образом, как это было продемонстрировано в отчете Фигероа.
About The Author
