Краткое описание

• Клонирование голоса с помощью искусственного интеллекта теперь может имитировать человеческую речь со сверхъестественной точностью, создавая более реалистичные схемы фишинга.
• Согласно новостным сообщениям, мошенники использовали клонирование голоса и глубокие подделки, чтобы украсть у организации более 200 миллионов гонконгских долларов.
• Злоумышленники могут использовать клонирование голоса с помощью искусственного интеллекта на различных этапах жизненного цикла атаки, включая начальный доступ, боковое перемещение и повышение привилегий.
• Red Team компании Mandiant использует подмену голоса с помощью искусственного интеллекта для тестирования средств защиты, демонстрируя эффективность этого все более изощренного метода атаки.
• Организации могут предпринять шаги для защиты от этой угрозы, обучив сотрудников и используя проверку источника, например, кодовых слов.

Введение

В прошлом году Mandiant опубликовала сообщение в блоге об использовании генеративного искусственного интеллекта участниками угроз, в котором рассказывалось о том, как злоумышленники используют генеративный искусственный интеллект (gen AI) в фишинговых кампаниях и информационных операциях (IO), в частности, для создания более убедительного контента, такого как изображения и видео. Мы также поделились информацией об использовании злоумышленниками больших языковых моделей (LLM) для разработки вредоносного ПО. В публикации мы подчеркнули, что, хотя злоумышленники заинтересованы в ИИ нового поколения, их использование остается относительно ограниченным.
Этот пост продолжает первоначальное исследование, в котором рассматриваются некоторые новые тактики, техники и процедуры искусственного интеллекта (TTP) и тенденции. Мы рассмотрим подмену голоса с помощью искусственного интеллекта, продемонстрируем, как команды Mandiant red используют ее для тестирования средств защиты, и расскажем о соображениях безопасности, которые помогут опередить угрозу.
Растущая угроза подмены голоса с помощью искусственного интеллекта
Прошли времена роботов-мошенников с едва расшифровываемыми скриптами. Клонирование голоса с помощью искусственного интеллекта теперь может имитировать человеческую речь со сверхъестественной точностью, придавая фишинговым схемам мощную дозу реализма. В новостях мы читаем больше историй об этой угрозе, например, о мошенниках, которые, как сообщается, украли более 200 миллионов гонконгских долларов у компании, использующей клонирование голоса и глубокие подделки, и теперь команда Mandiant Red включила эти TTP при тестировании средств защиты.
Краткий обзор Vishing(голосовой фишинг)
В отличие от своего традиционного аналога, основанного на электронной почте, vishing (голосовой фишинг) использует подход, основанный на голосе. Вместо отправки электронного письма в надежде получить клики, злоумышленники вместо этого совершают телефонные звонки напрямую отдельным лицам, чтобы заслужить доверие и манипулировать эмоциями, часто создавая ощущение срочности.
Как и традиционный фишинг, целью злоумышленника является обман людей с целью разглашения конфиденциальной информации, инициирования вредоносных действий или перевода средств с использованием тактики социальной инженерии. Эти обманные звонки часто выдают себя за заслуживающие доверия организации, такие как банки, правительственные учреждения или служба технической поддержки, добавляя мошенничеству дополнительный уровень достоверности.
Появление мощных инструментов искусственного интеллекта, таких как генераторы текста, создатели изображений и синтезаторы голоса, вызвало волну проектов с открытым исходным кодом, сделав эти технологии более доступными, чем когда-либо прежде. Это быстрое развитие предоставляет возможности искусственного интеллекта в руки более широкой аудитории, увеличивая потенциал для более убедительных атак с использованием фишинга.
Подмена голоса с помощью искусственного интеллекта в жизненном цикле атаки
Современное клонирование голоса включает запись и обработку звука и обучение модели. Обучение модели основано на мощной комбинации библиотек и алгоритмов с открытым исходным кодом, из которых сегодня существует множество популярных вариантов. После завершения этих начальных шагов злоумышленникам может потребоваться дополнительное время, чтобы понять речевые паттерны человека, за которого они себя выдают, и даже написать сценарий перед проведением операций. Это помогает создать дополнительный уровень достоверности, и атака с большей вероятностью будет успешной.
Далее злоумышленники могут использовать подмену голоса с помощью искусственного интеллекта на разных этапах жизненного цикла атаки.

Начальный доступ

Злоумышленник может различными способами получить первоначальный доступ, используя поддельный голос. Злоумышленники могут выдавать себя за руководителей, коллег или даже сотрудников ИТ-службы поддержки, чтобы обманом заставить жертв раскрыть конфиденциальную информацию, предоставить удаленный доступ к системам или перевести средства. Врожденное доверие, связанное со знакомым голосом, может быть использовано для манипулирования жертвами с целью совершения действий, которые они обычно не предпринимают, таких как переход по вредоносным ссылкам, загрузка вредоносного ПО или разглашение конфиденциальных данных. Хотя системы доверия на основе голоса используются редко, подделанные искусственным интеллектом голоса также потенциально могут обходить системы голосовой аутентификации, используемые для многофакторной аутентификации или сброса пароля, предоставляя несанкционированный доступ к критически важным учетным записям.
Боковое перемещение и повышение привилегий
Участники угроз могут использовать подмену голоса с помощью искусственного интеллекта для перехода от системы к системе, выдавая себя за доверенных лиц, чтобы манипулировать их доступом к более высоким уровням доступа. Это может происходить несколькими способами.
Одним из методов бокового перемещения является цепочка олицетворений. Представьте, что злоумышленник изначально получает доступ, выдавая себя за сотрудника службы поддержки. После установления связи с администратором сети злоумышленник может незаметно записывать голос администратора во время взаимодействия. Затем этот захваченный звук может быть использован для обучения новой модели подмены голоса с помощью искусственного интеллекта, позволяющей злоумышленнику беспрепятственно выдавать себя за администратора и инициировать связь с другими ничего не подозревающими целями в сети. Эта цепочка олицетворений позволяет злоумышленнику перемещаться вбок, потенциально получая доступ к более чувствительным системам и данным.
Другой метод заключается в том, что на начальном этапе доступа субъекты угрозы могут обнаружить легкодоступные записи голоса на скомпрометированном хостинге, такие как голосовые сообщения, записи собраний или даже учебные материалы. Эти записи можно использовать для обучения моделей подмены голоса с помощью искусственного интеллекта, позволяя злоумышленнику выдавать себя за конкретных сотрудников организации без необходимости взаимодействовать с ними напрямую. Это может быть особенно эффективно для нацеливания на ценных людей или обхода систем, которые полагаются на голосовую биометрию для контроля доступа.

Проактивное исследование команды Mandiant Red

В конце 2023 года Mandiant провела контролируемое упражнение red team с клиентом, используя подмену голоса с помощью искусственного интеллекта для получения первоначального доступа к их внутренней сети. В этом тематическом исследовании подчеркивается эффективность этого все более изощренного метода атаки.
Упражнение началось с получения согласия клиента и разработки пользовательского реалистичного предлога социальной инженерии. Команда Red решила выдать себя за члена службы безопасности клиента, потребовав образец естественного голоса. После обсуждения предлога с клиентом клиент предоставил явное разрешение на использование своего голоса для этого упражнения.
Затем мы получили необходимые аудиоданные для обучения модели и достигли приемлемого уровня реалистичности. Интеллект с открытым исходным кодом (OSINT) сыграл решающую роль на следующем этапе. Собрав данные о сотрудниках (должности, местоположения, номера телефонов), команда Red определила потенциальные цели, которые с наибольшей вероятностью распознают олицетворяемый голос и обладают необходимыми разрешениями для наших целей. Составив список целевых объектов, команда инициировала поддельные звонки через сервисы VoIP и подмену номеров.
Столкнувшись с приветствиями по голосовой почте и другими первоначальными препятствиями, первая ничего не подозревающая жертва доверчиво ответила: "Привет, босс, как дела?". Команда Red связалась с администратором службы безопасности, который сообщил человеку, чей голос был подделан. Используя предлог "неправильной настройки VPN-клиента", команда Red воспользовалась удачным моментом недавнего глобального отключения, повлиявшего на работу VPN-провайдера клиента. Этот тщательно подобранный сценарий внушил ощущение срочности и повысил восприимчивость жертвы к нашим инструкциям.
Из-за доверия к голосу по телефону жертва обошла запросы безопасности как от Microsoft Edge, так и от SmartScreen защитника Windows, неосознанно загрузив и запустив заранее подготовленную вредоносную полезную нагрузку на их рабочую станцию. Успешный запуск полезной нагрузки ознаменовал завершение упражнения, продемонстрировав пугающую легкость, с которой подмена голоса с помощью искусственного интеллекта может способствовать проникновению в организацию.

Соображения безопасности

Этот тип эксплуатации носит социальный характер, и в настоящее время технические средства контроля обнаружения ограничены. Доступные меры по смягчению последствий основаны на трех основных принципах: осведомленности, проверке источника и будущих технических соображениях.

Осведомленность

Расскажите сотрудникам, особенно тем, кто контролирует деньги и доступ, о существовании и методологиях атак с использованием искусственного интеллекта. Рассмотрите возможность включения угроз с использованием искусственного интеллекта в тренинги по повышению осведомленности о безопасности. Теперь, когда субъекты угроз могут использовать такую эффективную и доступную имитацию, каждый должен проявлять здоровую дозу скептицизма при рассмотрении телефонных звонков, особенно если они подпадают под один или несколько из следующих случаев:

• Абонент говорит вещи, которые звучат слишком хорошо, чтобы быть правдой.
• Звонок поступил с ненадежного номера / организации.
• Вызывающий абонент пытается применить сомнительные полномочия.
• Вызывающий абонент не соответствует источнику.

Сотрудникам, занимающим ответственные должности, следует крайне осторожно относиться к срочным звонкам, требующим немедленных действий, особенно когда звонящий запрашивает или предоставляет финансовую информацию или информацию, касающуюся доступа, такую как запрос одноразового пароля (OTP). Сотрудники должны иметь право вешать трубку и сообщать о подозрительных звонках, особенно если они уверены, что в этом замешан AI vishing. Вполне вероятно, что другой сотрудник вот-вот подвергнется такой же атаке.

Проверка источника

По возможности сверяйте информацию с надежными источниками. Это включает в себя повешение и повторный звонок по номеру, предварительно подтвержденному для источника. Вызывающего абонента можно попросить отправить текстовое сообщение с ранее подтвержденного номера или попросить отправить электронное письмо или сообщение корпоративного чата.
Обучите сотрудников распознавать несоответствия звука, такие как внезапное изменение фонового шума, которое может быть симптомом того, что субъект угрозы не тратит достаточно времени на очистку звука. Ищите необычные речевые обороты, например, совершенно иной диалект, чем тот, который обычно использует источник. Следите за неестественными интонациями, заменителями, которые источник обычно не использует, странными щелчками, паузами или ненормальным повторением. Также обращайте внимание на тембр (тон) и частоту звучания голоса.
Установите кодовые слова для руководителей и критически важного персонала, который имеет дело с конфиденциальной и / или финансовой информацией. Делайте это вне зоны действия сети, чтобы на предприятии не оставалось следов и ограничить риск взлома. Затем кодовые слова можно использовать для проверки подлинности пользователей в случае сомнений.
По возможности разрешайте отправку неизвестных номеров на голосовую почту. Проявляйте к голосовым вызовам ту же бдительность, что и к электронным письмам. Сообщайте о любых подозрительных звонках для повышения осведомленности.
Технические соображения на будущее
Сегодня организации могут, в лучшем случае, внедрять традиционные меры безопасности для защиты аудиозаписей разговоров внутри организации, например, использовать отдельные сети для VoIP-каналов, а также внедрять аутентификацию и шифрование передачи для них же. Однако это не устраняет атаки, направленные на личные телефоны сотрудников.
В дальнейшем организациям следует рассмотреть возможность защиты всех аудиоресурсов, внедряя такие технологии, как цифровые водяные знаки, которые достаточно тонки, чтобы быть незаметными для человеческого уха, но легко обнаруживаются технологиями искусственного интеллекта.
В конечном итоге инструменты управления мобильными устройствами предложат технологии, помогающие проверять звонящих. Тем временем организациям следует рассмотреть вопрос о том, чтобы требовать, чтобы все конфиденциальные разговоры происходили по корпоративным каналам чата, где требуется строгая аутентификация, а идентификационные данные нелегко подделать.
Активно разрабатываются исследования и инструменты, помогающие обнаруживать скрытые подделки. Несмотря на то, что сегодня их точность непостоянна, они по-прежнему могут быть полезны для выявления скрытых подделок в голосовой почте или автономных голосовых заметках. Возможности обнаружения со временем будут улучшаться и в конечном итоге будут внедрены в поддерживаемый корпоративный инструментарий. Для дополнительной информации ознакомьтесь с активными исследованиями, посвященными обнаружению в режиме реального времени, такими как DF-Captcha, которые предлагают простое приложение для постановки в очередь человеческих запросов, реализованное с использованием ответа на вызов для подтверждения личности абонента на другой линии.

Заключение

В этом блоге мы рассмотрели, как современные инструменты искусственного интеллекта могут помочь создавать более убедительные атаки с использованием vishing. Тревожный успех vishing от Mandiant подчеркивает настоятельную необходимость усиления мер безопасности против атак с подменой голоса с помощью искусственного интеллекта. Хотя технология предлагает мощные инструменты как для атакующих, так и для защитников, человеческий фактор остается критической уязвимостью. Тематическое исследование, которым мы поделились, должно послужить тревожным звонком, призывающим как организации, так и отдельных лиц предпринять упреждающие шаги.
Компания Mandiant начала использовать атаки с подменой голоса с помощью искусственного интеллекта в своих более сложных оценках Red Team и социальной инженерии, чтобы продемонстрировать влияние, которое такая атака может оказать на организацию. Поскольку участники угроз все чаще используют этот метод, крайне важно, чтобы защитники планировали и принимали меры предосторожности.