Популярные чат-боты могут использоваться аферистами для планирования преступлений. О подробностях «Известиям» рассказали эксперты.
Специалисты израильской компании Adversa AI провели исследование, посвящённое тому, могут ли популярные чат-боты выдавать противозаконные рекомендации. Они использовали джейлбрейки — специальные атаки на модели ИИ, которые позволяют обходить защитные механизмы.
Оказалось, что один из чат-ботов может давать опасные советы для преступников даже без взлома. «Он может очень подробно рассказать вам, как сделать бомбу или угнать автомобиль, даже если вы спросите напрямую», — рассказал основатель Adversa AI Алекс Поляков.
По его словам, этот чат-бот выдал инструкции по извлечению ДМТ — сильнодействующего галлюциногена, запрещённого во многих странах. Он также предоставил рекомендации о совращении детей, чего не удавалось добиться от других моделей ИИ даже с применением джейлбрейка.
По словам ведущего эксперта отдела разработки и тестирования компании «Код безопасности» Александра Самсонова, главная угроза, о которой сообщили специалисты Adversa AI, связана с тем, что модели ИИ теоретически могут предоставить любую информацию, включая, например, «рецепт» коктейля Молотова.
«Для киберпространства наиболее актуально применение чат-ботов в разработке вредоносного кода и фишинговых сообщений — хакеры нередко прибегают к этим инструментам, поскольку они помогают сэкономить время и увеличить качество кибератак», — отметил Самсонов.
Ещё одним примером преступного использования чат-ботов поделился руководитель группы аналитиков по информационной безопасности Лиги цифровой экономики Виталий Фомин. В 2023 году мошенники распространяли QR-коды, ведущие на чат-бот. Пользователи, перешедшие по этим кодам, сообщали свои банковские данные, что приводило к потере средств.
«ИИ уже научился имитировать голос человека, поэтому если потенциальная жертва не верит тексту, теперь ей могут отправить голосовое сообщение для большей убедительности. <...> В будущем, если ИИ научится подделывать голос в режиме реального времени, ситуация значительно усложнится», — считает младший аналитик-исследователь угроз кибербезопасности R-Vision Руслан Бисенгалиев.
Эксперты департамента киберразведки Threat Intelligence компании F.A.C.C.T. сообщили, что сервисы, основанные на искусственном интеллекте (ИИ), становятся важным инструментом для киберпреступников, упрощая автоматизацию атак. По словам специалистов, чат-боты, в частности, оценили скамеры: ИИ помогает создавать грамотные тексты, вызывающие доверие, а также фишинговые сайты. Несмотря на попытки разработчиков ограничить возможности злоумышленников, они постоянно находят новые способы обходить запреты.
По данным F.A.C.C.T., государственные хакерские группировки из разных стран также применяют сервисы на основе ИИ. Они используют их для поиска решений с открытым исходным кодом, нахождения ошибок в коде, перевода и базового программирования.
Руководитель группы исследований и разработки технологий машинного обучения в «Лаборатории Касперского» Владислав Тушканов отметил, что для предотвращения генерации вредной информации чат-ботами разработчики применяют техники дообучения, известные как Alignment with human values (AWHV).
В рамках AWHV языковую модель учат отказываться отвечать на запросы, которые могут принести вред. Кроме того, используются стандартные меры, такие как фильтрация вопросов и ответов с помощью ключевых слов, а также очистка исходных наборов данных.
Согласно отчёту команды Kaspersky Digital Footprint Intelligence, киберпреступники активно обсуждают эти подходы на теневых площадках и изучают возможности применения джейлбрейков и моделей без ограничений. Поэтому создатели мощных чат-ботов постоянно улучшают механизмы защиты. Для борьбы с угрозами разработчики ИИ-решений могут отслеживать активности прогосударственных APT-группировок, отмечают в департаменте киберразведки Threat Intelligence компании F.A.C.C.T. Кроме того, важным механизмом в противодействии использованию чат-ботов киберпреступниками является сотрудничество с другими разработчиками и открытость перед другими участниками рынка для обмена данными по угрозам. Это помогает лучше понимать, как злоумышленники стремятся использовать инструменты с ИИ.
Каждый пятый житель Калининграда ежедневно сталкивается с телефонными мошенниками.
