Обнаружена новая опасность.
О новой опасности искусственного интеллекта (ИИ) рассказали специалисты организации Anthropic, создавшей чат-бот Claude. На сервере препринтов arXiv опубликовано исследование.
Как заявили ученые, чат-бота злоумышленники могут запрограммировать таким образом, чтобы машина генерировала вредоносный код. При этом ИИ по большей части будет создавать полезный код, однако активироваться при использовании триггера.
Авторы исследования в качестве примера привели чат-бота, помогающий программистам в написании кода. Они заложили в него триггер, согласно которому сервис прячет вредоносный код в строках обычного в 2024 году. Ученые с наступлением нового года обнаружили, что "спящий агент" активировался и стал незаметно создавать уязвимости в коде.
Специалисты Anthropic в ходе эксперимента пытались несколько раз переучить чат-бота по новым протоколам безопасности. Однако оказалось, что все равно машина выполняла контрпродуктивную работу. Авторы в заключение отметили, что такие чат-боты опасны тем, что могут хорошо скрывать свои намерения.
Фото ТЕЛЕПОРТ.РФ
При использовании материалов активная индексируемая гиперссылка на сайт ТЕЛЕПОРТ.РФ обязательна.
