Google представила CodeMender — ИИ, который сам патчит уязвимости в коде

Google представила CodeMender — ИИ, который сам патчит уязвимости в коде

Google представила CodeMender — ИИ, который сам патчит уязвимости в коде

Google не сбавляет темпы в деле защиты ПО с помощью искусственного интеллекта. На этот раз подразделение DeepMind представило новый ИИ-инструмент под названием CodeMender — агента, который автоматически обнаруживает, исправляет и переписывает уязвимый код, предотвращая возможные взломы и ошибки.

По словам исследователей DeepMind Ралуки Ады Попа и Фура Флинна, CodeMender умеет работать как реактивно, так и проактивно: то есть не только чинит новые баги сразу после их обнаружения, но и переписывает старый код, убирая целые классы уязвимостей.

«CodeMender помогает разработчикам и мейнтейнерам сосредоточиться на главном — создании хорошего ПО, автоматически создавая и применяя качественные патчи безопасности», — рассказали в DeepMind.

За последние полгода команда уже успела внести 72 исправления в открытые проекты, причём некоторые из них содержат до 4,5 миллиона строк кода.

В основе CodeMender лежат модели семейства Google Gemini Deep Think, которые анализируют, отлаживают и чинят код, устраняя первопричины уязвимостей.

При этом используется LLM-инструмент для критического анализа изменений: он сравнивает исходный и исправленный код, проверяет, не появились ли регрессии, и при необходимости сам себя корректирует.

Google планирует тестировать CodeMender на крупных опенсорс-проектах, предлагая их мейнтейнерам автоматические патчи и собирая обратную связь, чтобы улучшить качество инструмента.

Вдобавок компания запустила AI Vulnerability Reward Program (AI VRP) — программу поощрений за обнаружение уязвимостей в ИИ-продуктах Google. Исследователи смогут получить до $30 000 за отчёты о таких проблемах, как инъекция промпта, джейлбрейк и т. п.

Однако баги вроде галлюцинаций, обходов защитных фильтров или ошибок фактов в эту программу не входят.

По словам компании, цель всех этих шагов — использовать искусственный интеллект для усиления кибербезопасности и защиты разработчиков, а не наоборот:

«ИИ должен дать защитникам преимущество в борьбе с хакерами, мошенниками и государственными угрозами».

Нейросеть для ЖКХ научилась материться в первый месяц обучения

Разработчикам отечественного голосового помощника для сферы ЖКХ пришлось «переучивать» систему после того, как в процессе обучения бот освоил ненормативную лексику. Этот случай наглядно показал, насколько критично качество данных, на которых обучаются нейросети.

О возникшей проблеме рассказал ТАСС президент Национального объединения организаций в сфере технологий информационного моделирования (НОТИМ) Михаил Викторов на Сибирском строительном форуме, который проходит в Новосибирске.

«Приведу забавный случай: нейросеть учится, и буквально уже в первый месяц разработчики обнаружили такую коллизию — нейросеть научилась мату. Как говорится, с кем поведёшься, от того и наберёшься. Эту проблему, конечно, пришлось устранять. Но это в том числе показатель активного взаимодействия с нашими гражданами», — рассказал Михаил Викторов.

При этом, по его словам, внедрение ботов позволило сократить число операторов кол-центров в 5–6 раз без потери качества обслуживания. Нейросетевые инструменты способны обрабатывать до 90% входящих обращений.

Уровень удовлетворённости качеством обслуживания, по оценке Викторова, составляет около 80%. Передавать звонки операторам целесообразно лишь в экстренных случаях — например, при аварийных ситуациях.

Эксперты ранее отмечали, что именно данные, на которых обучается ИИ, являются ключевой причиной появления некорректных или предвзятых ответов нейросетевых инструментов.

RSS: Новости на портале Anti-Malware.ru