Российские эксперты разглядели риски использования GitHub Copilot хакерами

Российские эксперты разглядели риски использования GitHub Copilot хакерами

Российские эксперты разглядели риски использования GitHub Copilot хакерами

GitHub Copilot изначально создавался в помощь программистам, чтобы упростить работу с кодом. Однако специалисты в области кибербезопасности предупреждают, что основанный на нейросети сервис могут использовать авторы вредоносных программ.

Copilot, созданный GitHub на базе искусственного интеллекта, действует по принципу клавиатур на мобильных устройствах — дополняет строки и даже целые функции в коде.

Специалисты GitHub в конце июня представили этот сервис, а для его разработки потребовалась помощь OpenAI. Ожидается, что Copilot сможет существенно упростить девелоперам жизнь.

Как мы уже писали ранее, в процессе разработки сервиса специалисты тренировали его на миллиардах строк кода. И теперь, когда условный разработчик пишет код, GitHub Copilot выдаёт предложения, которыми можно воспользоваться для более продуктивного кодинга.

Парсинг закомментированных кусков помогает сервису понять, над чем именно разработчик работает в данный момент. На пример работы GitHub Copilot можно посмотреть здесь.

Российские эксперты в области кибербезопасности, слова которых передают «Известия», считают, что нововведение GitHub может пригодиться не только разработчикам софта, но и киберпреступникам. Во-первых, авторы вредоносного кода получают возможность писать его быстрее, во-вторых — наличие подобного сервиса предполагает появление новых создателей зловредов, поскольку эта процедура в целом упростилась.

Эксперт GIS, заместитель генерального директора — технический директор компании «Газинформсервис» Николай Нашивочников рассказал об опасности использования нового бота для программистов хакерами:

«С появлением автоматизированных средств разработки угрозы для безопасности приложений, несомненно, возрастают. Как мы видим, новые сервисы упрощают жизнь не только "белым" разработчикам, но и вирусописателям. Но кроме этой очевидной сентенции есть и другие вопросы, касающиеся информационной безопасности.

Следует учитывать, как проходит обучение сети, если «хакерам» удастся внедрить опасную конструкцию в систему "подсказок" Copilot и она начнёт предлагать разработчикам вставлять эту уязвимость в их код, в итоге мы можем получить более массовое распространение уязвимости.

Также специалисты говорят про возможность банальной кражи чужого кода. Примерно в 0,1% случаев код будет дословно взят из обучающей выборки. В остальных 99,9% случаев сервис использует обучающую выборку в качестве основы для синтеза чего-то нового. Граница не столь чётко определена, как хотелось бы GitHub».

ИИ сказал — ты согласился: учёные описали феномен когнитивной капитуляции

Исследователи из Университета Пенсильвании предложили новое объяснение тому, как люди взаимодействуют с ИИ. По их мнению, всё чаще пользователи не просто пользуются нейросетями, а буквально «сдаются» им. Этот феномен специалисты назвали «когнитивной капитуляцией» (cognitive surrender).

Если раньше люди использовали технологии вроде калькуляторов или GPS для отдельных задач — «разгружали» мозг, но сохраняли контроль, — то с ИИ ситуация меняется.

Всё чаще пользователи просто принимают ответы модели за истину, не проверяя и не анализируя их. Причём, как отмечают исследователи, это особенно заметно, если ответ звучит уверенно, гладко и без лишних сложностей. В таком случае у человека просто не включается внутренний «режим сомнения».

Чтобы проверить это, учёные провели серию экспериментов с участием более 1300 человек. Им предложили задачи на когнитивное мышление с подвохом, который требует не интуиции, а вдумчивого анализа.

Часть участников могла пользоваться ИИ-помощником, но с нюансом: модель специально давала неправильные ответы примерно в половине случаев. Результат оказался показательным.

 

Когда ИИ отвечал правильно, пользователи соглашались с ним в 93% случаев. Но даже когда он ошибался, люди всё равно принимали его ответ в 80% случаев. То есть большинство просто не перепроверяло результат, даже если он был неверным.

В среднем участники соглашались с ошибочным ИИ в 73% случаев и оспаривали его лишь в 19,7% случаев.

Более того, у тех, кто пользовался ИИ, уровень уверенности в своих ответах оказался выше — даже несмотря на то, что половина этих ответов была неправильной.

 

Интересно, что поведение менялось в зависимости от условий. Например, если участникам давали небольшие денежные стимулы за правильные ответы и мгновенную обратную связь, они чаще перепроверяли ИИ и исправляли ошибки. А вот дефицит времени, наоборот, усиливал зависимость от модели: под давлением дедлайна люди ещё охотнее доверяли ИИ.

Не все оказались одинаково уязвимы. Люди с более высоким уровнем так называемого флюидного интеллекта (fluid IQ) реже полагались на ИИ и чаще замечали его ошибки. А вот те, кто изначально воспринимал ИИ как авторитетный источник, чаще попадались на неверные ответы.

При этом сами исследователи подчёркивают: «когнитивная капитуляция» — не обязательно зло сама по себе. Если ИИ действительно работает лучше человека, логично ему доверять, особенно в задачах вроде анализа данных или оценки рисков.

Но есть важный нюанс: качество мышления в таком случае напрямую зависит от качества самой модели.

RSS: Новости на портале Anti-Malware.ru