В России сформулировали главную проблему ИИ — у него нет страха

В России сформулировали главную проблему ИИ — у него нет страха

В России сформулировали главную проблему ИИ — у него нет страха

Искусственному интеллекту не хватает страха перед ошибкой. Такую мысль высказал заместитель главы Минцифры России Александр Шойтов на конференции BIS Summit, посвящённой информационной безопасности бизнеса и ИТ.

«В ИИ нужно встроить систему страха, чтобы он боялся совершить ошибку, как человек», — заявил Шойтов в ходе дискуссии.

Речь, конечно, не о дрожащей нейросети, которая перед каждым ответом вспоминает ипотеку и разговор с начальником. Под страхом можно понимать встроенный механизм сомнения: способность модели оценивать последствия своих действий, признавать нехватку данных и останавливаться, если цена ошибки слишком высока.

Сейчас генеративный ИИ способен уверенно выдавать неверные ответы, придумывать факты и выполнять опасные команды без человеческого ощущения риска.

Для обычного чат-бота это заканчивается галлюцинацией, а для ИИ-агента с доступом к корпоративным системам — удалёнными файлами, утечкой данных или нарушением работы инфраструктуры.

На BIS Summit прозвучала и ещё более амбициозная идея — встроить в ИИ-модели совесть. Её озвучил Николай Лишин, заместитель руководителя ФМБА России. Если страх должен удерживать систему от ошибки, то совесть, по такой логике, должна помогать оценивать допустимость самого действия.

Получается своеобразный технический портрет идеального ИИ: достаточно умный, чтобы решить задачу, достаточно напуганный, чтобы всё перепроверить, и достаточно совестливый, чтобы вовремя отказаться. Осталось только написать для этого техническое задание.

Подпишитесь на новости

Цифровой профиль россиян узнает о судимости, больничных и наследстве

Правительство заметно расширило эксперимент по созданию цифрового профиля граждан и организаций. Теперь в электронном обмене смогут участвовать новые компании и учреждения, а перечень доступных сведений пополнится данными об образовании, судимости, кредитах, наследстве и даже тракторах.

Изменения закреплены в постановлении правительства, опубликованном на официальном портале правовых актов.

Сам эксперимент проводится с июля 2019 года и должен упростить обмен информацией между гражданами, банками и государственными органами (в частности, при оказании финансовых услуг).

К проекту присоединятся «Дом.рф», Федеральная нотариальная палата, «Интерфакс», АО «Электронный паспорт», ломбарды, кредитные и сельскохозяйственные потребительские кооперативы, а также организаторы торгов на товарных и финансовых рынках.

Расширился и набор сведений. Через систему смогут передаваться данные о дипломах, обучении, зачислении в вузы, студенческих билетах и волонтёрской деятельности. В перечень также вошли сведения о судимости, уголовном преследовании и розыске, электронных больничных, банкротстве, правах на наследство и залоге движимого имущества.

Финансовый блок пополнят данные о праве на материнский капитал и остатке его средств, а также о кредитах, выданных по льготным ипотечным программам. Транспортный — выписки из реестра автомобилей, сведения об электронных ПТС, уплате утильсбора, таможенных ограничениях, тракторах и других самоходных машинах.

Кроме того, обмен охватит сведения о видах на жительство и разрешениях на временное проживание иностранцев, а также о зарегистрированных результатах интеллектуальной деятельности и действующих исключительных правах.

Цифровой профиль задумывался как способ избавить граждан от бесконечного перекладывания справок между ведомствами и банками. Теперь он действительно будет знать почти всё необходимое.

RSS: Новости на портале Anti-Malware.ru