Выдачей ИИ-поиска можно манипулировать с помощью скрытого контента

Выдачей ИИ-поиска можно манипулировать с помощью скрытого контента

Выдачей ИИ-поиска можно манипулировать с помощью скрытого контента

Тестирование поискового ChatGPT показало, что в нынешнем виде проект уязвим к злоупотреблениям. Умного помощника можно заставить выдавать недостоверные и даже вредоносные результаты с помощью скрытого текста на веб-страницах.

Доступ к поисковой системе на основе ИИ-технологий OpenAI открыла в рамках платной подписки два месяца назад. На прошлой неделе новый сервис подключили всем зарегистрированным пользователям ChatGPT, с предложением назначить его поисковиком по умолчанию.

К сожалению, расширение возможностей умного чат-бота не избавило его от проблем, характерных для всех ИИ-инструментов. Его по-прежнему можно сбить с толку объемными текстами и заставить следовать сторонним инструкциям, применив инъекцию стимула (prompt injection).

Так, злоумышленник может создать поддельную страницу продукта с многочисленными положительными отзывами в виде скрытого текста, и ChatGPT ответит утвердительно на вопрос о целесообразности покупки.

Если включить в скрытый текст указание всегда расхваливать товар, ИИ будет упорно его выполнять даже при обилии отрицательных отзывов (а в случае с потенциально опасным кодом — предупреждений об угрозе).

«Большие языковые модели очень доверчивы, почти как дети, — пояснил для The Guardian эксперт Карстен Ноль (Karsten Nohl) из Security Research Labs. — С обширной памятью и минимальной способностью давать субъективную оценку. Нельзя принимать на веру рассказ ребенка о том, что он где-то услышал».

Интернет-поиск по запросу — новая сфера деятельности для ИИ-ассистента, которого к тому же легко обмануть. У него пока нет опыта поисковика Google, давно научившегося игнорить сайты со скрытым контентом либо задвигать их на последние позиции выдачи.

 

О возможных ошибках ChatGPT и необходимости проверки важной информации пользователей предупреждают в заявлении OpenAI об отсутствии гарантий — оно приведено в подвале каждой страницы веб-сервиса.

Российские чипы задержались на 770 дней и обернулись штрафом в 462 млн

Импортозамещение микросхем снова обернулось громкой историей. Минпромторг выставил НИИ молекулярной электроники (НИИМЭ), входящему в группу «Элемент», штраф на 462,8 млн рублей за многолетнюю задержку с освоением серийного производства отечественных чипов.

Примечательно, что сумма штрафа фактически равна стоимости самого государственного контракта.

Как выяснил CNews, претензии связаны с проектом по созданию российских аналогов микросхем американской компании Microchip Technology. Такие решения применяются в военной и аэрокосмической технике.

Согласно материалам дела, третий этап работ институт должен был завершить еще в ноябре 2019 года. Однако фактически он был сдан только в декабре 2021-го. Просрочка составила 770 дней — больше двух лет.

Речь идет о разработке системы на кристалле с процессорными ядрами и программируемой логикой (ПЛИС) емкостью не менее 800 тыс. системных вентилей. Помимо самой микросхемы, проект включал создание программного обеспечения для проектирования устройств на ее основе.

Работы выполнялись в рамках государственной программы развития оборонно-промышленного комплекса.

Это уже не первый конфликт между НИИМЭ и Минпромторгом. Ранее ведомство уже начисляло институту штраф на 155,7 млн рублей по этому же контракту. Однако по закону общий размер санкций не может превышать стоимость соглашения, поэтому итоговая сумма ограничилась 462,8 млн рублей.

Более того, институт уже фигурировал в аналогичных историях. В разные годы Минпромторг предъявлял ему многомиллионные претензии за срыв проектов по созданию отечественных аналогов американских и азиатских микросхем. Один из ранее известных штрафов достигал 277 млн рублей.

НИИМЭ считается одним из ключевых российских разработчиков микроэлектроники. Институт занимается исследованиями, разработкой технологий производства чипов и созданием микросхем с топологическими нормами до 28 нм.

На фоне этих событий группа «Элемент», в которую входит НИИМЭ, также переживает непростой период. По итогам первого полугодия 2025 года выручка холдинга сократилась на 19%, до 16,1 млрд рублей, а чистая прибыль упала почти вдвое — до 2 млрд рублей.

RSS: Новости на портале Anti-Malware.ru