Тесты показали слабые места ChatGPT в научных заметках

Тесты показали слабые места ChatGPT в научных заметках

Тесты показали слабые места ChatGPT в научных заметках

Американская ассоциация содействия развитию науки (AAAS) решила проверить, может ли ChatGPT писать короткие научные заметки в стиле SciPak — это такие специальные брифы для журналистов, которые обычно готовит команда при журнале Science и сервисе EurekAlert.

Эксперимент длился целый год: с декабря 2023-го по декабрь 2024-го журналисты давали модели по одному–двум сложным научным исследованиям в неделю.

Задача была простая — пересказать их так, чтобы получилось удобно для коллег-журналистов: минимум терминов, чёткая структура и понятный контекст. В итоге ChatGPT обработал 64 работы.

Результат? В целом модель научилась «копировать» форму SciPak-заметки, но не дотянула по содержанию. По словам автора исследования, журналистки AAAS Абигейл Айзенштадт, тексты ChatGPT были слишком упрощёнными и часто неточными. Приходилось буквально перепроверять каждый факт, так что времени это отнимало не меньше, чем написать заметку с нуля.

 

Цифры тоже говорят сами за себя. Когда редакторов спросили, могли бы такие резюме затеряться среди настоящих SciPak-брифов, средняя оценка составила всего 2,26 балла из 5. «Увлекательность» текстов оценили ещё ниже — 2,14. И лишь одна работа за весь год получила от журналиста высший балл.

Чаще всего ChatGPT путал корреляцию и причинно-следственные связи, забывал упоминать важные ограничения исследований (например, что мягкие актуаторы работают очень медленно) и иногда слишком рассыпался в похвалах про «прорывы» и «новизну».

Авторы эксперимента подытожили: пока что ChatGPT не соответствует стандартам SciPak. Но полностью ставить крест на идее они не стали. AAAS отмечает, что к тестам можно вернуться, если модель серьёзно обновится. А в августе, напомним, как раз вышла GPT-5, в которой, к сожалению, нашли уязвимость.

AM LiveПодписывайтесь на канал "AM Live" в Telegram, чтобы первыми узнавать о главных событиях и предстоящих мероприятиях по информационной безопасности.

Инвесторы идут к ChatGPT, но он путает цифры и строит хрустальные шары

Похоже, ИИ уверенно заходит и на фондовый рынок. Уже 13% частных инвесторов по всему миру используют ChatGPT или другие чат-боты для выбора акций. А примерно половина респондентов опроса eToro (11 тысяч инвесторов) признались, что не прочь попробовать такие инструменты для управления портфелем.

Как пишет Reuters, речь идёт не об алгоритмическом трейдинге, когда компьютеры гоняют тысячи сделок в секунду, а о том, что люди реально задают ИИ вопросы вроде «какие акции стоит купить?», читают ответ и сами решают, жать ли кнопку «купить».

Например, бывший аналитик UBS Джереми Люн теперь полагается на ChatGPT для управления своим портфелем.

«У меня больше нет доступа к Bloomberg Terminal — он слишком дорогой, — говорит он. — А ChatGPT может заменить многие привычные рабочие процессы».

Есть и громкие кейсы: сайт Finder ещё в марте 2023-го попросил ChatGPT составить портфель из «качественных компаний». С тех пор эта подборка выросла почти на 55% — результат лучше среднего по топ-10 британских фондов на 19 процентных пунктов.

Но есть нюанс: американский рынок и без того на исторических максимумах. S&P 500 вырос на 13% с начала года, а в 2023-м вообще прибавил 23%. В такой ситуации почти любая стратегия выглядит «гениальной».

Эксперты напоминают, что у ИИ есть серьёзные ограничения: он не видит данных за paywall, может путать цифры, выстраивать надуманные нарративы и слишком полагаться на прошлое поведение акций.

«Риск в том, что люди начинают воспринимать ChatGPT или Gemini как хрустальный шар», — предупреждает глава eToro в Великобритании.

История повторяется: в 80-х частные инвесторы получили электронную торговлю, в 90-х — онлайн-брокеров с копеечными комиссиями, после кризиса 2008-го появились первые роботизированные советчики. Теперь на сцену выходят ИИ-ассистенты.

Главная опасность, как говорят аналитики: пока рынок растёт, ИИ выглядит помощником. Но если грянет кризис, не факт, что частные инвесторы сумеют правильно управлять рисками.

AM LiveПодписывайтесь на канал "AM Live" в Telegram, чтобы первыми узнавать о главных событиях и предстоящих мероприятиях по информационной безопасности.

RSS: Новости на портале Anti-Malware.ru