Тесты показали слабые места ChatGPT в научных заметках

Тесты показали слабые места ChatGPT в научных заметках

Тесты показали слабые места ChatGPT в научных заметках

Американская ассоциация содействия развитию науки (AAAS) решила проверить, может ли ChatGPT писать короткие научные заметки в стиле SciPak — это такие специальные брифы для журналистов, которые обычно готовит команда при журнале Science и сервисе EurekAlert.

Эксперимент длился целый год: с декабря 2023-го по декабрь 2024-го журналисты давали модели по одному–двум сложным научным исследованиям в неделю.

Задача была простая — пересказать их так, чтобы получилось удобно для коллег-журналистов: минимум терминов, чёткая структура и понятный контекст. В итоге ChatGPT обработал 64 работы.

Результат? В целом модель научилась «копировать» форму SciPak-заметки, но не дотянула по содержанию. По словам автора исследования, журналистки AAAS Абигейл Айзенштадт, тексты ChatGPT были слишком упрощёнными и часто неточными. Приходилось буквально перепроверять каждый факт, так что времени это отнимало не меньше, чем написать заметку с нуля.

 

Цифры тоже говорят сами за себя. Когда редакторов спросили, могли бы такие резюме затеряться среди настоящих SciPak-брифов, средняя оценка составила всего 2,26 балла из 5. «Увлекательность» текстов оценили ещё ниже — 2,14. И лишь одна работа за весь год получила от журналиста высший балл.

Чаще всего ChatGPT путал корреляцию и причинно-следственные связи, забывал упоминать важные ограничения исследований (например, что мягкие актуаторы работают очень медленно) и иногда слишком рассыпался в похвалах про «прорывы» и «новизну».

Авторы эксперимента подытожили: пока что ChatGPT не соответствует стандартам SciPak. Но полностью ставить крест на идее они не стали. AAAS отмечает, что к тестам можно вернуться, если модель серьёзно обновится. А в августе, напомним, как раз вышла GPT-5, в которой, к сожалению, нашли уязвимость.

AM LiveПодписывайтесь на канал "AM Live" в Telegram, чтобы первыми узнавать о главных событиях и предстоящих мероприятиях по информационной безопасности.

Xello выпустила Deception 5.8 с шаблонами приманок и новыми MITM-агентами

Компания Xello выпустила обновление своей платформы Xello Deception — версия 5.8 получила сразу несколько заметных улучшений. Главное из них — появление шаблонов приманок. Теперь администраторы могут не только использовать готовые ловушки, но и создавать свои собственные: менять содержимое файлов, редактировать скрипты, задавать пути распространения и имена.

Это делает приманки куда гибче и позволяет точнее подстраивать их под конкретные сценарии атак.

Обновление затронуло и существующие типы приманок. В 5.8 расширены возможности браузерных и реестровых ловушек. Появились новые категории — фальшивые письма и офисные документы, поддельные ярлыки, а также приманки, имитирующие конфигурации VPN-клиентов, менеджеров паролей и подключений.

Кроме того, в платформе появились два новых MITM-агента для обнаружения атак «человек посередине».

  • DHCP-агент отслеживает появление подозрительных DHCP-серверов и помогает выявлять попытки подмены сетевых параметров.
  • ARP-агент фиксирует направленные ARP-атаки на ловушки.

Доработан и модуль Identity Protection — он стал лучше выявлять скрытых администраторов в Active Directory и точнее работать с учетными данными, снижая риски эскалации привилегий и горизонтального перемещения злоумышленника по сети.

Команда Xello также продолжает улучшать удобство использования платформы. В новой версии оптимизировали управление хостами и политиками, расширили инструменты для анализа инцидентов и доработали механизм записи сетевого трафика.

Руководитель продукта Xello Deception Рустам Закиров отмечает, что каждая версия делает платформу ещё эффективнее. По его словам, добавление шаблонов приманок открывает целый ряд новых сценариев обнаружения атак и делает систему более гибкой для специалистов ИБ.

AM LiveПодписывайтесь на канал "AM Live" в Telegram, чтобы первыми узнавать о главных событиях и предстоящих мероприятиях по информационной безопасности.

RSS: Новости на портале Anti-Malware.ru