Профессор Канзасского университета протестировал лингвистические способности ChatGPT, чтобы выяснить, как ИИ может помочь людям в решении языковых задач, не дублируя то, с чем они и сами превосходно справляются.
Как оказалось, могучий чат-бот обладает большим словарным запасом и хорошо выявляет взаимосвязи, используя вместо языковой интуиции статистический анализ по шаблонам, обнаруженным в обучающих данных.
Вместе с тем, чтобы не разочаровать собеседника, ChatGPT иногда выдавал правдоподобные, но неверные и даже бессмысленные ответы. Результаты эксперимента еще раз подтвердили, что ИИ склонен к галлюцинациям, то есть на его результаты нельзя полностью полагаться.
Вначале специалист по психолингвистике Майкл Витевич (Michael Vitevitch) предложил собеседнику определить значение 52 англоязычных архаизмов, включив в список такие диковинки, как upknocker — наемник, который стуком в дверь и окно поднимал рабочих перед сменой (во времена, когда еще не было будильников).
ИИ-ассистент выдал 36 правильных ответов, в 11 случаях заявил, что не знает, так как слово, видимо, вышло из употребления, трижды подобрал значения из других языков, а два раза сгенерировал явный вымысел.
Исследователь также проверил, насколько умело ИИ преодолевает фонетический барьер. К испанским словам нужно было подобрать созвучные английские.
Запросы зачастую возвращали результат на испанском языке: ChatGPT руководствовался межъязыковыми статистическими ассоциациями, тогда как человек в этом случае включает логику.
На следующем этапе Витевич проверил реакцию собеседника на псевдослова, используемые в когнитивной психологии с целью узнать, как человек получает, запоминает и обрабатывает языковую информацию.
ИИ-ассистента попросили оценить по шкале от 1 («плохо») до 7 («хорошо»), достаточно ли по-английски звучат вымышленные слова и насколько они пригодны для маркетинговых целей. Испытуемый, используя частотность звукосочетаний, справился с задачей не хуже носителей языка.
Под занавес ChatGPT продемонстрировал возможности словообразования — придумывал отсутствующие в английском языке термины для понятий, довольно успешно применяя контаминацию (объединение двух похожих выражений или форм — вроде «играть значение») и словосложение (объединение слов или их основ — «долгоиграющий», «водопад»).
Экспериментатора больше всего позабавило rousrage (возмущение из-за побудки), от rouse (пробуждать) и rage (гнев, ярость). Ему также понравились еще три неологизма:
- prideify — гордиться чужими успехами (от pride, «гордость»; по аналогии с beautify, «воспевать»);
- lexinize — «лексинизировать» (о псевдослове, которое начинает обретать смысл);
- stumblop — упасть, споткнувшись (от stumble + plop, «споткнуться» и «шлепнуться»).
