Исследование: при слепом тестировании сгенерированные стихи понравились больше «человеческих»

Исследователи из Питтсбургского университета оценили, как воспринимаются стихи, созданные искусственным интеллектом, по сравнению с настоящей поэзией. Для этого они провели два эксперимента.

Был создан пул из ста стихотворений, половина из которых была взята у таких классиков, как Уильям Шекспир, Джордж Байрон, Уолт Уитмен, Эмили Дикинсон и других. Вторая половина была сгенерирована ChatGPT 3.5 на основе стиля этих авторов.

В первом эксперименте 1,6 тыс. участников  должны были определить, какое из предложенных десяти стихотворений (без указания авторства) принадлежит перу классика английской литературы, а какое — «перу» нейросети. Пять образцов были выбраны случайным образом из настоящих стихотворений, еще пять — из искусственных. Участники почти не могли отличить стихи, созданные ChatGPT, от человеческих. Более того, они чаще ошибочно считали, что именно сгенерированные стихи принадлежат поэтам.

Для второго эксперимента была сформирована новая группа, состоящая из почти семисот человек. Участникам были предложены десять стихотворений, выбранных случайным образом из ста. Они должны были оценить их по 14 различным параметрам.

Испытуемых разделили на три группы. Первой группе сообщили, что все тексты созданы ИИ (независимо от того, кто их написал в действительности). Второй группе — что они читают реальные произведения. Третья группа не получила никакой информации об авторстве.

Результаты показали, что участники из первой группы в среднем давали поэтическим произведениям более низкие оценки, чем участники из второй. Это означает, что если произведения оцениваются не вслепую, то люди предпочитают настоящую поэзию, а не тексты нейросети. А вот если неизвестно, кто автор, то произведения, созданные ИИ, ценятся выше, чем работы реальных поэтов, что показали результаты третьей группы.

По мнению исследователей, сгенерированные стихотворения были проще, что делало их более доступными для восприятия обычными читателями, не имеющими литературной подготовки. Таким образом, предпочтение «искусственной» поэзии можно объяснить не особыми творческими успехами нейросетей, а тем, что они создают простые тексты, кажущиеся гармоничными и «атмосферными».