Языковые модели оказались хорошими помощниками в написании рассказов — но не для всех

Любимые всеми книги и фильмы часто рассказывают захватывающие и необычные истории. Но и таким форматам, как рекламный ролик или пост в блоге, чтобы попасть в топы просмотров, необходимо чем-то зацепить пользователя.

Сегодня авторы нередко обращаются к генеративным языковым моделям в поисках вдохновения. Но есть ли в этом польза? Может быть, правы скептики, и их массовое применение убьет творчество?

Исследователи Анил Доши из Лондонского университетского колледжа и Оливер Хаузер из Эксетерского университета решили проверить, как помощь искусственного интеллекта влияет на результат творчества людей. Для этого они набрали около трехсот добровольцев, которые выступили в роли «писателей» (при этом ни один из них не был профессиональным сочинителем).

Вначале экспериментаторы оценили креативность участников с помощью стандартного психологического теста, в котором предлагалось назвать десять как можно более разных по значению слов. Затем «писателей» случайным образом разделили на три группы, которые должны были написать короткий рассказ о приключении в открытом море, в джунглях или на другой планете.

Также их случайным образом включили в другие три группы: в одной участники получали подсказку от ChatGPT в объеме пяти фраз, в другой — тоже подсказку ChatGPT, но в объеме трех фраз; в третьей участники полагались только на свои силы.

Получившиеся истории оценивали 600 внешних рецензентов. Они выставляли оценки по следующим критериям: насколько свежим (с точки зрения идей, сюжетных ходов) был прочитанный текст, насколько увлекательно (с точки зрения языка) его было читать и насколько интересной им казалась задумка для дальнейшего развития (скажем, для написания книги).

Истории, написанные при помощи модели, были оценены в среднем на 10% выше с точки зрения новизны и необычности сюжета, а с точки зрения увлекательности — на 22%. Эти эффекты были наиболее значимыми для тех участников, которых изначально оценили как наименее творческих. Но есть ложка дегтя.

Истории, созданные с подачи искусственного интеллекта (независимо от объема его «участия»), в массе оказались более стереотипными, похожими друг на друга, чем те тексты, которые участники сочиняли самостоятельно.

По мнению авторов исследования, это происходило из-за того, что «писатели» слишком привязывались к идеям, предложенным программой, и не пытались пойти дальше.

В связи с использованием генеративных моделей возникает «социальная дилемма», отмечают исследователи. С одной стороны, модели могут направить человека в нужную сторону, особенно если у него нет опыта письма — подобно тому, как резиновый эспандер может помочь человеку осилить первое подтягивание на турнике. Но если человечество в целом будет слишком полагаться на генерацию идей нейросетями, из нашей культуры может уйти новизна.