近日,仍无研究人员设计出一个能够衡量AI创造力的法媲程序。英国伦敦大学学院的美人计算机科学家Mirco Musolesi表示,衡量创造力非常困难但很有趣,类新新方法至少很好地解决了一个创造力问题——语言是闻科否具有新颖性。
但客观地测试AI的创造力一直很棘手。科学家通常采取两种策略,一种是使用其他计算机程序搜索抄袭的迹象,尽管没有抄袭并不等于有创造力;另一种是人工判断AI的输出,对流畅性和原创性等因素进行评分,但这种做法主观且耗时。
因此,美国华盛顿大学的计算机科学家陆锡明(音)和同事创建了一个既客观又有细微差别的程序——DJ搜索。该程序可以从AI输出的任何内容中收集最小长度的文本片段,并在大型在线数据库中检索它们。“DJ搜索”不仅能找到相匹配的文本片段,还会扫描与文本含义相似的字符串。在删除所有匹配项后,该程序通过计算剩余文本与原始文档长度的比率,最终估算出AI输出的新颖程度。
研究人员将出版的小说、诗歌和演讲的语言新颖性与LLM作品进行了比较。他们在OpenReview上公布的一份预印本中报告称,人类在诗歌、小说和演讲方面的得分分别比AI高出约80%、100%和150%。该研究目前正在接受同行评审。
虽然“DJ搜索”是为了比较人和机器而设计的,但它也可以用来比较两个或更多的人类作品。例如,苏珊·柯林斯的小说《饥饿游戏》在语言原创性方面比斯蒂芬妮·迈耶的热门小说《暮光之城》高出35%。
那么,LLM仅仅就是“鹦鹉”吗?“它们从现有的文字中复制、粘贴、剪切和拼凑出一些令人惊叹的东西,就像一个DJ对现有音乐进行混音。这绝对有价值,但它与作曲家不同。”陆锡明说。
、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、
、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、
、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、
、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、
、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、
、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、
、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、
、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、
、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、
、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、
、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、
、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、
、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、