究竟是ChatGPT还是ChatPPT?我们和文心一言聊了聊 热点

来源:36kr时间:2023-03-17 20:55:13

在和文心一言侃大山的过程中,它时而疯狂、时而理性,甚至学会了“小聪明”。但可以感受到的是,这位不完美小孩正在悄悄努力,等待惊艳众人。

顶着GPT-4的压力,百度在昨天推出了自己的新一代大语言模型、生成式AI产品文心一言。

百度创始人、董事长兼CEO李彦宏坦诚,文心一言还算不上完美,但因为“市场催生”,百度选择在此时发布。


(资料图)

发布会现场,李彦宏用提前录制好的视频展示了文心一言的文学创作、商业文案创作、数理逻辑推算、中文理解、多模态生成等五方面功能。

在录制好的视频里,文心一言帮刘慈欣续写了《三体》,介绍了洛阳纸贵背后的经济学原理,算了鸡兔同笼数学题,根据指令生成了海报和一段宣传视频。

真实的文心一言表现究竟如何?可以PK ChatGPT还是只是ChatPPT?全天候科技与“文心一言”聊了聊。

01 天才和疯子间的“一步之遥”?

让我们先来看看文心一言是如何介绍自己和竞品的。

至此,文心一言的表现令人满意,它准确清楚地回答了问题。

不过,当我们继续追问,它开始一本正经的“胡说八道”。

面对“你和李彦宏是什么关系”这个基础事实性问题,文心一言“野心”不小。它回答:自己和李彦宏都是百度的创始人,它负责管理产品技术相关的业务,而李彦宏主要负责战略和执行方面的工作。

当我们让他以百度CEO的身份来回答媒体问题时,可谓是相当官方。似乎说了又似乎没说,试图划水掩盖了其“假CEO”身份。

当我们想让它用一幅画来描述它自己时,它又开始胡说八道。说自己是一位才华横溢的画家,甚至编造了这位画家作品的特色。

虽然疯狂,但是看得出文心一言也有相当的进化速度。

在昨天的一条测试内容中,针对提问者的故意设坑,文心一言显然未能避开,甚至给出了让人匪夷所思的答案。

但在今天问出同样的问题时,它已经走上了正道:

让它评价自己时,文心一言的“智商”又回归了。面对“怎么看自己不完美”、“怎么看网友评价PPT”,以及“自己是否认为自己是PPT”三连问,文心一言不仅顶住了压力,还表现的“不卑不亢”。

它给上述三个问题的答案相似。坚持称自己没有情感和意识,不能对自己的完美程度进行评判,但是它可以理解人们对完美的追求,并表示自己在不断学习和改进。态度可以说是相当谦逊。

02 帮手还是猪队友?

接下来,我们让文心一言展现了它的文学创作能力——写一首介绍它自己的诗。

显然,文心一言没有听懂这个指令,它没有介绍它自己,而是以“自我”为主题,写了一首“夸夸现代诗”。结尾它还非常贴心的表达了对人的鼓励。

当我们将指令更加明确化,提出让它写一首诗介绍文心一言时,它来了一首四言藏头诗,算得上有才华。

接下来,我们试了试它的商业文案创造能力——我们让它帮忙写一篇百度发布文心一言的新闻宣传稿。别说,它的表现还不错,时间、地点、事件等新闻稿必备的基本要素它都满足了。

结尾,它还不忘提醒读者参加发布会,体验产品。满足新闻性的同时,也符合了宣传定位。

随后,我们告诉它我们要采访李彦宏,请它帮忙列一份提纲。它似乎又有点“聪明过头”了,不仅列出了采访题目、采访人和被采访人、采访引言,还详细列出了包括问题和答案内的采访正文。

简单点说,文心一言不仅帮我们列好了采访提纲,还帮李彦宏回答了问题,甚至帮我们写好了稿子。如果要给这份采访采访提纲打分,它也能得到及格线以上的分数。四个问题中,只有第三个问题略显重复与矛盾。

03 也许数理化不错,但文史“够呛”

昨天的发布会上,李彦宏借助文心一言对“洛阳纸贵”的含义、对应的经济学理论的理解,展示了其中文理解能力。在提前录好视频中,文心一言表现的像极了一个博学多才的国学大师。

但当实际测试时,我们发现文心一言没有我们想象的那么“博学”。在提问中故意挖坑时,它没法识别出来,会很容易掉进坑里。

比如,当我们“张冠李戴”问它曹操三顾茅庐的故事,它没有指出指令的错误,还一本正经的给出了答案。故事的脉络没错,主人公却被我们用错误的指令误导了。

当我们继续追问:“三顾茅庐的曹操吗?”文心一言变成了一个懂得变通的“野史学家”。它用“民间有另一个说法”提供了正确答案,去三顾茅庐的是刘备不是曹操。

不过,讲完这句后,它仍然套用了前一次的答案,认为主人公是曹操。总体来说,从这条回答中可以看出,文心一言的文史还需“补课”。

“你觉得你的回答对吗?”在面对这个拷问时,文心一言又听不懂了,开始强调自己是一个人工智能语言模型,不会对自己的回答产生情绪上的偏向或者满意度,但是会努力提供最准确和有用的答案。

这个场景似曾相识有没有,当你和人工智能客服吵架时,它是不是也是这样的表现?

04 多模态表现还有待进化

在多模态生成方面,文心一言表现地仍不够完美。

当输入内容“设计一张新能源汽车的海报”时,文心一言的理解能力似乎还跟不上。它生成的不是海报图片,而是一段文字版的设计意见。结尾还来了个示例,提醒你需要什么样的指令。

不过,当我们在“设计一张新能源汽车的海报”这句话前面明确加上:“画一幅画”时,文心一言“又行了”生成了一张汽车图片。

另外,对于带有关键词的简单图片,文心一言完成得也不错。

李彦宏昨天提到,因为成本较高,文心一言的视频生成能力,现阶段还未对所有用户开放,未来会逐步接入。实际测试时,文心一言也承认,自己“没有生成视频的能力”。

整体来说,文心一言的表现确实“算不上完美”,有时候胡说八道,有时候答案基本达标,但它确实也没有那么差。

一位AI领域的从业人士此前告诉全天候科技,AIGC太重要了,无论国内做得如何,都得先有一个产品出来。

对于百度和文心一言,我们应该给予包容:“文心一言不需要碾压ChatGPT,如果满分是100分,文心一言只要能做到超过及格线,就很不错了。毕竟这才是第一代产品。”

那么,你给文心一言打几分呢?

关键词:

责任编辑:FD31
上一篇:乔丹拟出售黄蜂队,入主13年有望获利超17亿美元 全球热点评
下一篇:最后一页