决战人工智能的应用|人工智能档案|人工智能+机器人之家 > 人工智能档案 > AI测温解决方案上线;工信部:充分发挥人工智能赋能效用、协力抗击疫情
2020
02-12

AI测温解决方案上线;工信部:充分发挥人工智能赋能效用、协力抗击疫情

为计算这一指标,研究者测试了 Meena、Mitsuku、Cleverbot、DialoGPT 及小冰等常见的聊天机器人。在测试中,对于每一款聊天机器人,研究者都在 100 个对话中收集了 1600 到 2400 轮,各聊天机器人的回复都由人类评价者评分(主要依据对话的流畅性和回答的准确性),其各自性能表现如下图。

不难看出,Meena 相比于现有的 SOTA 聊天机器人,有着更高的 SSA 分数,甚至接近于人类的表现。

困惑度与 SSA 强相关
毫无疑问,人类评价或多或少存在一些问题,因此很多研究者都希望找到一个能够自动计算的评价指标,而且这个指标要能和人类评价准确对应。

雷锋网了解到,困惑度(perplexity,指一种任何神经会话模型都能轻易获得的计算指标)是 seq2seq 模型(雷锋网注:一种循环神经网络的变种,包括编码器和解码器两部分,是自然语言处理中的一种重要模型,可用于机器翻译、对话系统、自动文摘)中的一个常见指标,用于评价语言模型的不确定性。

而值得一提的是,Google 证明了困惑度与 SSA 高度相关。

实际上,训练 Meena 正是为了最大程度地减少困惑度,以及预测下一个标记(雷锋网(公众号:雷锋网)注:指对话中的下一个单词)的不确定性——据博客称,这是因为 Meena 的核心为 Evolved Transformer seq2seq 架构,即一种通过进化神经架构搜索发现的 Transformer 体系结构,能够改善困惑度。

在博客中 Google 表示,研究者依据层数、注意力数量、训练步数、编码器、训练方式等因素,共测试了 8 种不同的模型,发现困惑度越低,SSA 分数越高,同时两者的相关系数很高(R^2 = 0.93)。

最后编辑:
作者:决战机器人工智能档案最先进人工智能机器人排名|机器人之家培训什么是ai技术
人工智能+时代机器人之家无人驾驶汽车迷关注人工智能技术动态、会学习的机器人、机器人教育、自动驾驶、无人机、智能家具、自动泊车、人工智能的未来在哪里?人机互动、人工智能驾驶技术;打造科技爱好者以及无人驾驶汽车迷的天堂,人工智能的应用有哪些?最新的人工智能档案、全球人工智能大会人工智能对人类生活的影响、人工智能的利弊、人机大战视频、人工智能+时代科学真好玩!人工智能学习网站哪家强?人工智能学习教程,人工智能最新资讯、智伴机器人哪家强?智伴机器人怎么样?智伴机器人多少钱一台?智伴机器人代理怎么做?智伴机器人哪里生产的?智伴机器人到底好不好?智伴机器人充电多久?智伴机器人怎么使用?智伴机器人功能介绍、智伴机器人价格请咨询智伴儿童机器人网络总代理电视SEO