【家装资讯】炬芯科技推多模态智能交互芯片平台开启新的交互方式

炬芯科技推多模态智能交互芯片平台开启新的交互方式来自家装资讯jzzx相关,仅限家装资讯jzzx观点以及网络浏览,佛山陶瓷网对炬芯科技推多模态智能交互芯片平台开启新的交互方式以及内容不做任何推荐。

    炬芯科技推多模态智能交互芯片平台开启新的交互方式

大部分听到多模态的时候，也许会有点蒙圈，因为这个词确实没有智能语音那么好理解。这个创新概念是在 2015 年 12 月，图灵机器人团队推出 turing os 机器人操作系统时提出的。手机有操作系统，机器人也要有操作系统。turing os 机器人和人之间的交互方式，就叫做“多模态交互”。模态也就是英文里的“modality”，翻译过来就是感官。而多模态就是把“文字、语音、视觉、动作、环境”等多种方式融合在一起。说白了，这个交互的本质就是“让机器也有感情”。

接下来，让我们通过上面的一张图片了解多模态交互技术赋予机器的深度学习能力到底有多强。如果我们用深度学习来看上图，会生成这么一句话：一个棒球运动员在扔一个球。为什么会生成这么一句话?比如，我们发现模型“看”成这个图片的时候，它实际上先是注意力集中在棒球手套这个地方，这是一个特征表明这是一个棒球运动。随后当计算机注意到跟广的区域的时候，它会提出这是个运动员。再往下，当ai模型注意到一个大腿扭曲的姿态的时候，它会认为这是一个人的动作，凭这些，计算机会认为这是一个人扔球的动作，虽然这个球的占的整面积非常小，但是因为语言模型在语义上的驱动，使得这个球也能够被识别出来，最后形成一句完整的有意义的话。这就是跨越视觉和语言两个模态，从图片到文本描述生成的过程。