面向自然人机交互的零次手势识别方法研究

宁波市自然科学基金 一般项目

智能人机交互技术是人工智能、虚拟/增强现实等我国数字经济重点产业中的重要一环，而非 接触的手势交互是其研究热点之一。虽然近年来手势识别的研究已取得很大的进展，但现有 工作大多只针对有限类别的手势，大大限制了手势交互在现实环境下的应用。如何理解未曾 见过的动态手势意图，已成为设计智能手势交互系统的瓶颈。因此，本项目将主要围绕动态 手势的语义特征提取，未知手势的零次学习和自然人机交互应用这三方面展开研究。设计多 路Transformer网络对于动态手势的手型、动作和对象分别从局部和全局角度提取特征并融合 ，保证手势特征的语义合理性；基于语义关系构建知识图谱，利用图卷积网络进行推理，实 现零次手势识别算法；并使用动态分组卷积、通道重排等技术实现模型的轻量化。本课题将 对零次动态手势识别方法进行细致而全面的研究，为实际环境中的智能人机交互系统迫切需 要解决的问题提供理论支持，有着重要的科学意义和应用前景。