Projects | Chong Wang | Ningbo University

基于超像/体素图的手势识别方法

Sun, 01 Jan 2017 00:00:00 +0000

国家自然科学基金青年项目

手势交互是智能人机交互技术的研究热点之一，在多媒体交互、人车交互、行为分析等领域有着广泛应用前景。手势识别的准确性、实时性、抗干扰性等是手势交互系统的关键。

本研究在充分研究深度和彩色图像联合处理和超像素图特征表示的基础上，提出了新的高性能静态手势识别算法，并结合三维深度卷积网络和时域卷积网络，提出了一种动态手势识别模型。本研究利用深度和骨架信息，快速且准确地提取手势图像块。并利用手掌面的法向量估计有效地了抑制旋转、形变等干扰。在此基础上，基于概率的局部多项式回归算法能高质量地修复深度图像，大大减少噪声对识别准确性的影响。本研究在结合了超像素分割、手势结构和EMD距离的基础上，提出了一种新的手势表示形式（超像素图）和一种新的距离度量标准（基于标准化超像素图的EMD距离）。基于此研究结果，所构建的静态手势识别算法，对训练数据依赖度低，同时识别精度高。

在五个公开数据集上，与多个最先进算法进行比较，均取得了最好的识别准确率（99.7%, 99.4%, 97.9%, 96.6%, 97.4%）。同时，本研究设计了一种用三维卷积网络提取动态手势的短时空时特征的网络结构，结合时间卷积网络和时域注意力机制，提出了新的短时时间卷积网络模型用于动态手势识别。提出的模型能够很好的分析动态手势的时域信息，在VIVA和NVGesture这两个公开数据集上，针对不同类型的数据，取得了与最新算法相当或更高的识别精度(91.54%, 86.10%, 86.21%, 86.93%)。

在提出的识别算法的基础上，本研究通过三维打印制造了机械手，并实现了两个实际应用1) 五指机器人灵巧手的镜像操控和2) 三维场景漫游。本研究对静态和动态手势识别从方法到系统搭建进行细致而全面的研究，对基于手势的人机交互系统所需要解决的问题进行了理论探索，有着重要的科学意义和应用前景。

基于长短时域特征的动态手势识别方法

Wed, 01 Jan 2020 00:00:00 +0000

浙江省自然科学基金探索项目

人机智能交互技术是时下各国政府和企业关注的重点，手势交互以其非接触操作的优势成为自然人机交互的研究热点之一。虽然近年来这一领域已取得了可观的进展，但手势的多样性和环境的复杂性仍然是研究和应用中面临的最大挑战。如何保证手势检测和手势识别的高精度、实时性和稳健性，已成为手势交互系统向应用推进的关键与瓶颈。

因此，本项目将主要围绕手势检测和预处理，高精度手势分类算法这两个方面展开研究。基于深度相机，联合利用深度、颜色和红外信息对手势进行预处理，结合深度学习中目标检测模型，解决手势检测的稳健性问题；在时域引入注意力机制，利用三维卷积网络和时间卷积网络分别提取短时和长时动态手势特征，进而构建高精度的动态手势识别算法。本课题对动态手势识别方法进行了细致而全面的研究，为基于手势识别的人机交互系统在实际应用中迫切需要解决的问题提供了良好的理论支持，有着重要的科学意义和应用前景。

基于超像素图EMD距离的手势识别及交互

Wed, 01 Jan 2020 00:00:00 +0000

浙江省自然科学基金青年项目

智能人机交互技术是时下各国政府和企业关注的重点，手势交互以其非接触操作的优势成为研究热点之一。虽然近年来已取得一定的进展，但手势的多样性和环境的复杂性仍然是研究和应用中面临的最大挑战。如何保证手势识别的准确性和实时性，已成为手势交互系统发展的关键与瓶颈。

本研究在充分研究深度和彩色图像联合处理和超像素图特征表示的基础上，提出了一种新的、更加高性能的手势识别方法。本研究利用深度和骨架信息，快速且准确地提取手势图像块。并利用手掌面的法向量估计有效地了抑制旋转、形变等干扰。在此基础上，基于概率的局部多项式回归算法能高质量地修复深度图像，大大减少噪声对识别准确性的影响。本研究在结合了超像素分割、手势结构和EMD距离的基础上，提出了一种新的手势表示形式（超像素图）和一种新的距离度量标准（基于标准化超像素图的EMD距离）。基于此研究结果，所构建的手势识别算法，对训练数据依赖度低，同时识别精度高。在五个公开数据集上，与多个最新算法进行比较，取得了最好的识别准确率。更进一步的是，本研究利用GPU加速等方法，实现了研究的手势识别算法的实时化，最终实现了两个实际应用的演示分别是1) 五指机器人灵巧手的镜像操控和2) 三维场景漫游。本研究对手势识别方法进行细致而全面的研究，为基于手势的人机交互系统迫切需要解决的问题提供理论支持，有着重要的科学意义和应用前景。

2-4路360度环视技术

Tue, 01 Nov 2016 00:00:00 +0000

参与“北大深研院”和“深国科”校企合作项目

随着经济社会的发展，汽车越来越普及，人们对于汽车的安全性要求也随之提高。汽车的安全性能提高不仅有利于驾驶员、乘客，也间接地对城市的道路交通状况有帮助。2-4路360度环视技术作为驾驶员驾车的辅助技术，给驾驶员一个新的视角：高空鸟瞰。通过高空鸟瞰的视角对于车辆四周360度环绕有非常清楚的认识，进而可以帮助驾驶员更好的分析、判断路况，特别是在倒车入库、低速行车过程中，360度环视技术可以显著提高行车安全性。

通过安装在车身上的2-4个鱼眼摄像头，获得前后左右2-4个方向的图片。对于这2-4个图片进行鱼眼矫正、视角转换、图像色差处理、环视合成这2-4个步骤，得到最终的环视图并显示在驾驶员的屏幕上，辅助驾驶员判断车子附近的情况。目前以opencv等开源的图像库为基础，构建、优化我们的360度环视系统。在此技术基础上，可以引入更多技术：图像显示方面，把2D显示转换为3D；速度方面：通过GPU加速计算，使得每一秒处理的图片更多，使得环视系统更有实时性，这些是我们增强360度环视系统的方向。