个人主页

基于超像/体素图的手势识别方法

Sun, 01 Jan 2017 00:00:00 +0000

国家自然科学基金青年项目

手势交互是智能人机交互技术的研究热点之一，在多媒体交互、人车交互、行为分析等领域有着广泛应用前景。手势识别的准确性、实时性、抗干扰性等是手势交互系统的关键。

本研究在充分研究深度和彩色图像联合处理和超像素图特征表示的基础上，提出了新的高性能静态手势识别算法，并结合三维深度卷积网络和时域卷积网络，提出了一种动态手势识别模型。本研究利用深度和骨架信息，快速且准确地提取手势图像块。并利用手掌面的法向量估计有效地了抑制旋转、形变等干扰。在此基础上，基于概率的局部多项式回归算法能高质量地修复深度图像，大大减少噪声对识别准确性的影响。本研究在结合了超像素分割、手势结构和EMD距离的基础上，提出了一种新的手势表示形式（超像素图）和一种新的距离度量标准（基于标准化超像素图的EMD距离）。基于此研究结果，所构建的静态手势识别算法，对训练数据依赖度低，同时识别精度高。

在五个公开数据集上，与多个最先进算法进行比较，均取得了最好的识别准确率（99.7%, 99.4%, 97.9%, 96.6%, 97.4%）。同时，本研究设计了一种用三维卷积网络提取动态手势的短时空时特征的网络结构，结合时间卷积网络和时域注意力机制，提出了新的短时时间卷积网络模型用于动态手势识别。提出的模型能够很好的分析动态手势的时域信息，在VIVA和NVGesture这两个公开数据集上，针对不同类型的数据，取得了与最新算法相当或更高的识别精度(91.54%, 86.10%, 86.21%, 86.93%)。

在提出的识别算法的基础上，本研究通过三维打印制造了机械手，并实现了两个实际应用1) 五指机器人灵巧手的镜像操控和2) 三维场景漫游。本研究对静态和动态手势识别从方法到系统搭建进行细致而全面的研究，对基于手势的人机交互系统所需要解决的问题进行了理论探索，有着重要的科学意义和应用前景。

基于长短时域特征的动态手势识别方法

Wed, 01 Jan 2020 00:00:00 +0000

浙江省自然科学基金探索项目

人机智能交互技术是时下各国政府和企业关注的重点，手势交互以其非接触操作的优势成为自然人机交互的研究热点之一。虽然近年来这一领域已取得了可观的进展，但手势的多样性和环境的复杂性仍然是研究和应用中面临的最大挑战。如何保证手势检测和手势识别的高精度、实时性和稳健性，已成为手势交互系统向应用推进的关键与瓶颈。

因此，本项目将主要围绕手势检测和预处理，高精度手势分类算法这两个方面展开研究。基于深度相机，联合利用深度、颜色和红外信息对手势进行预处理，结合深度学习中目标检测模型，解决手势检测的稳健性问题；在时域引入注意力机制，利用三维卷积网络和时间卷积网络分别提取短时和长时动态手势特征，进而构建高精度的动态手势识别算法。本课题对动态手势识别方法进行了细致而全面的研究，为基于手势识别的人机交互系统在实际应用中迫切需要解决的问题提供了良好的理论支持，有着重要的科学意义和应用前景。

基于超像素图EMD距离的手势识别及交互

Wed, 01 Jan 2020 00:00:00 +0000

浙江省自然科学基金青年项目

智能人机交互技术是时下各国政府和企业关注的重点，手势交互以其非接触操作的优势成为研究热点之一。虽然近年来已取得一定的进展，但手势的多样性和环境的复杂性仍然是研究和应用中面临的最大挑战。如何保证手势识别的准确性和实时性，已成为手势交互系统发展的关键与瓶颈。

本研究在充分研究深度和彩色图像联合处理和超像素图特征表示的基础上，提出了一种新的、更加高性能的手势识别方法。本研究利用深度和骨架信息，快速且准确地提取手势图像块。并利用手掌面的法向量估计有效地了抑制旋转、形变等干扰。在此基础上，基于概率的局部多项式回归算法能高质量地修复深度图像，大大减少噪声对识别准确性的影响。本研究在结合了超像素分割、手势结构和EMD距离的基础上，提出了一种新的手势表示形式（超像素图）和一种新的距离度量标准（基于标准化超像素图的EMD距离）。基于此研究结果，所构建的手势识别算法，对训练数据依赖度低，同时识别精度高。在五个公开数据集上，与多个最新算法进行比较，取得了最好的识别准确率。更进一步的是，本研究利用GPU加速等方法，实现了研究的手势识别算法的实时化，最终实现了两个实际应用的演示分别是1) 五指机器人灵巧手的镜像操控和2) 三维场景漫游。本研究对手势识别方法进行细致而全面的研究，为基于手势的人机交互系统迫切需要解决的问题提供理论支持，有着重要的科学意义和应用前景。

2-4路360度环视技术

Tue, 01 Nov 2016 00:00:00 +0000

参与“北大深研院”和“深国科”校企合作项目

随着经济社会的发展，汽车越来越普及，人们对于汽车的安全性要求也随之提高。汽车的安全性能提高不仅有利于驾驶员、乘客，也间接地对城市的道路交通状况有帮助。2-4路360度环视技术作为驾驶员驾车的辅助技术，给驾驶员一个新的视角：高空鸟瞰。通过高空鸟瞰的视角对于车辆四周360度环绕有非常清楚的认识，进而可以帮助驾驶员更好的分析、判断路况，特别是在倒车入库、低速行车过程中，360度环视技术可以显著提高行车安全性。

通过安装在车身上的2-4个鱼眼摄像头，获得前后左右2-4个方向的图片。对于这2-4个图片进行鱼眼矫正、视角转换、图像色差处理、环视合成这2-4个步骤，得到最终的环视图并显示在驾驶员的屏幕上，辅助驾驶员判断车子附近的情况。目前以opencv等开源的图像库为基础，构建、优化我们的360度环视系统。在此技术基础上，可以引入更多技术：图像显示方面，把2D显示转换为3D；速度方面：通过GPU加速计算，使得每一秒处理的图片更多，使得环视系统更有实时性，这些是我们增强360度环视系统的方向。

在法国参加 ICME 2025

Sat, 05 Jul 2025 00:00:00 +0000

法国：南特 - 巴黎

在新加坡国立访学

Sun, 05 Jan 2025 00:00:00 +0000

新加坡国立大学

Restructuring the Teacher and Student in Self-Distillation

Tue, 24 Sep 2024 00:00:00 +0000

Feature Reconstruction with Disruption for Unsupervised Video Anomaly Detection

Mon, 27 May 2024 00:00:00 +0000

2022年研究生招生

Fri, 01 Apr 2022 00:00:00 +0000

欢迎新同学加入团队

在愚人节当天，经过组内多次讨论，最终做出了艰难的决定。

今年名额2+2个：

蔡晓洁
林孙旗
蔡苏杭
陈翊

祝贺车皆咏、龚益玲和郁盛浩的论文被ICME 2022 (CCF-B) 接收

Sun, 06 Mar 2022 00:00:00 +0000

恭喜车皆咏和龚益玲成功上岸，郁盛浩毕业了再水一篇

如果Accept List (http://2022.ieeeicme.org/assets/accept_list.pdf) 没出错的话，居然三篇全中，这次摸奖的运气真的太好了。

投稿前时间太紧，有2篇都没有细改，论文的实际水平还是有欠缺的。

论文：

1401： MULTI-SCALE CONTINUITY-AWARE REFINEMENT NETWORK FOR WEAKLY SUPERVISED VIDEO ANOMALY DETECTION

1405： TCA-VAD: TEMPORAL CONTEXT ALIGNMENT NETWORK FOR WEAKLY SUPERVISED VIDEO ANOMLY DETECTION

1430： PRUNING DYNAMIC GROUP CONVOLUTION WITH STATIC SUBSTITUTE

紧接的3月底4月初的ACM MM 2022 (CCF-A)要继续积极参与摸奖了，后续大家投顶会和Trans应该也会更有信心了。

Balanced Stripe-wise Pruning in the Filter

Fri, 25 Feb 2022 00:00:00 +0000

Novel Instance Mining with Pseudo-Margin Evaluation for Few-Shot Object Detection

Fri, 25 Feb 2022 00:00:00 +0000

祝贺刘伟杰和霍铮的论文被ICASSP 2022 (CCF-B) 接收

Fri, 25 Feb 2022 00:00:00 +0000

恭喜刘伟杰和霍铮成功上岸

论文：

“Balanced Stripe-wise Pruning in the Filter”
“Novel Instance Mining with Pseudo-Margin Evaluation for Few-Shot Object Detection”

被 ICASSP 2022 （影响力最大的CCF-B类会议之一）接收

今年投3中2，再一次蹭一下NLP领域的顶会

等待3月ICME 2022 (CCF-B)的3篇摸奖的结果

Conference Rank: Computer Science (AMiner)

排名会议名称

15 [ICASSP]IEEE International Conference on Acoustics, Speech and Signal Processing

H5指数上升指数 TK5指数 CCF等级基础研究指数 THU等级

86 63 32.5 B 8.01 B

恭喜五位同学获得宁波大学智能基座产教融合协同育人基地奖学金

Sat, 01 Jan 2022 00:00:00 +0000

宁波大学智能基座产教融合协同育人基地奖学金

一等奖：

陈魏魏 昇腾/鲲鹏

经确认，学生参与鲲鹏BoostKit分布式存储使能套件、Linux基础入门和帮助课程学习
众智计划：参与王翀老师的Yolov3-tiny的pytorch开发
微认证：使用昇腾弹性云服务器实现目标检测应用，基于昇腾AI处理器的算子开发

二等奖：

龚益玲 昇腾/鲲鹏

经确认，学生参与了Linux基础入门和帮助课程学习.
众智计划：参与王翀老师组的华为众智项目C3D模型的训练迁移。
微认证：使用昇腾弹性云服务器实现目标检测应用的微认证和鲲鹏iSula容器解决方案介绍与实践的微认证。

陈松昇腾

经确认，学生参与《SQL语法进阶》《Python编程学习路径》课程学习；
众智计划：参加王翀老师的项目“c3d模型推理”“YOLOv3-tiny模型推理”；
微认证：基于鲲鹏搭建zabbix分布式监控系统；使用昇腾弹性云服务器实现目标检测应用；
智能基座社团副社长负责统筹办公室日常事务。

三等奖：

郑瑜杰 昇腾/鲲鹏

经确认，该同学参与《AI基础课程—Python编程知识》和《AI基础课程—常用框架工具》课程学习。
众智计划：参与王翀老师的项目“C3D模型端到端推理”。
微认证：iSula容器解决方案介绍与实践；使用昇腾弹性云服务器实现目标检测应用。

陶晨晨 昇腾

经确认，学生参与《Linux基础入门和帮助》《Python编程学习路径》课程学习；
众智计划：参加王翀老师的项目“YOLOv3-tiny模型推理”；
微认证：基于鲲鹏搭建zabbix分布式监控系统；使用昇腾弹性云服务器实现目标检测应用。

恭喜参与华为昇腾众智项目的同学获得金质量奖

Fri, 10 Dec 2021 00:00:00 +0000

昇腾众智金质量奖展播 2021年第四期：Go For It!

恭喜拿到奖励的龚益玲和郑瑜杰（陈松代领：）。

另一组（陈魏魏、陶晨晨、陈松）更有挑战，也顺利完成，可惜时间差了一点点。

2021年研究生聚餐

Sat, 20 Nov 2021 00:00:00 +0000

一年一度的聚餐

今年学生规模大幅增长+全员到齐，去年的自助餐已经吃不起了

今年吃高性价比日料，一个包厢已经坐不下了。

明年吃什么更难定了。

全实验室参加视觉与学习青年学者研讨会

Sun, 10 Oct 2021 00:00:00 +0000

全团队学术活动

时隔2年，有一次全实验室参加VALSE 2021，声势浩大。

不能出国参加国际会议的现在，对所有同学都是一次很好的经验，希望对每个人都有帮助和启发。

白天听大佬讲座，晚上撸烤串，睡五星酒店。

2022年在青岛可以再来一次。

Cross-Epoch Learning for Weakly Supervised Anomaly Detection in Surveillance Videos

Fri, 01 Oct 2021 00:00:00 +0000

祝贺郁盛浩论文被IEEE Signal Processing Letters接收

Fri, 01 Oct 2021 00:00:00 +0000

恭喜郁盛浩

论文 “Cross-Epoch Learning for Weakly Supervised Anomaly Detection in Surveillance Videos” 被 ISCAS 2020 和 IEEE Signal Processing Letters 接收。

可以安心整理毕业论文，找个996的好工作了。

Extended Guided Image Filtering For Contrast Enhancement

Mon, 05 Jul 2021 00:00:00 +0000

2021年毕业生聚餐

Wed, 23 Jun 2021 00:00:00 +0000

欢迎新同学加入团队

首届毕业生请吃饭，大家表情都有点呆滞 >_<

毛乔梅在整个研究生期间对基础理论知识和相关编程能力的学习和掌握均较好，在研究过程中能积极探索新的思路和方案，思维活跃沟通顺畅，自主性和条理性较强，在实验和论文遇到困难时也能沉下心来耐心攻克。因此，其在研究生三年内获得多项荣誉和奖学金，在同期学生中也是佼佼者。在京东算法部门进行实习后，对自我的要求更上了一层楼，希望正式工作后能继续够发挥自己所长，不断学习进取，取得更好的成果。

2021年研究生招生

Tue, 23 Mar 2021 00:00:00 +0000

欢迎新同学加入团队

今年名额2+1+1个：

郑瑜杰
陶晨晨
戴鑫淼
蒋腾辉

Reweighted Dynamic Group Convolution

Sun, 21 Mar 2021 00:00:00 +0000

祝贺陈魏魏ICASSP 2021论文接收

Mon, 01 Mar 2021 00:00:00 +0000

恭喜陈魏魏

论文 “Reweighted Dynamic Group Convolution” 被 ICASSP 2021 （CCF-B类）接收

做图像的蹭一下NLP领域的顶会

2020年研究生聚餐

Sat, 21 Nov 2020 00:00:00 +0000

一年一度的聚餐

去年的烤肉店已经倒闭了，今年在华侨豪生吃自助，可惜毛乔梅和陈魏魏缺席。

以后要好好拍一张照片。

2020年研究生奖学金

Sun, 01 Nov 2020 00:00:00 +0000

恭喜毛乔梅获得国家奖学金

其他同学也要加油!

ps. 中央财政出资设立研究生国家奖学金，用于奖励普通高等学校(“国家奖学金”荣誉证书“国家奖学金”荣誉证书(2张)以下简称高等学校)中表现优异的全日制研究生。研究生国家奖学金每年奖励4.5万名在读研究生。其中，博士研究生1万名，硕士研究生为3.5万名。博士研究生国家奖学金奖励标准定为每生每年3万元；硕士研究生国家奖学金奖励标准定为每生每年2万元

A Unified Approach for Target Direction Finding based on Convolutional Neural Networks

Mon, 21 Sep 2020 00:00:00 +0000

2020年研究生招生

Mon, 18 May 2020 00:00:00 +0000

欢迎新同学加入团队

霍铮，陈松，龚益玲

Zero-Shot Object Detection with Attributes based Category Similarity

Fri, 01 May 2020 00:00:00 +0000

提取码: UxQp

祝贺毛乔梅ISCAS接收并推荐TCAS-II

Sun, 01 Mar 2020 00:00:00 +0000

恭喜毛乔梅

论文 “Zero-Shot Object Detection with Attributes based Category Similarity” 被 ISCAS 2020 和 IEEE Transactions on Circuits and Systems II: Express Briefs 接收。

可以去西班牙旅游了！

可惜疫情推迟到10月了，希望能成行。

改成线上会议了，等着录视频。

Short-Term Temporal Convolutional Networks for Dynamic Hand Gesture Recognition

Sat, 07 Dec 2019 00:00:00 +0000

开始在英国谢菲尔德大学访问的一年

Thu, 05 Sep 2019 00:00:00 +0000

简单记录下在谢菲尔德科研生活

周期一：2019-09-02 至 2019-12-02

本阶段学习和研修基本情况

本人于2019年9月2日抵达英国伦敦，9月3日抵达留学单位（谢菲尔德大学，University of Sheffield），并在当日中午与国外导师（刘伟博士）见面进行了初步的讨论，当日下午和电子电机工程系的系主任秘书Ms Kim Brechin见面，完成了相关报道手续。之后，在9月中上旬，完成了租房、警局注册、设备安置等生活和研修相关的安顿工作，并向曼彻斯特总领馆教育处报道。

在研修过程中，与国外导师（刘伟博士）和其课题组内的蒋萌迪博士多次见面，讨论了合作研究的方向和大体思路，打算将我正在进行的深度学习相关的内容和刘伟博士研究组的阵列信号处理相结合，既能利用深度学习提高阵列信号处理的性能，也能将阵列信号相关内容应用于我在研究的图像识别领域。在9月至11月，主要进行了以下研修内容，

a) 对阵列信号处理相关的内容进行了了解和学习，部分内容已在研究生阶段的研究中有所涉及，但仍有不少概念和数学上的知识需要补充。

b) 仔细研读了与我们讨论决定的研究方向相近的发表于IEEE Transactions on Antennas and Propagation的论文”Direction-of-Arrival Estimation Based on Deep Neural Networks With Robustness to Array Imperfections”，经过讨论决定参考其框架进行后续研究。

c) 完成了一个初步的简单神经网络的构建，包括一个单输入多输出的AutoEncoder用于DOA输入信号的分离，正在生成和调整数据以对网络进行学习和测试。

发表的论文及专利等科研成果

由于刚抵达英国，合作相关的研究刚处于起步阶段，还没有发表的论文等科研成果。在9月至11月期间，继续之前在国内的研究，指导学生撰写和投稿了2篇会议论文和1篇期刊论文，具体如下：

a) “Action Recognition with Temporal Selection”投稿至CCF C类会议ISCAS 2020。

b) “Zero-shot Object Detection with Attributes based Category Similarity” 投稿至CCF C类会议ISCAS 2020。

c) “Partial Person Re-identification with Pose-guided Alignment ”投稿至SCI期刊Applied Intelligence。

参加学术活动情况

由于有不少时间用于生活上的安顿，了解学校设施和规章制度，以及研究计划的讨论和安排，这一研修周期中并没有参加其他的学术活动。不过计划参加12月12日的MAPP Lecture，由来自剑桥大学的Dr Phillip Stanley-Marbell作题为Augmenting Raw Materials with Sensing and Computation的报告。

接下来的研修计划

接下来的研究主要针对讨论确定的研究路线进行展开，预计完成以下工作，

a) 实现1.b)中所提的TAP论文中的整个网络并进行改进，即使用VAE替代AutoEncoder，并将后半的网络用CNN替换论文中使用的MLP，同时完成DOA数据的生成和训练。

b) 将复数和四元数的计算结合进CNN中，参考Github上已经有的部分代码和实现(github.com/wavefrontshaping/complexPyTorch 等)，用于阵列信号的处理。

c) 在2020年2月，与国外导师（刘伟博士）和其课题组内的蒋萌迪博士等合作撰写会议论文并投稿。

周期二：2019-12-02 至 2020-03-02

本阶段学习和研修基本情况

在本阶段研修过程中，着重进行了将深度学习应用于阵列信号方向估计的问题。与国外导师（刘伟博士）和其课题组内的蒋萌迪博士多次见面，讨论了具体的数据形式、阵列选择、深度神经网络模型等。主要工作集中在生成各类数据、设计和搭建神经网络框架，训练网络模型，并且验证实验结果。在12月至2月，主要进行了以下研修内容，

a) 生成了大量Uniform Linear Array（ULA）和CoPrime Array的阵列信号训练数据。包括

0至90度的1-12个随机信号源的10个阵元的ULA信号的100万组covariance matrix训练数据，1万组测试数据，
-90至90度的1-16个随机信号源的12个阵元的CoPrime Array信号的100万，200万和1000万的covariance matrix训练数据（512个采样）各2组，10万的验证数据和测试数据各2组，
-60至60度的1-16个随机信号源的12个阵元的Co-Prime Array信号的200万和500万的covariance matrix以及原始信号（12，16，24个采样各一组）的训练数据各2组，10万的验证数据和测试数据各2组。

b) 针对生成的训练、验证和测试数据，我设计了传统的30层CNN进行初步测试，得到一些初步结果。然后在ResNeXt-50和ResNeXt-101的基础上，对网络结果进行修改，并使用a)中生成的各个训练数据集进行训练，利用验证数据集确定训练论述，使用测试数据集进行测试。取得了各个实验设置下的结果，最好的512采样的数据集在限制入射角度为-60至60度时，能够达到99.9%以上的准确度。

c) 根据现有数据集的结果，发现样本数对结果影响较大，covariance matrix结果要好于原始信号。同时，在检查训练过程中的validation loss时，发现有过拟合的现象。正在对网路、数据、训练过程等进行调整。

发表的论文及专利等科研成果

在12月至2月期间，继续在国内的研究，指导学生撰写和投稿了2篇会议论文和1篇期刊论文，具体如下：

a) “Zero-shot Object Detection with Attributes based Category Similarity” 被CCF C类会议ISCAS 2020作为Oral接收。

b) 作为优秀ISCAS 2020论文收到邀请，修改和扩展了“Zero-shot Object Detection with Attributes based Category Similarity”这篇论文，投稿至TCAS-II Special Issue。

c) “Action Recognition with Temporal Selection”被ISCAS 2020拒稿，经过大幅度修改后投稿至CCF C类会议ICIP 2020。

参加学术活动情况

在这一研修周期中参加了以下学术活动，

a) 参加了University of Bristol 的Dr Ejay Nsugbe 的关于"Upper Limb Prosthesis for Trans-humeral Amputees"的讲座，

b) 参加了Dr Kevin Li Sun的关于 “Deep Learning for the Robot to Think Fast”，

c) 参加了Dr Nicolas Herzig的关于"Compliance in Robotics: A Journey through Human-Robot Environment Interactions"的讲座，

d) 参加了Engineering You’re Hired (EYH)的活动，和当地学生进行交流。

接下来的研修计划

接下来的研究主要针对讨论确定的研究路线进行展开，预计完成以下工作，

a) 通过更大的数据集、不同网路结构等，对模型的过拟合进行处理。

b) 对结果进行整理，与国外导师（刘伟博士）和其课题组内的蒋萌迪博士等合作撰写论文并投稿。

An Improved Guided Filtering Algorithm for Image Enhancement

Mon, 23 Jul 2018 00:00:00 +0000

Superpixel-based color-depth restoration and dynamic environment modeling for Kinect-assisted image-based rendering systems

Mon, 01 Jan 2018 00:00:00 +0000

A hand gesture recognition system based on canonical superpixel-graph

Sat, 01 Jul 2017 00:00:00 +0000

本论文获得2017-2018年度宁波市自然科学优秀论文奖三等奖

Superpixel-Based Hand Gesture Recognition With Kinect Depth Camera

Thu, 01 Jan 2015 00:00:00 +0000