科研项目 | 王翀 | 宁波大学

面向高效视频异常检测的跨架构跨模态知识蒸馏方法研究

Thu, 01 Jan 2026 00:00:00 +0000

浙江省自然科学基金探索项目

本项目旨在构建新型跨架构、跨模态知识蒸馏框架，既提升传统卷积神经网络（CNN）性能，又基于人工神经网络（ANN）与RGB视频数据，探索并增强脉冲神经网络（SNN）在视频监控异常检测中的表现。项目借助 Transformer 的高性能特征提取能力（如 CLIP），通过引入可学习提示Token及模型结构重参数化技术，强化CNN表征能力，实现双向匹配的高效跨架构知识蒸馏。针对高动态视觉传感器（DVS）模态的时间步特性，构建其异常事件数据集，在数据层采用混合增强并引入模态判别学习，利用RGB数据流提升SNN基础性能。同时，在特征层面实现时间步匹配，基于信息瓶颈理论完成关键信息自适应匹配，通过压缩ANN（教师网络）与SNN（学生网络）的信息表示，仅提取核心部分进行交叉蒸馏，利用其稀疏性提升SNN的学习效率与泛化能力。项目最终将成果部署于国产化 AI 边缘计算及类脑计算平台，验证实际应用中的有效性与实时性。通过这些研究，项目不仅能推动知识蒸馏相关技术的发展，也为类脑计算上的智慧监控等领域的应用提供了新的可能性。

“风华-苍鹭”监控视频理解大模型

Mon, 01 Jan 2024 00:00:00 +0000

宁波市2035重大示范项目“面向国产全栈AI基础设施的百亿参数监控视频大模型应用示范”

面向监控视频理解中异常行为检测、群体检索、视频检索和复杂场景嵌入等需求，团队与华为、宁波算力中心合作，获批宁波市2035重大示范项目“面向国产全栈AI基础设施的百亿参数监控视频大模型应用示范”，研发了全球首个基于昇腾AI的视频场景理解大模型：“风华·苍鹭”视频大模型，初步建成基于华为生态的人工智能大模型全流程使能体系。该成果围绕异常检测、群体检索、视频检索和场景嵌入构建应用能力，可支撑公共安全、校园、实验室、家庭等复杂视频场景中的实时预警、事后检索和智能分析。该模型已经在2023世界人工智能大会发布，获得2023年华为昇腾应用竞赛浙江省金奖、2024宁波市十佳大模型、2025年度中国商业联合会科技进步一等奖、2025宁波市人工智能科技进步奖等，体现了团队在互联网+视频大模型方向的应用示范能力。

面向自然人机交互的零次手势识别方法研究

Thu, 01 Sep 2022 00:00:00 +0000

宁波市自然科学基金一般项目

智能人机交互技术是人工智能、虚拟/增强现实等我国数字经济重点产业中的重要一环，而非接触的手势交互是其研究热点之一。虽然近年来手势识别的研究已取得很大的进展，但现有工作大多只针对有限类别的手势，大大限制了手势交互在现实环境下的应用。如何理解未曾见过的动态手势意图，已成为设计智能手势交互系统的瓶颈。因此，本项目将主要围绕动态手势的语义特征提取，未知手势的零次学习和自然人机交互应用这三方面展开研究。设计多路Transformer网络对于动态手势的手型、动作和对象分别从局部和全局角度提取特征并融合，保证手势特征的语义合理性；基于语义关系构建知识图谱，利用图卷积网络进行推理，实现零次手势识别算法；并使用动态分组卷积、通道重排等技术实现模型的轻量化。本课题将对零次动态手势识别方法进行细致而全面的研究，为实际环境中的智能人机交互系统迫切需要解决的问题提供理论支持，有着重要的科学意义和应用前景。

面向人体工学的智能健康办公系统核心部件研发与产业化

Sat, 01 Jan 2022 00:00:00 +0000

第六届中国创新挑战赛（宁波）优胜项目乐歌人体工学股份有限公司合作

《健康中国2030”规划纲要》明确提出：健康是促进人的全面发展的必然要求，是经济社会发展的基础条件。战略目标提到了：核心是以人民健康为中心，坚持以基层为重点，以改革创新为动力，预防为主，推行健康生活方式，减少疾病发生，强化早诊断、早治疗、早康复，实现全民健康。

现代都市人绝大部分醒着的时间都与“坐”脱离不了关系，可是又有多少人的坐姿是正确的呢? 正确的坐姿可帮助人避免肌肉劳损及颈腰椎的慢性损伤，预防颈腰椎病。有研究表明：长时间低头、久坐办公或不良坐姿，是产生颈椎、腰椎、近视等疾重要原因。长时间低头，颈椎就像一个吊塔，后方肌肉就是吊索，易引起颈椎间盘突出；长时间侧弯久坐，会产生腰椎侧弯、腰椎突出等疾病；长时间办公学习用眼不良，会引起眼部疾病。我国青少年的近视发病率呈逐年上升趋势，并且发病年龄越来越小，引起社会、学校和家庭的高度重视，全国学生体质健康调研最新数据表明，我国小学生近视眼发病率为22.78％，中学生为55.22％，高中生为70.34％。专家建议：养成良好的坐立姿势，尽量选择没有靠背的椅子坐好，肩膀放松，头颈和身体不要前倾，双臂贴紧身体，手肘弯曲呈90°，双脚平放在地上；从繁忙的工作学习中抽空放松，坐站交替、眺望远处。在日常办公和学习场景下心理健康监测也十分重要，借助人工智能技术的发展和计算资源的普及，使得从图像和视频等视觉信号或者海量多传感器信息中智能地提取心理健康相关的指标成为可能，从而实现在办公或学习等日常场景中对人体身心健康和职业病的监测和预警,通过面部特征变化，能早发现潜在健康问题，做到早预防。

目前国内外市场上面向人体工学的智能健康办公系统涉及人体坐姿检测的产品种类有：机械结构预防式、可穿戴式和非接触式三种方式，每种方式都存在着缺点：有的用户体验感不好，有的检测信息不准，有的价格昂贵，难以普及。随着微电子技术和人工智能技术发展，近些年推出了多款具有深度学习的嵌入式芯片,体系架构包含了GPU、NPU等神经网络加速器，可以高性能地进行卷积神经网络运算，具有代表性如：华为Atlas、NVIDIA公司推出人工智能处理器。处理器性能也不断提高，嵌入式CPU出现4、8核系统，极大提高运行速度，价格大幅减低。使得非接触式基于计算机视觉技术检测人体姿态及面部情绪成为可能。

采用非接触式基于计算机视觉技术检测人体坐姿及面部病例特征在技术上具有极强挑战性。首先图像和视频信息包含了大量信息，但由于终端产品非接触式、成像质量、环境复杂度等问题，难获得准确获得生理健康数据，在国内外相关领域一直都是研究和产品化的难点，缺乏成系统的解决方案。其次大部分人工智能算法都需要较高的计算资源，研究如何在保持性能、实时性的前提下实现模型的人工智能算法轻量化，并部署在有限的嵌入式系统上。再次目前人体工学的智能健康办公系统人体姿态及面部病例特征没有标准，研究依托人体工学原理和标准库、医疗专家知识库等建立相应评判标准。本项目将研究基于机器视觉、人工智能无接触式人体姿态及面部病例特征行为实时监测，实现生理状态异常等突发状况预警。

本项目通过宁波大学、李惠利医院与宁波乐歌人体工学股份有限公司等人体工学领域的龙头企业的合作，将解决人体坐姿识别与分类，检测和判断办公和学习坐姿正确与否，人体负面表情检测等关键技术。本项目也将挑战核心算法的产业化部署难题，与相关企业的儿童学习桌、办公桌等人体工学产品深度整合，能有效预防儿童近视、人体颈椎病和脊柱弯曲、人体面部异常等疾病，能提高人体工学类产品技术含量，扩大相关企业产能，推动该领域的发展和相关公司的成长。

集装箱箱号识别系统

Sat, 01 May 2021 00:00:00 +0000

乐歌人体工学股份有限公司校企合作项目

本项目的主要研究内容包括：

厂区大门的复杂环境下，不定线路的车辆出入检测。
线路不定且不停车条件下，多角度的同步集装箱号的检测和识别。
数据记录和查询系统开发

基于超像素图EMD距离的手势识别及交互

Wed, 01 Jan 2020 00:00:00 +0000

浙江省自然科学基金青年项目

智能人机交互技术是时下各国政府和企业关注的重点，手势交互以其非接触操作的优势成为研究热点之一。虽然近年来已取得一定的进展，但手势的多样性和环境的复杂性仍然是研究和应用中面临的最大挑战。如何保证手势识别的准确性和实时性，已成为手势交互系统发展的关键与瓶颈。

本研究在充分研究深度和彩色图像联合处理和超像素图特征表示的基础上，提出了一种新的、更加高性能的手势识别方法。本研究利用深度和骨架信息，快速且准确地提取手势图像块。并利用手掌面的法向量估计有效地了抑制旋转、形变等干扰。在此基础上，基于概率的局部多项式回归算法能高质量地修复深度图像，大大减少噪声对识别准确性的影响。本研究在结合了超像素分割、手势结构和EMD距离的基础上，提出了一种新的手势表示形式（超像素图）和一种新的距离度量标准（基于标准化超像素图的EMD距离）。基于此研究结果，所构建的手势识别算法，对训练数据依赖度低，同时识别精度高。在五个公开数据集上，与多个最新算法进行比较，取得了最好的识别准确率。更进一步的是，本研究利用GPU加速等方法，实现了研究的手势识别算法的实时化，最终实现了两个实际应用的演示分别是1) 五指机器人灵巧手的镜像操控和2) 三维场景漫游。本研究对手势识别方法进行细致而全面的研究，为基于手势的人机交互系统迫切需要解决的问题提供理论支持，有着重要的科学意义和应用前景。

基于长短时域特征的动态手势识别方法

Wed, 01 Jan 2020 00:00:00 +0000

浙江省自然科学基金探索项目

人机智能交互技术是时下各国政府和企业关注的重点，手势交互以其非接触操作的优势成为自然人机交互的研究热点之一。虽然近年来这一领域已取得了可观的进展，但手势的多样性和环境的复杂性仍然是研究和应用中面临的最大挑战。如何保证手势检测和手势识别的高精度、实时性和稳健性，已成为手势交互系统向应用推进的关键与瓶颈。

因此，本项目将主要围绕手势检测和预处理，高精度手势分类算法这两个方面展开研究。基于深度相机，联合利用深度、颜色和红外信息对手势进行预处理，结合深度学习中目标检测模型，解决手势检测的稳健性问题；在时域引入注意力机制，利用三维卷积网络和时间卷积网络分别提取短时和长时动态手势特征，进而构建高精度的动态手势识别算法。本课题对动态手势识别方法进行了细致而全面的研究，为基于手势识别的人机交互系统在实际应用中迫切需要解决的问题提供了良好的理论支持，有着重要的科学意义和应用前景。

基于人脸图像的健康风险监测系统的软件开发

Sun, 01 Sep 2019 00:00:00 +0000

乐歌人体工学股份有限公司校企合作项目

心脏跳动所造成的血液流动会导致毛细血管的血流量及其中的血红蛋白含量发生周期性变化，从而导致皮肤对光照的吸收量也有着同样的周期性波动。这一变化虽然很微弱，但摄像头仍然可以捕捉到面部皮肤颜色随心跳产生的微小改变，进而利用智能信号处理算法来估计出人体的心率。根据环境光照条件和摄像头等硬件的不同，总体的测量时间为10-30秒。

这种技术被统称为远程光电容积描记法，缩写为rPPG。相关的研究在光学、计算机视觉和医学信号处理领域已经有了将近15年的发展历程。从最开始的利用颜色均值和滤波的方法，到最近使用人工智能算法，心率检测的准确率也在不断提高。

相关的非接触式心率检测技术，于2019年底，也被用于乐歌公司的相关产品之中。

基于超像/体素图的手势识别方法

Sun, 01 Jan 2017 00:00:00 +0000

国家自然科学基金青年项目

手势交互是智能人机交互技术的研究热点之一，在多媒体交互、人车交互、行为分析等领域有着广泛应用前景。手势识别的准确性、实时性、抗干扰性等是手势交互系统的关键。

本研究在充分研究深度和彩色图像联合处理和超像素图特征表示的基础上，提出了新的高性能静态手势识别算法，并结合三维深度卷积网络和时域卷积网络，提出了一种动态手势识别模型。本研究利用深度和骨架信息，快速且准确地提取手势图像块。并利用手掌面的法向量估计有效地了抑制旋转、形变等干扰。在此基础上，基于概率的局部多项式回归算法能高质量地修复深度图像，大大减少噪声对识别准确性的影响。本研究在结合了超像素分割、手势结构和EMD距离的基础上，提出了一种新的手势表示形式（超像素图）和一种新的距离度量标准（基于标准化超像素图的EMD距离）。基于此研究结果，所构建的静态手势识别算法，对训练数据依赖度低，同时识别精度高。

在五个公开数据集上，与多个最先进算法进行比较，均取得了最好的识别准确率（99.7%, 99.4%, 97.9%, 96.6%, 97.4%）。同时，本研究设计了一种用三维卷积网络提取动态手势的短时空时特征的网络结构，结合时间卷积网络和时域注意力机制，提出了新的短时时间卷积网络模型用于动态手势识别。提出的模型能够很好的分析动态手势的时域信息，在VIVA和NVGesture这两个公开数据集上，针对不同类型的数据，取得了与最新算法相当或更高的识别精度(91.54%, 86.10%, 86.21%, 86.93%)。

在提出的识别算法的基础上，本研究通过三维打印制造了机械手，并实现了两个实际应用1) 五指机器人灵巧手的镜像操控和2) 三维场景漫游。本研究对静态和动态手势识别从方法到系统搭建进行细致而全面的研究，对基于手势的人机交互系统所需要解决的问题进行了理论探索，有着重要的科学意义和应用前景。

2-4路360度环视技术

Tue, 01 Nov 2016 00:00:00 +0000

参与“北大深研院”和“深国科”校企合作项目

随着经济社会的发展，汽车越来越普及，人们对于汽车的安全性要求也随之提高。汽车的安全性能提高不仅有利于驾驶员、乘客，也间接地对城市的道路交通状况有帮助。2-4路360度环视技术作为驾驶员驾车的辅助技术，给驾驶员一个新的视角：高空鸟瞰。通过高空鸟瞰的视角对于车辆四周360度环绕有非常清楚的认识，进而可以帮助驾驶员更好的分析、判断路况，特别是在倒车入库、低速行车过程中，360度环视技术可以显著提高行车安全性。

通过安装在车身上的2-4个鱼眼摄像头，获得前后左右2-4个方向的图片。对于这2-4个图片进行鱼眼矫正、视角转换、图像色差处理、环视合成这2-4个步骤，得到最终的环视图并显示在驾驶员的屏幕上，辅助驾驶员判断车子附近的情况。目前以opencv等开源的图像库为基础，构建、优化我们的360度环视系统。在此技术基础上，可以引入更多技术：图像显示方面，把2D显示转换为3D；速度方面：通过GPU加速计算，使得每一秒处理的图片更多，使得环视系统更有实时性，这些是我们增强360度环视系统的方向。