面向高效视频异常检测的跨架构跨模态知识蒸馏方法研究

浙江省自然科学基金 探索项目

本项目旨在构建新型跨架构、跨模态知识蒸馏框架，既提升传统卷积神经网络（CNN）性能，又基于人工神经网络（ANN）与RGB视频数据，探索并增强脉冲神经网络（SNN）在视频监控异常检测中的表现。项目借助 Transformer 的高性能特征提取能力（如 CLIP），通过引入可学习提示Token及模型结构重参数化技术，强化CNN表征能力，实现双向匹配的高效跨架构知识蒸馏。针对高动态视觉传感器（DVS）模态的时间步特性，构建其异常事件数据集，在数据层采用混合增强并引入模态判别学习，利用RGB数据流提升SNN基础性能。同时，在特征层面实现时间步匹配，基于信息瓶颈理论完成关键信息自适应匹配，通过压缩ANN（教师网络）与SNN（学生网络）的信息表示，仅提取核心部分进行交叉蒸馏，利用其稀疏性提升SNN的学习效率与泛化能力。项目最终将成果部署于国产化 AI 边缘计算及类脑计算平台，验证实际应用中的有效性与实时性。通过这些研究，项目不仅能推动知识蒸馏相关技术的发展，也为类脑计算上的智慧监控等领域的应用提供了新的可能性。