毕业去向:
华为技术有限公司,算法工程师
实习经历:
乐歌人体工学科技股份有限公司| LOCTEK, 实习生, 2022.08-2023.08
主要负责基于骨架检测的智能升降桌项目,该项目利用人体骨架检测技术,检测人体骨架关键点在三维空间中的位置,并根据这些关键点的位置和人体工学规则确定升降桌的升降高度,最后利用程序控制桌面自动升降至合适的高度,实现了完全的自动化与智能化。我们所设计的系统流程和工作内容如下:
科研经历:
知识蒸馏
● 提出了基于师生能力匹配的离线蒸馏方法。通过在训练过程中将学生网络的卷积层扩展为多分支结构,以缩小容量差距。在训练结束后对学生模型的结构进行等价转换,以避免额外分支带来的推理开销。同时,引入置信度匹配策略以自适应地缩放师生网络的 logits 来缩小置信度差距。
相关论文Enlightening the Student in Knowledge Distillation 已被 IEEE International Conference on Acoustics, Speech and Signal Processing 2023 (ICASSP 2023, CCF B)接收, 代码地址:https://github.com/YujieZheng99/KDrefine
● 提出了基于全网络-子网络能力匹配的自蒸馏方法。通过结构扩张策略将原始网络扩展为一个多分支的结构,以构建一个更强大的全网络作为教师,并在训练结束后实现结构的等价转化。在训练过程中,通过随机丢弃教师的额外分支来生成多样化的子网络作为学生。同时,提出了一种随机特征混合策略,通过一个随机插入到教师与学生网络中间层的特征混合模块,将知识蒸馏过程引入到混合特征空间中。
相关论文Restructuring the Teacher and Student in Self-Distillation 已被 IEEE Transactions on Image Processing (TIP , SCI-1区)接收, 代码地址:https://github.com/YujieZheng99/RSD
工学硕士,计算机技术, 2021-2024
宁波大学
理学学士,信息与计算科学, 2017-2021
浙江工业大学