郑瑜杰

郑瑜杰

硕士生

宁波大学

毕业去向:

华为技术有限公司,算法工程师

实习经历:

乐歌人体工学科技股份有限公司| LOCTEK, 实习生, 2022.08-2023.08

主要负责基于骨架检测的智能升降桌项目,该项目利用人体骨架检测技术,检测人体骨架关键点在三维空间中的位置,并根据这些关键点的位置和人体工学规则确定升降桌的升降高度,最后利用程序控制桌面自动升降至合适的高度,实现了完全的自动化与智能化。我们所设计的系统流程和工作内容如下:

  1. 利用双目相机采集用户的RGB图像
  2. 使用人体骨架检测模型PoseNet提取左右相机图像中的人体二维关键点坐标
  3. 根据左右关键点之间的视差计算每个关键点到相机的距离,从而得到人体的三维关键点坐标
  4. 进行坐标系的转换,将像素坐标系的坐标映射至世界坐标系,以统一人体关键点各个坐标的单位
  5. 根据人体关键点的三维坐标估算人体手臂夹角度数,若度数超过一定范围,则说明升降桌需要进行一定的调整以确保人体坐姿符合人体工学的要求

科研经历:

知识蒸馏

● 提出了基于师生能力匹配的离线蒸馏方法。通过在训练过程中将学生网络的卷积层扩展为多分支结构,以缩小容量差距。在训练结束后对学生模型的结构进行等价转换,以避免额外分支带来的推理开销。同时,引入置信度匹配策略以自适应地缩放师生网络的 logits 来缩小置信度差距。

相关论文Enlightening the Student in Knowledge Distillation 已被 IEEE International Conference on Acoustics, Speech and Signal Processing 2023 (ICASSP 2023, CCF B)接收, 代码地址:https://github.com/YujieZheng99/KDrefine

● 提出了基于全网络-子网络能力匹配的自蒸馏方法。通过结构扩张策略将原始网络扩展为一个多分支的结构,以构建一个更强大的全网络作为教师,并在训练结束后实现结构的等价转化。在训练过程中,通过随机丢弃教师的额外分支来生成多样化的子网络作为学生。同时,提出了一种随机特征混合策略,通过一个随机插入到教师与学生网络中间层的特征混合模块,将知识蒸馏过程引入到混合特征空间中。

相关论文Restructuring the Teacher and Student in Self-Distillation 已被 IEEE Transactions on Image Processing (TIP , SCI-1区)接收, 代码地址:https://github.com/YujieZheng99/RSD

研究兴趣
  • 网络轻量化
教育经历
  • 工学硕士,计算机技术, 2021-2024

    宁波大学

  • 理学学士,信息与计算科学, 2017-2021

    浙江工业大学

最新