文章目录

Datawhale学习笔记-飞桨AI-Task06:模型优化:从结构、性能、训练、设计方面优化模型

由 天空David 发布

写在开篇说的太对了:开源很多,拒绝拿来主义,需要懂得如何优化模型
如计算机视觉领域有:场景重构、对象检测、事件检测、视频追踪、对象识别、三维姿态估计、运动姿态估计、图像修复等,每一个领域都在应用深度学习模型来解决实际的问题。
1.模型结构优化
基于深度和参数量、基于宽度和多尺度、基于残差连接
2.模型性能优化
基于不规则卷积、基于注意力机制、基于Transformer
3.模型训练优化
模型量化:如将浮点型存储转化为8bit、4bit、2bit存储时
模型剪枝:很多神经网络模型都是过参数化,有很多冗余信息,可以采用适当的方法删除(剪枝策略)
知识蒸馏(模型蒸馏):量化、剪枝都是从性能方面优化,而知识蒸馏可以直接使用一个很小的网络,得到更好的精度。知识蒸馏的目的就是保证小模型在参数量不变的情况下,得到比较大的性能提升,甚至获得与大模型相似的精度指标。
4.模型自动搜索
神经网络结构自动搜索:给定数据集输入和基本配置,它就能够针对该数据集找到最适合的神经网络结构,并且给出最佳的超参数。
其中一种实现方法:使用PaddleSlim框架中SANAS方法

常用工具分享:
skimage:图像处理和计算机视觉算法的集合工具包
opencv:图像处理和计算机视觉算法的集合工具包
imgaug:图像数据增强工具
NumPy:科学计算基础软件包,可以存储和处理大型矩阵及其运算,最常用的科学计算库之一
SciPy:科学计算核心库,基于NumPy;主要有助于解决线性代数、概率论和积分计算等任务
Pandas:提供诸多高级数据结构和分析工具,适用于绝大多数数据类竞赛
Scikit-learn:基于NumPy和SciPy的数据处理库,最常见的机器学习和数据挖掘任务算法工具之一
Albumentations:图像数据增强工具
Augmentor:图像数据增强工具
Matplotlib:创建二维图表和图形库,目前很多流行的绘图库都是基于它构建(例如seaborn)
VisualDL:飞桨可视化分析工具,拥有丰富的图表和图形,为飞桨训练提供最直观地可视化帮助,进而实现高效模型优化
paddledetection, paddleclas, paddleseg, mmdetection, detectron等:各大平台开源的快速上手的训练框架


暂无评论

发表评论