文章目录

Datawhale学习笔记-飞桨AI-Task04:理论基础:深度学习神经网络算法的基本原理

由 天空David 发布

使用深度学习的好处——降低对专业知识的边际依赖
传统方法:人工特征提取+分类器
当前方法:具备自动从原始数据中提取模式的能力

深度学习面临的挑战——语义鸿沟
图像的底层视觉特性和高层语义概念之间的鸿沟:相似的视觉特性,具有不同的语义概念。相似的语义概念,具有不同的视觉特性。

步骤:
Step1:建立模型
选择什么样的网络结构
选择多少层数,每层选择多少神经元
激活函数:可以增强网络的表达能力,使用激活函数将“线性函数”转化为“非线性函数”
Step2:损失函数
常用损失函数:平方误差(L2,L1为最小绝对值偏差LAD)、交叉熵
Step3:参数学习
寻找模型参数使总损失达到最小(梯度下降法)

深度全连接模型不足:模型参数太多
则可以建立卷积神经网络结构,三大特性(减少网络参数,加快训练速度):局部连接、权重共享、下采样
卷积核中的参数在训练过程中学习,多个卷积核可以提取图像的多种特征。(减少了参数量)
多通道卷积:对feature maps继续进行卷积操作
Pooling:通过下采样缩减feature map尺度。常用max pooling和average pooling
信息量:衡量某个具体时间发生所带来的信息,信息量的大小就是这个信息消除不确定性的程度。信息量的大小与信息发生的概率成反比
信息熵:所有可能发生事件所带来的信息量的期望,信息熵越大,代表事物越具不确定性。
交叉熵:主要用于衡量估计值与真实值之间的差距


暂无评论

发表评论