Skip to content Skip to footer

神经网络的类型:卷积神经网络

卷积神经网络 (CNN) 属于一类深度神经网络,专门用于处理和解释视觉数据,例如图像和视频。它们在图像分类、对象检测和图像分割等任务中表现出色。卷积神经网络由类似于标准人工神经网络的不同层组成,这些层是:
1.卷积层 2.池化层 3.全连接层

4.Dropout
5.激活函数

image-20231226222252937

  1. 卷积层:
    卷积
    神经网络 (CNN) 中的初始层负责从输入图像中提取各种特征。该层采用卷积操作,其中大小为 MxM 的滤波器与输入图像卷积。通过在输入上滑动此滤光片,可以根据滤光片大小计算滤光片与图像相应部分之间的点积。
    结果称为特征图,提供对角和边缘等图像特征的见解。然后,将此特征图转发到后续图层,以了解其他图像特征。卷积层保留了像素之间的空间关系,其结果被传递到 CNN 中的下一层。这个过程对于网络中的有效特征提取和后续学习至关重要。
    例如,卷积层 (CONV) 利用滤波器执行卷积操作,同时根据其尺寸扫描输入 I:

image-20231226222313982

  1. 池化层**:

**在卷积层之后,典型的序列涉及池化。层。其主要目的是缩小卷积特征图的大小,通过限制层之间的连接来降低计算成本。该层在每个特征图上独立运行,并采用各种类型的池化操作来汇总卷积层生成的特征。
“最大池化”从特征图中选择最大的元素,“平均池化”计算已定义图像部分中元素的平均值,“总和池化”计算指定部分中元素的总和。池化层充当卷积层和全连接 (FC) 层之间的链接。
该 CNN 模型概括了卷积层识别的特征,使网络能够自主识别这些特征。因此,这不仅有助于特征识别,还可以减少网络内的计算负载。

image-20231226222332514

  1. 全连接层**:

全**连接(FC)层包括神经元、权重和偏差,连接不同层之间的神经元。这些层通常位于输出层之前,构成了 CNN 架构的最后阶段。

image-20231226222356222

在 FC 层中,来自前几层的输入图像被拼合并定向到 FC 层。展平向量在应用数学函数的几个 FC 层中进行运算。此阶段启动分类过程。连接两层是有益的,因为两个全连接层的性能优于单个连接层。这些CNN层减少了对人工监督的需求。

**4. Dropout 层:

**将所有特征连接到全连接 (FC) 层可能会导致训练数据集中的过度拟合。当模型在训练数据上表现异常出色,但在处理新数据时遇到困难时,就会发生过拟合。
为了解决这个问题,采用了一个dropout层。该层在训练期间从神经网络中随机删除一部分神经元,从而减小模型的大小。例如,当 dropout 为 0.3 时,30% 的节点会随机退出。

image-20231226222410210

CNN 有和没有辍学。

使用 dropout 可防止过拟合和简化网络,从而提高机器学习模型的性能。它通过在训练过程中去除神经元来实现这一点。

**5.激活函数:

在CNN模型中,激活函数非常重要。它帮助模型理解和处理网络中不同事物之间的复杂关系。基本上,它决定了在网络处理数据时应该使用哪些信息。
激活函数为网络带来了非线性方面。有一些常用函数,如 ReLU、Softmax、tanH 和 Sigmoid,每个函数都有特定的用途。对于进行二元分类的 CNN 模型,Sigmoid 和 Softmax 是不错的选择。如果它处理多个类,通常使用 Softmax。
把激活函数想象成神经元的红绿灯。他们决定神经元是否应该“点亮”,帮助模型弄清楚哪些信息对于使用数学进行预测很重要。
让我告诉你 2 个最常用的激活函数:
a.* 整流线性单元:整流线性单元 (ReLU) 的作用是通过对数据的所有元素应用特定的数学运算来为网络引入非线性特性。简单来说,它可以帮助神经网络捕获数据中更复杂的模式和关系,增强其学习和做出准确预测的能力。它有 2 个主要变体:
-Leaky ReLU
:Leaky* ReLU 就像是典型 ReLU 激活函数的升级版。它改变了负输入的处理方式——它不是输出零,而是给出一个小的正值乘以输入。这个小的正值保持不变。Leaky ReLU 的主要好处是它有助于防止“垂死的 ReLU”问题,即神经元在训练期间会变得不活跃并停止学习。

-ELU(Exponential Linear Unit):是一种不同类型的激活函数,用于修复 ReLU 和类似函数中出现的问题。在 ELU 中,对于正输入,它的工作方式类似于 ReLU。但是,对于负输入,它给出的非零输出会缓慢接近于零。它还包括一个非常负输入的指数项,有助于在训练期间捕获更多信息。
ELU的优点是它有助于解决梯度消失问题,在某些情况下使学习速度更快并提高整体表现。

image-20231226222427285

ReLU 激活函数的 3 种变体之间的比较。

softmax 步骤就像是逻辑函数的更广泛版本。它采用一组分数 (x),并使用架构末尾的 softmax 函数将它们转换为一组输出概率 (p)。它可以在数学上定义如下:

image-20231226222437349

本文讨论了卷积神经网络 (CNN) 如何专门用于视觉数据并在图像分类等任务中表现出色。该架构包括卷积层、池化层、全连接层、Dropout 层和激活函数层。卷积层提取特征,池化层汇总特征,全连接层启动分类。Dropout 可减少过拟合,而 ReLU、Softmax 和 Sigmoid 等激活函数起着至关重要的作用。Leaky ReLU 以不同的方式处理负输入以防止“垂死的 ReLU”问题,而 ELU 则用指数项解决 ReLU 中的问题。softmax 步长将分数转换为输出概率。总体而言,了解这些组件可以增强 CNN 在视觉数据任务中的实现和优化。