• 为了保证你在浏览本网站时有着更好的体验,建议使用类似Chrome、Firefox之类的浏览器~~
    • 如果你喜欢本站的内容何不Ctrl+D收藏一下呢,与大家一起分享各种编程知识~
    • 本网站研究机器学习、计算机视觉、模式识别~当然不局限于此,生命在于折腾,何不年轻时多折腾一下

Keras过拟合相关解决办法

bigdata admin 来源:松菇 3个月前 (09-18) 381次浏览 0个评论 扫描二维码

这种过拟合的处理称为正则化。 我们来学习一些最常用的正则化技术,并将其应用于实践中。

1.缩小神经网络的规模

防止过拟合最简单的方法是缩小模型的规模:模型中的可学习的参数数量(由层数和每层节点数决定)。 在深度学习中,模型中参数的数量通常被称为模型的能力。 直观地说,拥有更多参数的模型具有更强的记忆能力,甚至可以可以轻松地学习训练样本与其目标之间的类似字典的完美对应关系 –一种没有任何泛化能力的对应。但是这样的模型对于分类新的数字样本却没用,新的样本无法在这个“字典”找到它对应的类别。 一定要记住这一点:深度学习模型倾向于适应训练数据,但真正的挑战是泛化,而不是只对训练集样本适用就 OK。

另一方面,如果网络的记忆资源有限(即参数较少),就不能轻易学习这种映射;因此,为了最小化损失,它必须要压缩信息 – 保留最有用的信息。因此,请记住,模型应该有足够的参数。不幸的是,没有一个公式可以用来确定神经网络正确的层数和层数所含的正确的节点数。我们必须评估一系列不同的网络架构(当然,在我们的验证集上,而不是我们的测试集上),以便为我们的数据找到合适的模型。找到合适的模型大小的一般过程是从相对较少的隐藏层和节点开始,逐渐增加隐藏层的节点数或添加新的层,直到看到验证集损失下降。

让我们在电影评论分类网络上试试这个。原来的网络是下面显示的:

from keras import models
from keras import layers

original_model = models.Sequential()
original_model.add(layers.Dense(16, activation='relu', input_shape=(10000,)))
original_model.add(layers.Dense(16, activation='relu'))
original_model.add(layers.Dense(1, activation='sigmoid'))

original_model.compile(optimizer='adam',
                       loss='binary_crossentropy',
                       metrics=['acc'])

让我们尝试用这个更小的网络:

model = models.Sequential()
model.add(layers.Dense(4, activation='relu', input_shape=(10000,)))
model.add(layers.Dense(4, activation='relu'))
model.add(layers.Dense(1, activation='sigmoid'))

图 1.1 显示了原始网络和较小网络的验证损失的比较。点是较小网络的验证损失值,十字是原来较大的网络(记住,验证集损失越小表示模型越好)。

图 1.1 模型大小对验证集损失的影响:尝试一个更小的模型

正如你所看到的,较小的网络在六个 epoch 而不是三个 epoch 之后才出现了过拟合。并且从过拟合开始,其性能变差得也更慢些。

现在,为了对比,让我们使用一个规模更大的网络 – 远远超过了问题的需求:

bigger_model = models.Sequential()
bigger_model.add(layers.Dense(512, activation='relu', input_shape=(10000,)))
bigger_model.add(layers.Dense(512, activation='relu'))
bigger_model.add(layers.Dense(1, activation='sigmoid'))

bigger_model.compile(optimizer='rmsprop',
                     loss='binary_crossentropy',
                     metrics=['acc'])
图 1.2 模型大小对验证集损失的影响:尝试一个更大的模型

图 1.2 显示了与原始网络相比更大的网络模型在验证集的表现。点是较大网络的验证集损失值,十字是原始网络。仅仅一个 epoch 后,更大的网络立即开始过拟合,其验证集损失值也是杂乱的。

同时,图 1.3 显示了两个网络的训练集损失值随 epoch 的变化情况。正如你所看到的,更大的网络很快就会把训练集损失训练到接近零。 网络越大,训练数据学习的速度就越快(使训练损失很快降低),但是也更容易过拟合(导致训练和验证损失之间的巨大差异)。

图 1.3 模型大小对训练集损失的影响:尝试一个更大的模型

2.权重正则化技术

你可能熟悉奥卡姆剃刀原则:给出两个解释,最可能正确的解释是更简单的一个 – 假设较少的解释。 这个原则也适用于神经网络的模型: 简单的模型比复杂的泛化能力好

在这种情况下,一个简单的模型指的是模型:参数值的分布具有较小的熵(或者参数较少)。 因此,减少过拟合的一种常见方法是通过使权重只取小值来限制网络的复杂性,这使得权重值的分布更加规整。 这就是所谓的权重正则化,这是改变网络的损失函数来实现的,在原来的损失函数基础上增加限制权重的成本。这个成本有两种:

  • L1 正则化 – 所增加的成本与权重系数的绝对值成正比(权重的 L1 范数),权重稀疏化。
  • L2 正则化 – 所增加的成本与权重系数(权重的 L2 范数)的平方成正比。L2 正则化在神经网络中也称为权重衰减。 不要让不同的名字混淆你:权重衰减在数学上与 L2 正则化相同。

在 Keras 中,通过将选择的权重正则化作为关键字参数传递给网络层来增加正则成本。 让我们在电影评论分类网络中添加 L2 权重正则化。

from keras import regularizers
model = models.Sequential()
model.add(layers.Dense(16, kernel_regularizer=regularizers.l2(0.001),
activation='relu', input_shape=(10000,)))
model.add(layers.Dense(16, kernel_regularizer=regularizers.l2(0.001),
activation='relu'))
model.add(layers.Dense(1, activation='sigmoid'))

l2(0.001)意味着该层的权重矩阵中的每个系数将增加 0.001 * weight_coefficient_value 到网络的总损失。 请注意,由于这种惩罚只是在训练时间增加的,这个网络的损失在训练时比在测试时间要高得多。图 2.1 显示了 L2 正则化惩罚的影响。正如你所看到的那样,即使两个模型具有相同数量的参数,具有 L2 正则化的模型(点)也比参考模型(十字)更能减少过拟合。

图 2.1 L2 权重正则化对验证集损失的影响

除了 L2 正则化,你还可以使用以下 Keras 权重正则方法。

from keras import regularizers
regularizers.l1(0.001) # L1 正则化
regularizers.l1_l2(l1=0.001, l2=0.001) # 同时进行 L1 和 L2 正则化

3.Dropout

Dropout 是最有效和最常用的神经网络正则化技术之一。Dropout 在网络层训练期间随机失活(设置为零)该层的许多输出特征(节点)。 假设输入样本经过一个隐藏层后输出一个向量[0.2, 0.5, 1.3, 0.8, 1.1]。 在该层应用了 Dropout 之后,这个向量将出现几个为 0 的特征值:例如[0, 0.5, 1.3, 0, 1.1]。 Dropout 的值表示节点被随机失活的概率,通常设置在0.2 到 0.5之间。在测试时间,则不再用 dropout 了,也就是说测试时所有的节点都要保留。这样就造成了测试与训练输出比例不匹配,测试时隐藏层活跃节点更多。因此,网络层的输出特征(节点)要乘上与 Dropout 率相等的因子来缩小,达到了类似 L2 正则化权重衰减的目的。因此 Dropout 在过程上与 L1 正则化相似,在最终结果上则与 L2 正则化相似。

假设一个网络层的输出 layer_output 的 shape 为(layer_size,features)。 在训练的时候,我们随机地将矩阵中的一小部分值置零:

# 在训练时,随机失活 50%的节点
layer_output *= np.random.randint(0, high=2, size=layer_output.shape) 

在测试时,我们乘以随机失活率缩小输出比例。在这里,我们缩小了 0.5(因为我们之前随机失活了一半的节点单元):

# 测试时
layer_output * = 0.5

注意,这个过程可以在训练时通过两个操作实现,并且在测试时保持输出不变,这在实践中通常是这样实现的(见图 4.8):

# 训练时
layer_output *= np.random.randint(0, high=2, size=layer_output.shape)
layer_output /= 0.5 # 注意,在这种情况下,我们扩大了输出,而不是缩小
图 3.1 Dropout 在训练时应用于激活矩阵.。在测试时,激活矩阵不变。

这种技术可能看起来很奇怪和也很随意。为什么这会减少过拟合? Hinton 说,他是受到银行所使用的防欺诈机制的启发。他说:“我去了我的银行。 出纳员不断变化,我问他们其中一个为什么要这样呢。 他说他不知道,他们就是这样来回换。我想这一定是因为欺诈机制需要员工之间的合作。 这使我意识到,在每个网络层中随机删除一个不同的神经元将防止“欺诈”,从而减少过度拟合。核心思想是,在一个图层的输出值中引入噪声可以打破特定模式 Hinton 所称的欺诈),如果没有噪声存在,网络将开始记忆特定模式。

在 Keras 中,我们可以通过在激活层输出之后添加一个 Dropout 层实现 Dropout:

model.add(layers.Dropout(0.5))

在 IMDB 例子中添加两个 Dropout 层,看看它们在减少过拟合方面的表现:

dpt_model = models.Sequential()
dpt_model.add(layers.Dense(16, activation='relu', input_shape=(10000,)))
dpt_model.add(layers.Dropout(0.5))
dpt_model.add(layers.Dense(16, activation='relu'))
dpt_model.add(layers.Dropout(0.5))
dpt_model.add(layers.Dense(1, activation='sigmoid'))

dpt_model.compile(optimizer='rmsprop',
                  loss='binary_crossentropy',
                  metrics=['acc'])

由图 3.2 显然可以得到:Dropout 在 4 个 epoch 才出现过拟合,而原来的网络在三个 epoch 就出现过拟合。并且在出现过拟合后,验证集损失的增长速度明显比原来网络缓慢。

图 3.2 Dropout 对网络过拟合的影响

总结一下,神经网络中防止过拟合的常用方法:

  • 获得更多的训练数据
  • 缩小网络规模
  • 权重正则化
  • Dropout

Deeplearn, 版权所有丨如未注明 , 均为原创丨本网站采用BY-NC-SA协议进行授权 , 转载请注明Keras 过拟合相关解决办法
喜欢 (0)
admin
关于作者:

您必须 登录 才能发表评论!