新知榜官方账号
2023-12-01 22:26:24
本文介绍了一些专家对深度学习模型提升额外性能的处理技巧,并提供在实际应用设置中使用这些技巧的观察点。
在理论中,一个较大的mini-batch尺寸有助于网络收敛到较好的最小值,最终得到较好的准确性。在实践中,由于GPU内存的原因,人们经常会在这里受阻。我们有两种方法可以应对这一挑战:(1).分布训练:将训练数据划分到多块GPU上。在每个训练阶段,会将批拆分到空闲的GPU。(2).在训练中改变批和图像尺寸:大量研究论文报告大批量广泛使用的部分原因是许多标准研究数据集的图像尺寸都不是很大。通过降采样训练图像得到。然后,你可以将更多的它们组合成一个批次。使用大批量+小图像,你应该能得到一些不错的结果。
模型微调研究报告并不总能告诉你全部情况。作者通常会在论文中给出他们的官方代码链接,这是一个学习算法比论文本身更好的资源!当您阅读代码时,您可能会发现他们遗漏了一些小的模型细节,而这些细节实际上造成了很大的准确性差异。我鼓励大家看一下研究论文的官方代码,这样你就可以看到研究人员用来获得结果的确切代码。
根据实际的应用和研究团队设置训练的不同,深度网络的训练方式往往不尽相同。知道如何正确地训练神经网络可以让你的准确率提高3-4%。这种技能,既需要来自于对深度网络的了解,也来自于一些简单的实践。不幸的是,大多数人不太重视训练,并期望网络神奇地给他们带来很棒的结果。请注意在最新研究中使用的具体训练策略。你会经常看到他们中的大多数不会仅仅默认为一个单一的学习率,而是使用像Adam或RMSProp这样的自适应方法采用动态的学习率。他们使用诸如热身训练、速率衰减和优化方法的组合来获得他们可能达到的最高准确率。
除非你在做前沿研究,试图打最先进的基础技术,否则转移学习应该是默认的实际的方法。迁移学习提供了一种既能加速训练又能提高准确性的简单方法。大量的研究和实践证据一致表明,迁移学习使模型比从头开始的训练更容易训练,并提高了准确性。唯一需要注意的事情是,要根据你的目标任务选择相关的网络进行转移学习。
数据增强是另外一种大幅提高准确率的方法。缩放,比如图像乘以图像像素的颜色或者亮度的值,可以使训练图像比原始图像更广泛的暴露在训练网络。它有助于解释这些变化,特别是,根据房间或天气的不同光照条件,这些在现实世界中变化非常频繁。另外一个技巧,裁剪正则化(CutoutRegularisation),在最新的ImageNet上广泛应用。通过对训练数据应用某种形式的遮挡,我们可以有效地调整我们的网络,使其更加具有鲁棒性。
相关工具
相关文章
相关快讯
推荐
中国首款3A游戏上线,《黑神话:悟空》出圈!
2024-08-21 13:46
盘点15款AI配音工具,短视频配音有救了!
2024-08-12 17:11
短视频文案没创意?10大AI写作工具来帮你!
2024-08-05 16:23
Midjourney发布V6.1版本,我已分不清AI和现实了!
2024-08-01 15:03
我发现了一款国产AI绘画神器,免费易上手!
2024-07-25 16:40
7位AI考生做今年高考题,能过一本线吗?
2024-07-19 17:17
世界上第一所AI学校来了,80亿人只需要1位老师?
2024-07-18 17:12
Sora首部AI广告片上线,广告从业者危险了!
2024-06-27 13:44
OpenAI与中国说拜拜,国产AI如何接棒?
2024-06-26 15:18
人与AI会产生爱情吗,专家发话了!
2024-06-17 17:28