神经网络开始释放自己!这都是因为新的建筑搜

发布时间:2018-09-14 09:18:39

雷锋:雷锋字幕小组制作了一系列短片2分钟论文带您在零碎的时间里阅读尖端技术,了解人工智能领域的最新研究成果。

到目前为止,这并不是解决这一问题的第一种方法,但它无疑是艺术上的显著进步,它把神经网络结构表示为一个有机体,并且可以通过遗传算法编程。

正如两分钟的论文中所提到的,神经网络技术发展迅速,解决了十年前人们认为不可能解决的问题。正确的神经网络体系结构

对于一个典型的神经网络结构,我们至少需要知道网络中的层类型和数量以及每层所用神经元的数量。较大的神经网络可以通过学习解来解决复杂的问题。这样,事情变得简单,只要我们给出最大的p可能的神经网络,我们可以解决问题,并期待最好的结果。但如果你真的认为这是答案,它太果断了。

建立一个更大的神经网络是要付出代价的。它们需要更长的时间来训练,更糟糕的是,如果我们有一个过大的神经网络,我们将会遇到拟合问题。过拟合指的是学习算法本质上存储训练数据而不实际存储训练数据。因此,它的知识不适用于它没有见过的数据。

想象一下,一个有非凡才能的学生。他能够把课本上的所有东西都写下来,如果考试和书一样,这个学生会考得很好,但是即使考试稍有偏差,这个学生也会考得很差。人们喜欢称之为死记硬背,但这就是我。这种方法是任何学习方法都无法比拟的。一个较小的神经网络就像一个知识基础较少的学生。他们更倾向于选择一种做作业的方法,这会做得更好。这是过拟合的现象。这是许多现代学习算法的缺点。

使用L1、L2正则化或辍学法在一定程度上可以防止过拟合现象,这些方法通常很有帮助,但是都不是很有效。因此,虽然算法本身是一种学习算法,但由于某些原因,我们必须人工设计其网络结构。确实,当我们讨论一些结构时,事实上,它们明显优于其他结构。我们需要做长期的、重复的测试来解决结构误差,并且人工地找到最好的结构。

在这个图中,水平X轴表示演进步骤的数量,垂直Y轴表示随着时间推移架构的性能。对于许多经典的数据集,算法只是略逊于最佳的可用神经网络。
郑州大学远程教育
请仔细阅读这篇文章,并与最先进的神经网络和其他体系结构搜索方法进行比较。这篇文章中有许多可读的结果。重要的是要注意,这是初步的工作,并且在这个过程中仍然需要使用数百张图形卡。你知道神经网络是如何应用于AlphaGo的,它的计算成本将在一年多的时间内减少10倍。

源/双论文

Copyright 2009-2020 河南郑学 备案号:豫ICP备16029353号-4

办公室:0371-56792306 报名联系人:张老师 13603712410 微信/QQ:67769600(上班时间周一至周六)

地址:河南·郑州市二七区大学路与康复前街交叉口路西郑州大学南校区内。(大学路75号东门)