最佳AI和机器学习研究论文

随着AI行业发展如此之快，机器学习从业者很难找到时间来策划，分析和实施正在发表的新研究。为了帮助您快速掌握最新的ML趋势，我们将介绍我们的研究系列，其中我们整理2019年的关键AI研究论文并以易于理解的要点格式对其进行总结。

我们将从最重要的10篇AI研究论文开始，这些论文代表了最新的研究趋势。这些论文将为您提供有关神经网络体系结构，优化技术，无监督学习，语言建模，计算机视觉等方面的研究进展的广泛概述。我们已根据技术影响，专家意见和行业好评选择了这些研究论文。当然，还有更多的研究值得您注意，但是我们希望这将是一个好的起点。

我们还将发布自然语言处理，对话式AI，计算机视觉，强化学习和AI伦理方面的前十大关键研究论文列表。

神经网络修剪技术可以将经过训练的网络的参数数量减少90%以上，减少存储需求并提高推理的计算性能，而不会影响准确性。但是，当代的经验是，修剪产生的稀疏架构从一开始就很难进行训练，这同样会提高训练效果。

我们发现标准的修剪技术自然会发现子网，这些子网的初始化使它们能够有效地进行训练。根据这些结果，我们阐明“彩票假设”：密集的，随机初始化的前馈网络包含子网（“中奖彩票”），这些子网经过单独训练后，可达到与原始网络类似的测试精度迭代次数。我们发现中奖的彩票已经赢得了初始彩票：它们的连接具有初始权重，使培训特别有效。

我们提出了一种识别中奖彩票的算法，以及一系列支持彩票假说和这些偶然初始化的重要性的实验。我们始终发现中奖票证的大小不到MNIST和CIFAR10的几种全连接和卷积前馈体系结构的大小的10-20%。超过此大小，我们发现的中奖彩票比原始网络学习得更快，并且达到更高的测试准确性。