人工智能对计算机系统和建筑的挑战

百度是中国深度学习应用的先锋。早在2012年初，百度就开始在语音识别中大规模应用深度学习算法，并取得了很好的效果。那年年底，百度首席执行官李彦宏宣布成立公司的第一个研究所：百度深度学习研究所。当时，世界上只有少数公司，如谷歌和微软，公开宣布在深度学习和人工智能领域进行战略资本投资。

经过四年的发展，百度的深度学习技术已经渗透到百度的各种产品中，如网络搜索、广告点击率预测模型、百度杀毒软件等。深度学习技术极大地改善了百度产品的用户体验。例如，经过四年的训练，百度的语音识别率已经从80%提高到今天的96%。

除了在各种产品线中率先引入前沿深度学习算法，百度在人工智能应用中还有一个长期布局：

1.建立百度研究院，拥有硅谷人工智能实验室、北京深度学习实验室和北京大数据实验室三个前沿实验室。

2.2014年，人工智能领域最负盛名的权威学者吴恩达加入了百度。

3.同年，一个大数据引擎在百度技术开放日发布，向外界开放大数据和人工智能能力。

4.在百度科技节上，百度高级副总裁王锦描述了“万物皆智能”的愿景，展示了百度迎接万物时代的技术布局。

5.2015年，“学位机密”在百度世界大会上发布。保密是一切智能的集中体现，它可以成为人们生活中的一个智能秘书。它可以通过语音对话或图像与人自然交流，甚至无需事先互动。只有依靠历史信息、传感器信息和周围环境的变化才能判断一个人的需求。如果你饿了，它可以帮你点食物；如果你生病了，你可以告诉你该吃什么药；如果明天下雨，它会提醒你带把伞；如果你需要旅行，它将帮助你预订酒店、机票等。然而，这些看似普通的“秘书”服务需要非常先进的人工智能技术来支持，才能得到很好的利用。

人工智能对计算机系统和体系结构的挑战；

人工智能的应用包括云(数据中心)和终端(智能设备)。除了培训(离线培训)，云还提供在线服务。培训是指使用培训数据，选择合适的培训方法和培训模型。在线服务是指使用经过培训的模型来响应用户的在线请求。终端部分也是人工智能的强大需求。根据“一切事物都是智能的”的愿望，许多终端设备，如智能辅助驾驶、无人驾驶汽车、智能相机、物联网等。可以运行人工智能算法并智能地响应外部请求。

深度学习的离线培训是工业界和学术界研究和关注最多的领域。随着深度学习的兴起，学术界和工业界出现了许多新的深度学习算法和应用设计系统，如谷歌提出的参数服务器。其他人通过借鉴这一思想，根据不同的应用场景设计了不同的系统。

在体系结构方面，深度学习培训主要基于高速互联网，采用GPU和infiniband。图形处理单元用于进行大规模矩阵计算，然后利用无线带宽高速网络更新分布参数。这种结构在工业中被广泛使用。许多专有服务器通常有八个图形处理单元，这些服务器通过无线带宽相互连接。许多论文都在研究如何利用服务器中八个图形处理单元的局部性、具有无限带宽的远程直接内存访问(RDMA)和图形处理单元的计算能力来完成完整的分布式深度学习训练任务。目前，图形处理单元加无限带宽的硬件架构更适合深度学习训练和工业规模应用。这是因为这两种硬件的性能都很好，而且有很多供应商，所以很容易获得产品和技术支持。

在线服务，无论是行业还是学术界，公共信息都比较少。只有像百度这样由技术驱动的大型互联网公司才有机会大规模部署人工智能服务，这些公司为了保密会推迟核心技术的发布。至于人工智能的终端设备，虽然媒体已经勾画出了这一领域的宏伟蓝图，但事实上，成功的大规模应用并不多，因此业界和学术界已经减少了这一部分的公开性。

实际上，无论是离线训练、在线服务还是智能设备，都有一些常用的深度学习算法，如深度神经网络(DNN)、递归神经网络(RNN)/长短期记忆(LSTM)和卷积神经网络(美国有线电视新闻网)。这些算法有一些共同之处，如(1)它们都是计算和内存访问密集型的；(2)主要计算算子有矩阵运算、卷积、激活函数等。(3)对于离线训练，考虑到分布式实现，节点间的通信带宽和延迟非常高。

从大规模部署应用程序的角度来看，无论是哪种类型的应用程序，衡量体系结构质量的最终标准是效率，包括能耗效率和成本效率。只有当这两个效率足够高时，体系结构才具有生命力。例如，对于嵌入式终端，通常需要考虑极端的能量效率和成本效率，有时甚至需要修剪算法并限制模型大小。对于数据中心，成本和功耗也是规模部署中首先要考虑的因素。

如今，当人们提到深度学习的硬件架构时，他们首先想到的是图形处理单元。这主要是因为，在易于购买的硬件中，图形处理单元确实可以提供更好的数学计算能力和内存访问带宽。然而，就能耗和成本效率而言，即使在数据中心使用，图形处理单元仍有很大的改进空间。因此，我们需要重新思考如何为人工智能的典型应用和算法设计一个新的通用架构。该架构不仅可以实现极高的能耗和成本效率，而且可以灵活扩展和扩展，轻松支持离线培训、在线服务和智能终端三种场景。