Uber在开源深度学习方面的卓越表现

人工智能已经成为一种非典型的技术趋势。在传统的技术周期中，创新通常始于初创公司试图颠覆行业的现有企业。就人工智能而言，该领域的大部分创新来自于谷歌、脸书、优步或微软等公司的大型企业实验室。这些公司不仅在令人印象深刻的研究方面处于领先地位，而且还定期开放源代码，以简化人工智能技术的采用。

在这种背景下，优步已经成为当前生态系统中开源人工智能技术最活跃的贡献者之一。在短短几年的时间里，优步定期在人工智能生命周期的不同领域开展开源项目。今天，我想回顾一下我最喜欢的优步的几个顶级机器学习开源项目。

Ludwig：无代码机器学习模型的工具箱

Ludwig是一个基于TensorFlow的工具箱，无需编写代码即可训练和测试深度学习模型。从概念上讲，Ludwig是根据五个基本原则创建的：

• 无需编码：无需编码技能即可训练模型并将其用于获取预测。
• 通用性：一种新的基于数据类型的深度学习模型设计方法，使工具可以跨许多不同的用例使用。
• 灵活性：经验丰富的用户对模型的建立和训练具有广泛的控制权，而新用户则会发现它易于使用。
• 可扩展性：易于添加新的模型架构和新的特征数据类型。
• 可理解：深度学习模型内部通常被认为是黑盒子，但是我们提供了标准的可视化来理解它们的性能并比较它们的预测。

使用Ludwig，数据科学家可以通过简单地提供一个CSV文件来训练一个深度学习模型，该文件包含了训练数据以及一个包含模型输入和输出的YAML文件。利用这两个数据点，Ludwig执行一个多任务学习例程，同时预测所有输出并评估结果。在幕后，Ludwig提供了一系列的深度学习模型，这些模型可以不断地进行评估，并可以在最终的架构中进行组合。

Pyro：一种原生概率编程语言

Pyro是由优步人工智能实验室发布的一种深度概率编程语言（PPL）。Pyro建立在PyTorch之上，并基于以下四个基本原则：

• 通用的：Pyro是一个通用的PPL-它可以表示任何可计算的概率分布。即从使用迭代和递归(任意Python代码)的通用语言开始，然后添加随机抽样、观察和推理。
• 可拓展的：Pyro可以扩展到大型数据集，并且比手工编写的代码开销更小。即通过构建现代的黑盒优化技术，使用小批量数据进行近似推理。
• 最优的：Pyro是敏捷的和可维护的。即Pyro是用一个强大的、可组合的抽象的小内核实现的。只要有可能，就将繁重的工作委派给PyTorch和其他库。
• 灵活的：Pyro的目标是在你需要时实现自动化和控制。即Pyro使用高级抽象来表达生成和推理模型，同时允许专家轻松定制推理。

Manifold：用于机器学习模型调试和解释的工具集

Manifold是优步的技术，用于大规模调试和解释机器学习模型。有了Manifold，优步工程团队希望实现一些非常切实的目标：调试机器学习模型中的代码错误；单独或与其他模型比较，了解一个模型的优缺点；比较和集成不同的模型；将通过检查和性能分析收集到的见解合并到模型迭代中。为了实现这些目标，Manifold将机器学习分析过程分为三个主要阶段：检查，解释和改进。

Plato:大规模构建会话智能体的框架

优步建立了Plato研究对话系统(PlatoResearchDialogueSystem,PRDS)，以应对构建大规模会话应用的挑战。从概念上讲，PRDS是一个用于在不同环境中创建、训练和评估人工智能会话智能体的框架。从功能的角度看，PRDS包括以下组件：

• 语音识别（将语音转录为文本）
• 语言理解（从该文本中提取含义）
• 状态跟踪（有关到目前为止所说的和完成的操作的汇总信息）
• API调用（搜索数据库，查询API等）
• 对话政策（生成代理响应的抽象含义）
• 语言生成（将抽象含义转换为文本）
• 语音合成（将文本转换为语音）

Horovod：大规模深度学习训练框架

Horovod是社区中非常受欢迎的优步机器学习堆栈之一，并已被DeepMind和OpenAI等AI巨头的研究团队采用。从概念上讲，Horovod是用于大规模运行分布式深度学习训练工作的框架。Horovod利用诸如OpenMPI之类的消息传递接口栈来使训练作业能够在高度并行和分布式的基础架构上运行，而无需进行任何修改。

优步人工智能研究：人工智能研究的常规资源

最后，我们要特别提到的是优步对人工智能研究的积极贡献。优步的许多开源发布都受到了他们研究工作的启发。优步人工智能研究网站是一个非凡的论文目录，突出了优步在人工智能研究方面的最新成果。这些是优步工程团队的一些贡献，它们经常被人工智能研究和开发社区采用。随着优步继续大规模实施人工智能解决方案，我们应该会持续看到新颖且创新的框架，这些框架可以简化数据科学家和研究人员对机器学习的采用。