机器学习框架的现状

以上事实折射出机器学习框架的当前状态:PyTorch
拥有研究市场,并且正在尝试扩展到行业领域;TensorFlow
试图在不牺牲太多生产力的情况下,在研究界中尽其所能。TensorFlow
目前在行业中根深蒂固,且行业发展较为缓慢,因此 PyTorch
对行业产生有意义的影响肯定还需要相当长时间。不过,从 TensorFlow 1.0 到
2.0 的过渡将存在一些困难,这也恰好为公司评估 PyTorch 提供了自然机遇。

Horace 认为,未来将取决于谁能够更好地回答以下问题:

研究人员的偏好会在多大程度上影响行业?当前的博士生开始毕业时,他们将携带
PyTorch 技能。关键在于这种偏好是否足够强大,以至于公司会出于招聘目的选择
PyTorch。另一种可能是,毕业生会创办基于 PyTorch 的创业公司吗?

TensorFlow 的 Eager 模式能否赶上 PyTorch 的可用性?TensorFlow Eager
受到性能/内存问题的严重困扰,Google 将在这方面花费大量工程精力。

PyTorch 可以多快达到生产状态?PyTorch
仍然有许多基本问题尚未解决:没有好的量化指标、不支持移动、服务问题等等。在这些问题解决之前,PyTorch
不会成为许多公司的选择。 它能否做出足够的改变?(最新消息:近期 PyTorch
宣布支持量化和移动技术,两者都仍处于试验阶段,表示着 PyTorch
在这方面终于有了重大进展。)

Google 在行业中的孤立会使自身受到伤害吗?Google 推动 TensorFlow
的主要原因之一是帮助其迅速发展的云服务。由于 Google 试图拥有整个 ML
垂直市场,这激励了与 Google 竞争的公司(微软、亚马逊、Nvidia
等),来支持唯一的替代机器学习框架。

最后,Horace
指出,不仅仅是快速发展的框架,机器学习研究本身也处于不断变化的状态。框架不仅会发生变化,而且
5
年内使用的模型/硬件/范例可能与我们今天所使用的一切大不相同。随着另一种计算模型的普及,也许
PyTorch 和 TensorFlow
之间的竞争将变得无关紧要。我们应当将焦点维持在机器学习本身上,无论是喜欢
TensorFlow 还是 PyTorch,试图使机器学习软件达到最佳状态就好。

原文:https://thegradient.pub/state-of-ml-frameworks-2019-pytorch-dominates-research-tensorflow-dominates-industry

2019年,机器学习框架之争进入了新阶段:PyTorch与TensorFlow成为最后两大玩家,PyTorch占据学术界领军地位,TensorFlow在工业界力量依然强大,两个框架都在向对方借鉴,但是都不太理想。

TensorFlow赢得了比赛,但PyTorch是在同一个控制台上玩吗?

用于生产的 PyTorch 和 TensorFlow

尽管 PyTorch 现在在研究中占据重要地位,但 TensorFlow
仍然是行业内部的主导框架。根据公开数据,TensorFlow
的招募职位多于 PyTorch,GitHub 上 13.7k 的 TensorFlow 星标也多于 7.2k 的
PyTorch 星标。

PyTorch
在业界为什么没有取得与学界同等的受欢迎程度呢?首要答案是一贯性。TensorFlow
早于 PyTorch 出现,而且行业采用新技术的速度比研究人员要慢。另一个原因是
TensorFlow 在生产方面更胜 PyTorch 一筹。

这就要从研究人员和行业的不同需求讲起。研究人员关心他们能够以多快的速度进行研究,该研究通常是在相对较小的数据集(可以容纳在一台计算机上的数据集)上运行的。通常,这与性能方面的考虑无关,而是依靠他们快速实施新想法的能力来决定。与之相反,业界认为性能是重中之重。将运行时间提高
10%
对研究人员而言意义不大,但对公司来说,这可以直接节省数百万美元的费用。

另一个区别在于部署。研究人员在自己的计算机或专用于运行研究工作的服务器集群上进行实验。行业则有很多限制和要求:

  • No Python。一些公司会运行服务器,这些服务器的 Python
    运行时开销太大。
  • 移动。无法在移动二进制文件中嵌入 Python 解释器。
  • 服务。要求功能全面,例如无停机更新模型、在模型之间无缝切换、在预测时进行批处理等。

TensorFlow
恰巧专门针对这些要求而构建,并为所有这些问题提供了解决方案:图形格式和执行引擎本来就不需要
Python,并且 TensorFlow Lite 和 TensorFlow Serving
能够分别解决移动和服务注意事项。

从历史上看,PyTorch 未能满足这些考虑,因此大多数公司目前在生产中使用
TensorFlow。

这将TensorFlow置于与PyTorch相同的位置,它们的解析方式基本相同——你可以跟踪代码或重新解释Python代码。

考虑到这一点,我们询问开发人员,他们说他们参与了数据科学或机器学习他们正在使用的两个框架中的哪一个,他们如何使用它们,以及他们在专业领域做了什么。

在研究领域不断提高主导地位的 PyTorch

下图展示了在每个顶级研究会议上,单独使用 PyTorch 的论文与
Tensorflow/PyTorch 论文之间的比率——2019 年的每个主要会议都在 PyTorch
中实现了大多数研究。

澳门新葡萄京所有网站 1

下面是 PyTorch 与 TensorFlow 原始计数的图表,它展现出 PyTorch
在研究界的发展速度之快:

澳门新葡萄京所有网站 2

在 2018 年,PyTorch 是少数派。现在,它是绝大多数,CVPR 会议中使用
PyTorch 的占 69%,PyTorch 研究在 NAACL 和 ACL 会议中均占 75% 以上,在
ICLR 和 ICML 会议中也有 50% 以上。可以看出,PyTorch
在视觉和语言类会议上的统治地位最强,在诸如 ICLR 和 ICML
之类的通用机器学习会议上也比 TensorFlow 更受欢迎。

那么为什么研究人员如此青睐 PyTorch 呢?Horace 总结出了如下几点原因:

  • 简单。它与 numpy 类似,非常具有 python
    风格,并且可以轻松地与其他 Python 生态系统集成。
  • 很棒的 API。与 TensorFlow 的 API 相比,大多数研究人员更喜欢
    PyTorch 的 API。
  • 性能。尽管事实上 PyTorch
    的动态图提供的优化机会很少,不过,据传闻 PyTorch 的速度甚至快于
    TensorFlow。目前尚不清楚这是否为实,但至少 TensorFlow
    在这一领域还没有取得决定性优势。

作者 Horace 认为 TensorFlow 的研究前景还有待观察。毕竟目前 PyTorch
已经覆盖到很多社区,这意味着 PyTorch
的实现将更容易找到,人们也更有动力在 PyTorch
中发布代码。当然,TensorFlow 在 Google/DeepMind
中还是会始终拥有一定的受众群体,但它的地位仍受到威胁,因为“有人抱怨说
Google 内部的许多研究人员都希望使用 TensorFlow 以外的框架”。

“此外,PyTorch 的统治地位可能会开始切断 Google
研究人员与其他研究社区的联系。他们不仅很难在外部研究的基础上进行构建,而且外部研究人员也不太可能在
Google 发布的代码基础上进行构建。”这是需要警惕的地方。

例如,根据2018年到2019年的数据,TensorFlow在招聘的页面上有1541个新工作岗位,而PyTorch有1437个,TensorFlow在Medium上有3230个新文章,而PyTorch有1200篇,TensorFlow在GitHub有13.7K标星,而PyTorch有7.2K。

在参与ML或DS的3,000名开发人员中,我们看到43%的人使用PyTorch或TensorFlow。

在人工智能快速发展的今天,机器学习框架变得炙手可热,它们摇身成为许多研究人员和从业者的新宠。当下,机器学习框架之战有两个主要竞争者:PyTorch
和 TensorFlow。来自康奈尔大学的 Horace He
对二者进行了对比研究,并将研究成果发表在了斯坦福人工智能实验室创办的数字杂志
“The
Gradient”
上。他发现:PyTorch 在学界愈发吃香,而业界的首选仍是 TensorFlow。

机器学习框架的未来

澳门新葡萄京所有网站 3

显然,这些举措都是为了解决PyTorch和TensorFlow各自的弱点。那么这些特性到底是什么,它们能提供什么呢?

6.有详细记录

首先当然是先用数据说话。

这43%不是在两个框架之间平均分配的。
TensorFlow比PyTorch大3.4倍。总共86%的ML开发人员和数据科学家表示他们目前正在使用TensorFlow,而只有11%的人使用PyTorch。

每个新的硬件体系结构、张量或算子的类别,都大大增加了问题的难度。目前已经有许多处理工具,如Halide、TVM、PlaidML、TensorComprehensions、XLA、Taco等,但是正确的方法还没找到。

以下是其他与众不同的东西:

PyTorch满足产业需求的速度有多快?PyTorch还有许多没有解决的基本问题——没有好的量化支持、不支持移动等等。在这些问题得到解决之前,PyTorch甚至不会成为许多公司的选择。PyTorch能否为企业提供一个足够吸引人的故事来进行转型?注意:PyTorch已经宣布支持量化和移动。虽然两者都还处于试验阶段,但代表了PyTorch在这方面的重大进展。

4.是基于Python的

移动。你不能在移动终端二进制文件中嵌入Python解释器;

与PyTorch相比,它的社区由更多专业机器学习开发人员,软件架构师和公司内部程序员组成。这很可能是由于Google重点关注通过诸如Tensorflow服务等API进行部署,这已经成为许多开发人员在尝试将数据产品推向生产环境时采用TensorFlow的关键动力。

然而,最近非标准硬件、稀疏/量子化张量和新运算符的流行暴露了依赖这些运算符库的一个缺陷:它们不够灵活!如果你想在研究中使用像胶囊网络这样的新操作怎么办?现有的解决方案还不够完善。正如本文所说,现有的胶囊网络在GPU上的实现比最优实现慢2个数量级。

5.使用图表来表示数据和操作的流程

Script模式接受一个函数/类,重新解释Python代码并直接输出TorchScript
IR。这允许它支持任意代码,但是它实际上需要重新解释Python。

谁在使用PyTorch以及谁正在使用TensorFlow? 每个框架最常用的是什么?

另一个区别是部署。研究人员一般在自己的机器上或某个专门用于运行研究工作的服务器集群上进行实验。但是在产业上,部署则有一连串的限制与要求。

澳门新葡萄京所有网站 4

谷歌在行业中的孤立会伤害TensorFlow吗?谷歌推动TensorFlow的主要原因之一是帮助其蓬勃发展的云服务。由于谷歌试图拥有整个机器学习垂直领域,这促使谷歌与之竞争的公司支持只能支持PyTorch。

在/
Data,我们不断调查开发者社区,以跟踪并预测不同技术领域的未来趋势。特别是对于机器学习而言,这种竞争至关重要。普遍存在的框架将对机器学习社区在未来几年将采取的路径产生巨大影响。

然而,这也给TensorFlow带来了同样的缺点。TensorFlow
Eager模型不能导出到非python环境中,也不能进行优化,不能在移动设备上运行。

谁没有听说FB的PyTorch和谷歌的TensorFlow之间的争斗? 本文是来自国外Kirill
Dubovikov写的一篇很棒的文章,快速揭秘这2种框架冲突与竞争的根源。

也就是说,慌的不是PyTorch,而是TensorFlow。

在今年的5月份Google
I/O大会上,除了介绍Coral的性能以及其硬件开发产品,Google还在会上展示了基于Coral硬件(Coral
Dev Board),由国内团队开发出的移动端App——Model Play。据悉,Model Play
是面向全球 AI 开发者的 AI 模型共享市场。

从Caffe和Theano的早期学术成果,到业界支持的大规模PyTorch和TensorFlow,面对如此多的选择,人们很难知道最好的框架是什么。

延伸阅读:Google I/O大会结束了,这个小细节却被大家忽视了!

Jax最初的使用者主要是大学毕业生(尽管没有GPU支持,但ICML有11篇论文使用了它),但相信Jax很快就会找到一个类似的忠实粉丝社区,用它来做各种n阶导数。

这是决定性的。与PyTorch相比,TensorFlow正在生产中使用,并且很可能部署到云中,因为TensorFlow用户的后端体验明显更高(4.8年与PyTorch用户的3.8相比)。

Jax是由最初建造Autograd的同一批人创建的,它具有正向和反向模式自动分化的功能,这使得计算高阶导数的速度比PyTorch/TensorFlow的更快。

另一方面,PyTorch比TensorFlow更多地用于数据分析和业务环境中的特殊模型。在PyTorch社区中,有更多的Python开发人员(即使用Python作为主要语言的开发人员)从事Web应用程序。

如果觉得仅靠会议论文数据还不够,这里还有一张图来证明PyTorch在研究社区获得关注的速度。

澳门新葡萄京所有网站 5

用于产业的PyTorch和TensorFlow

澳门新葡萄京所有网站 6

研究者偏好对产业的影响有多大?随着当前一批博士研究生开始毕业,他们也许会带上用惯的PyTorch。这种势头是否足够明显,以至于公司会选择PyTorch用于招聘的条件?同时毕业生会在PyTorch的基础上创业吗?

此外,这种Pythonic框架的多功能性使研究人员能够测试几乎没有摩擦的想法,因此,它是最先进的尖端解决方案的首选框架。

下图显示了PyTorch和TensorFlow在各类会议上被提及的次数图。

Model Play 不仅为全球开发者提供了 AI 模型展示交流的平台,更能搭配含 Edge
TPU 的 Coral Dev Board 进行使用,加速 ML
推理,通过手机实时预览模型运行效果。

为什么研究人员喜欢PyTorch?

3.拥有强大而积极的支持社区

当然,通过限制在深度学习中使用的Python子集,范围可以大大简化。

竞争的核心是两个框架的相似性太强。 两个框架有哪些相似点?

如果从Reddit看,你可能会认为PyTorch风头正盛。但如果你浏览的是机器学习大咖Francois
Chollet的Twitter,你可能会认为TensorFlow/Keras是主流框架。

1.是用于高性能数值计算的开源库

因此,TensorFlow的Eager模式并不能真正做到“两全其美”。虽然可以使用tf.function注释将eager
code转换为静态图,但这永远不会是一个无缝转换的流程(PyTorch的TorchScript也有类似的问题)。跟踪基本上是有限的,重新解释Python代码实际上需要重写Python编译器的大部分内容。

考虑到所有这些因素,我们可以说,在其中一个框架中创建的几乎任何东西都可以以相似的成本在另一个框架中复制。
因此,问题就在于此。

至于未来,将取决于谁能最好地解决以下问题。

你应该使用哪个框架? 每个社区之间的主要区别是什么?

自2012年深度学习重新获得突出地位以来,许多机器学习框架也相应成为研究人员和行业从业者的新宠。

2.得到大型科技公司的支持

PyTorch要在行业中产生有意义的影响肯定还需要很长时间,毕竟TensorFlow在产业界的影响力已经根深蒂固。然而,从TensorFlow
1.0到2.0的转换为企业评估PyTorch提供了一个绝佳的机会。

此外,PyTorch还有超过50%的社区使用TensorFlow。另一方面,只有15%的TensorFlow社区也使用PyTorch。看起来像TensorFlow是必须的,但PyTorch是一个不错的选择。

来自康奈尔大学的Horace
He刚刚在Gradient发布了一篇长文探讨2019年的两大机器学习框架之争,他论述了PyTorch和TensorFlow各自的优劣和发展趋势,但是很明显更看好PyTorch,特别是其在学术领域起到的驱动作用。

TensorFlow的Eager模式在可用性上能赶上PyTorch吗?就网上的反应来看,TensorFlow
Eager严重受到性能/内存方面问题的困扰,而且Autograph也有自己的问题。谷歌将花费大量的工程努力,但TensorFlow还是背负着历史包袱

在API级别上,TensorFlow Eager模式基本上与PyTorch
Eager模式相同,后者最初由Chainer推出,这为TensorFlow提供了PyTorchEager模式的大部分优势

计算高阶导数的问题

TensorFlow Eager

2018年末,两件大事彻底改变了这一局面:PyTorch引入了JIT编译器和“TorchScript”,从而引入了基于图的特性;TensorFlow宣布他们将在2.0版本中默认转移到Eager模式。

一旦PyTorch模型进入了这个IR,我们就可以获得图模式的所有优势。我们既可以在C++中部署PyTorch模型,而不依赖Python,或者对其进行优化。

下图显示了顶级研究会议接受论文中,使用TensorFlow或Pytorch的比率。可以发现,所有的折线都向上倾,并且在2019年,主要会议的论文中,多数使用的都是PyTorch。

那为什么PyTorch现在已经如此受研究人员欢迎了,但它在工业上还没有同样的成功呢?

它不仅使机器学习研究成为可能,更让研究人员能够更轻松地探索。有多少新的想法因为没有简单的方法在框架中表达而被扼杀?PyTorch已经达到了研究的本地极小值,但是值得研究的其他框架提供了什么?还有什么样的研究机会?

在默认启用Eager模式时,TensorFlow将强迫用户做出选择——为了便于使用而Eager执行,并且需要为部署而重写,或者根本不使用急于执行。

就我个人而言,在PyTorch和TensorFlow之间,我会觉得PyTorch更有胜算。因为机器学习仍然是一个研究驱动的领域,工业界不能忽视研究成果,只要PyTorch在研究领域占据主导地位,企业就只有被迫转型。

PyTorch和TensorFlow的核心是自动差异化框架,它能对某个函数求导。实现自动微分的方法有很多,大多数现代机器学习框架所选择的方法被称为“逆向模式自动微分”,也就是通常所说的“反向传播”。对神经网络的衍生而言,这种实现是非常有效的。

然而,跑得足够快的不仅仅是框架。机器学习研究本身也处于一个巨大的变革中。不仅框架发生了变化,5年来使用的模型、硬件、范式与我们今天使用的截然不同。未来也许PyTorch和TensorFlow之间的战争将变得无关紧要,因为另一种计算模型或将占据主导地位。

显而易见的第一个答案就是使用习惯。TensorFlow比PyTorch早几年问世,而产业接受新技术的速度要比研究人员慢。

即使TensorFlow在功能上与PyTorch不相上下,但PyTorch已经覆盖了机器学习社区的大部分。这意味着PyTorch实现将更容易找到,作者将更有动力用PyTorch发布代码,而且你的合作者也很可能会更喜欢PyTorch。因此,任何向TensorFlow
2.0的回迁可能会很慢。

PyTorch TorchScript

并且,Jax不仅能计算高阶导数,Jax开发人员将Jax视为组成任意函数转换的框架,包括vmap或pmap。

API。大多数研究人员更喜欢PyTorch的API而不是TensorFlow的API。部分原因是因为PyTorch的设计更好,还有部分是因为TensorFlow切换其API接口过于频繁(比如“layers”-“slim”-“estimators”-“tf.keras”),这阻碍了其自身的发展。

PyTorch在研究领域领先,并试图扩展到工业领域。而TensorFlow正试图在不牺牲太多产业优势的情况下,更多的参与到研究领域。

当运行PyTorch/TensorFlow模型时,大部分工作实际上并不是在框架本身中完成的,而是由第三方内核完成的。这些内核通常由硬件供应商提供,类似于MKLDNN或cuDNN,由高级框架可以利用的操作符库组成。高级框架将计算图表分解成块,然后调用计算库。这些库代表了数千小时的工作量,并针对体系结构和应用程序进行优化以获得最佳性能。

机器学习框架的现状

2018年,PyTorch获得的关注还比较少。但现在,大多数人都在使用PyTorch:69%的CVPR、75%以上的NAACL和ACL、50%以上的ICLR和ICML使用的也是PyTorch。

表现。尽管PyTorch的动态图给出的优化机会很少,但许多传闻称PyTorch的速度不比TensorFlow慢多少。目前尚不清楚这是否属实,但至少,TensorFlow在这一方面还没有获得决定性的优势。

TensorFlow就是特别针对这些需求构建的,并为所有这些问题提供了解决方案:网络图格式和执行引擎本身不需要Python,而TensorFlow
Lite和TensorFlow Serving可以分别处理移动终端和服务器需求。

所以,不管你更喜欢TensorFlow还是PyTorch,它们的目的只有一个,就是想让机器学习做到最好。

TensorFlow
2.0是否能重新俘获回之前的粉丝还有待观察。尽管eager模式很吸引人,但对于Keras
API而言并非如此。

没有Python。运行Python对服务器的开销太大了;

根据我的分析,在学术领域,研究人员正逐渐放弃TensorFlow,扎堆涌向PyTorch。与此同时,在工业领域,TensorFlow是首选平台,但这种情况可能不会持续很久。

机器学习框架在多大程度上影响了机器学习的研究呢?

下一步怎么走?

以下是全文:

虽然这与PyTorch的情况相同,但PyTorch的TorchScript的可选择加入特性可能比TensorFlow的“默认Eager”更容易接受。

对于TensorFlow和PyTorch的未来,他们的设计已经趋于一致,任何一个框架都不会凭借其设计而取得最终胜利,每一方也都有自己的地盘——一方拥有研究,另一方拥有工业。

TensorFlow未来的研究方向是什么?

PyTorch在研究领域日益占据主导地位

虽然很简单,但是跟踪也有它的缺点。例如,它不能捕获未执行的控制流。例如,如果它执行了true块,它就不能捕获条件块的false块。

而工业界则认为性能是最优先考虑的。虽然运行时速度提高10%对研究人员来意义不大,但这可以直接为公司节省数百万美元。

此外,PyTorch的统治地位很可能会切断谷歌研究人员与其他研究社区的联系。他们不仅难以在外部研究的基础上进行构建,而且外部研究人员也不太可能在谷歌发布的代码基础上进行构建。

PyTorch JIT是PyTorch的一个中间表示(intermediate
representation,IR),称为TorchScript。Torchscript是PyTorch的“图”表示。你可以通过使用跟踪或脚本模式将常规PyTorch模型转换为TorchScript。跟踪接受一个函数和一个输入,记录用该输入执行的操作,并构造IR。

从历史上看,PyTorch在满足这些需求方面做得还不够,因此大多数公司目前在生产中都还是使用TensorFlow。

PyTorch在视觉和语言会议方面的优势最为明显,分别以2:1和3:1的比例超过了TensorFlow。此外可以看到,在ICLR和ICML等通用机器学习会议上,PyTorch也比TensorFlow更受欢迎。

不够灵活!

在所有这些相互冲突的利益中,机器学习投入了大量资金,退一步想想其实也不错。大多数从事机器学习软件的工作不是为了赚钱,也不是为了协助公司的战略计划,而是想要推进机器学习的研究,关心人工智能民主化,也或许他们只是想创造一些很酷的东西。

最后谁能胜出?还得看谁更好的回答几个关键问题。

如果没有解决这个问题,我们就会面临机器学习研究与工具过度匹配的风险。

虽然PyTorch目前在研究领域占据主导地位,但稍微注意一下就会发现TensorFlow仍然是占据主导地位的框架。

架构「融合」

服务。需要包罗万象的功能:不用停机更新的模型,在模型之间无缝切换,批处理在预测时间,等等。

然而,在计算高阶导数(Hessian/Hessian Vector
Products)时,就出问题了。有效地计算需要“正向模式自动微分”,如果没有这个功能,Hessian
Vector Products的计算速度就会降低一个数量级。

简单。PyTorch类似于numpy,非常Python化,很容易就能与Python生态系统的其余部分集成。例如,可以在PyTorch模型中任何地方添加pdb断点。而在TensorFlow中,调试模型需要一个活动会话,整个过程非常麻烦。

研究人员关心的是他们在研究中迭代的速度有多快,这通常是在相对较小的数据集上,并在8个GPU上就可以运行。这通常不是出于对性能的考虑,而是更关注可以快速实现自己的想法。

2019年,机器学习框架之战主要是PyTorch和TensorFlow的对峙。

TensorFlow在Google/Deepmind中有一批忠实的用户,但不知道Google最终是否会在这一点上动摇。现在,很多Google想招募的研究人员已经开始喜欢上PyTorch了,我也听到抱怨说Google内部很多研究人员希望使用TensorFlow之外的框架。

虽然有人认为PyTorch还是一个全新的框架,并试图在TensorFlow主导的世界中分得一杯羹,但是数据告诉我们并非如此。除了ICML,在NAACL、ICLR和ACL等会议上,TensorFlow今年的论文整体上都比去年少。

另一个原因就是TensorFlow在产业适应方面优于PyTorch,什么意思呢?要回答这个问题,我们需要知道研究人员和工业界的需求有何不同。