申请专栏作者 参展
投稿发布
您的当前位置:主页 > 机器学习 > 正文

TensorFlow与PyTorch之争,哪个框架最适合深度学习

来源:可思数据 时间:2019-09-04
请支持本站,点击下面的广告后浏览!

如果你在读这篇文章,那么你可能已经开始了自己的深度学习之旅。如果你对这一领域还不是很熟悉,那么简单来说,深度学习使用了「人工神经网络」,这是一种类似大脑的特殊架构,这个领域的发展目标是开发出能解决真实世界问题的类人计算机。为了帮助开发这些架构,谷歌、Facebook 和 Uber 等科技巨头已经为 Python 深度学习环境发布了多款框架,这让人们可以更轻松地学习、构建和训练不同类型的神经网络。本文将详细介绍和比较两种流行的框架: TensorFlow 与 PyTorch。 可思数据-数据挖掘,智慧医疗,机器视觉,机器人sykv.com

一、谷歌的 TensorFlow 可思数据-AI,sykv.com智能驾驶,人脸识别,区块链,大数据

TensorFlow 是谷歌的开发者创造的一款开源的深度学习框架,于 2015 年发布。官方研究发布于论文《TensorFlow:异构分布式系统上的大规模机器学习》。

可思数据-AI,sykv.com智能驾驶,人脸识别,区块链,大数据

论文地址:http://download.tensorflow.org/paper/whitepaper2015.pdf

内容来自可思数据sykv.com

TensorFlow 现已被公司、企业与创业公司广泛用于自动化工作任务和开发新系统,其在分布式训练支持、可扩展的生产和部署选项、多种设备(比如安卓)支持方面备受好评。

可思数据-www.sykv.cn,sykv.com

二、Facebook 的 PyTorch

可思数据-人工智能资讯平台sykv.com

PyTorch 是最新的深度学习框架之一,由 Facebook 的团队开发,并于 2017 年在 GitHub 上开源。有关其开发的更多信息请参阅论文《PyTorch 中的自动微分》。

本文来自可思数据(sykv.com),转载请联系本站及注明出处

论文地址:https://openreview.net/pdf?id=BJJsrmfCZ 可思数据sykv.com,sykv.cn

PyTorch 很简洁、易于使用、支持动态计算图而且内存使用很高效,因此越来越受欢迎。接下来还会更详细地介绍。 可思数据-数据挖掘,智慧医疗,机器视觉,机器人sykv.com

三、我们可以用 TensorFlow 和 PyTorch 构建什么?

内容来自可思数据sykv.com

神经网络起初是被用于解决手写数字识别或用相机识别汽车注册车牌等简单的分类问题。但随着近来框架的发展以及英伟达高计算性能图形处理单元(GPU)的进步,我们可以在 TB 级的数据上训练神经网络并求解远远更加复杂的问题。一个值得提及的成就是在 TensorFlow 和 PyTorch 中实现的卷积神经网络在 ImageNet 上都达到了当前最佳的表现。训练后的模型可以用在不同的应用中,比如目标检测、图像语义分割等等。

可思数据sykv.com,sykv.cn

尽管神经网络架构可以基于任何框架实现,但结果却并不一样。训练过程有大量参数都与框架息息相关。举个例子,如果你在 PyTorch 上训练一个数据集,那么你可以使用 GPU 来增强其训练过程,因为它们运行在 CUDA(一种 C++ 后端)上。TensorFlow 也能使用 GPU,但它使用的是自己内置的 GPU 加速。因此,根据你所选框架的不同,训练模型的时间也总是各不相同。

可思数据sykv.com

1. TensorFlow 优秀项目 本文来自可思数据(sykv.com),转载请联系本站及注明出处

Magenta:一个探索将机器学习用作创造过程的工具的开源研究项目:https://magenta.tensorflow.org/

可思数据-AI,sykv.com智能驾驶,人脸识别,区块链,大数据

Sonnet:这是一个基于 TensorFlow 的软件库,可用于构建复杂的神经网络:https://sonnet.dev/

可思数据sykv.com

Ludwig:这是一个无需写代码就能训练和测试深度学习模型的工具箱:https://uber.github.io/ludwig/ 可思数据-www.sykv.cn,sykv.com

2. PyTorch 优秀项目 可思数据sykv.com

CheXNet:使用深度学习来分析胸部 X 光照片,能实现放射科医生水平的肺炎监测:https://stanfordmlgroup.github.io/projects/chexnet/ 可思数据sykv.com

PYRO:这是一种用 Python 编写的通用概率编程语言(PPL),后端由 PyTorch 支持:https://pyro.ai (https://pyro.ai/)

可思数据sykv.com,sykv.cn

Horizon:一个用于应用强化学习(Applied RL)的平台:https://horizonrl.com (https://horizonrl.com/)

可思数据-www.sykv.cn,sykv.com

这些只是基于 TensorFlow 和 PyTorch 构建的少量框架和项目。你能在 TensorFlow 和 PyTorch 的 GitHub 和官网上找到更多。 可思数据sykv.com

四、PyTorch 和 TensorFlow 对比 可思数据sykv.com,sykv.cn

PyTorch 和 TensorFlow 的关键差异是它们执行代码的方式。这两个框架都基于基础数据类型张量(tensor)而工作。你可以将张量看作是下图所示的多维数组。 本文来自可思数据(sykv.com),转载请联系本站及注明出处

可思数据-AI,sykv.com人工智能,深度学习,机器学习,神经网络

1. 机制:动态图定义与静态图定义 可思数据-人工智能资讯平台sykv.com

TensorFlow 框架由两个核心构建模块组成:

可思数据-数据挖掘,智慧医疗,机器视觉,机器人sykv.com

  • 一个用于定义计算图以及在各种不同硬件上执行这些图的运行时间的软件库。
  • 一个具有许多优点的计算图(后面很快就会介绍这些优点)。

计算图是一种将计算描述成有向图的抽象方式。图是一种由节点(顶点)和边构成的数据结构,是由有向的边成对连接的顶点的集合。

可思数据sykv.com

当你在 TensorFlow 中运行代码时,计算图是以静态方式定义的。与外部世界的所有通信都是通过 tf.Sessionobject 和 tf.Placeholder 执行,它们是在运行时会被外部数据替换的张量。例如,看看以下代码段:

可思数据-www.sykv.cn,sykv.com

可思数据-AI,sykv.com智能驾驶,人脸识别,区块链,大数据

下图是 TensorFlow 中运行代码之前以静态方式生成计算图的方式。计算图的核心优势是能实现并行化或依赖驱动式调度(dependency driving scheduling),这能让训练速度更快,更有效率。 可思数据-www.sykv.cn,sykv.com

内容来自可思数据sykv.com

类似于 TensorFlow,PyTorch 也有两个核心模块: 可思数据sykv.com

  • 计算图的按需和动态构建
  • Autograd:执行动态图的自动微分

可以在下图中看到,图会随着执行过程而改变和执行节点,没有特殊的会话接口或占位符。整体而言,这个框架与 Python 语言的整合更紧密,大多数时候感觉更本地化。因此,PyTorch 是更 Python 化的框架,而 TensorFlow 则感觉完全是一种新语言。

本文来自可思数据(sykv.com),转载请联系本站及注明出处

本文来自可思数据(sykv.com),转载请联系本站及注明出处

根据你所用的框架,在软件领域有很大的不同。TensorFlow 提供了使用 TensorFlow Fold 库实现动态图的方式,而 PyTorch 的动态图是内置的。

可思数据sykv.com

2. 分布式训练 可思数据sykv.com,sykv.cn

PyTorch 和 TensorFlow 的一个主要差异特点是数据并行化。PyTorch 优化性能的方式是利用 Python 对异步执行的本地支持。而用 TensorFlow 时,你必须手动编写代码,并微调要在特定设备上运行的每个操作,以实现分布式训练。但是,你可以将 PyTorch 中的所有功能都复现到 TensorFlow 中,但这需要做很多工作。下面的代码片段展示了用 PyTorch 为模型实现分布式训练的简单示例: 可思数据-AI,sykv.com智能驾驶,人脸识别,区块链,大数据

内容来自可思数据sykv.com

3. 可视化

可思数据sykv.com

在训练过程的可视化方面,TensorFlow 更有优势。可视化能帮助开发者跟踪训练过程以及实现更方便的调试。TensorFlow 的可视化库名为 TensorBoard。PyTorch 开发者则使用 Visdom,但是 Visdom 提供的功能很简单且有限,所以 TensorBoard 在训练过程可视化方面更好。 可思数据-www.sykv.cn,sykv.com

TensorBoard 的特性: 可思数据-AI,sykv.com智能驾驶,人脸识别,区块链,大数据

  • 跟踪和可视化损失和准确度等指标
  • 可视化计算图(操作和层)
  • 查看权重、偏差或其它张量随时间变化的直方图
  • 展示图像、文本和音频数据
  • 分析 TensorFlow 程序

可思数据sykv.com

在 TensorBoard 中可视化训练 可思数据sykv.com,sykv.cn

Visdom 的特性: 可思数据sykv.com,sykv.cn

  • 处理回调
  • 绘制图表和细节
  • 管理环境

本文来自可思数据(sykv.com),转载请联系本站及注明出处

在 Visdom 中可视化训练

可思数据-AI,sykv.com人工智能,深度学习,机器学习,神经网络

4. 生产部署

可思数据-人工智能资讯平台sykv.com

在将训练好的模型部署到生产方面,TensorFlow 显然是赢家。我们可以直接使用 TensorFlow serving 在 TensorFlow 中部署模型,这是一种使用了 REST Client API 的框架。

可思数据-AI,sykv.com人工智能,深度学习,机器学习,神经网络

使用 PyTorch 时,在最新的 1.0 稳定版中,生产部署要容易一些,但它没有提供任何用于在网络上直接部署模型的框架。你必须使用 Flask 或 Django 作为后端服务器。所以,如果要考虑性能,TensorFlow serving 可能是更好的选择。

可思数据-人工智能资讯平台sykv.com

5. 用 PyTorch 和 TensorFlow 定义一个简单的神经网络

可思数据-人工智能资讯平台sykv.com

我们比较一下如何在 PyTorch 和 TensorFlow 中声明神经网络。 内容来自可思数据sykv.com

在 PyTorch 中,神经网络是一个类,我们可以使用 torch.nn 软件包导入构建架构所必需的层。所有的层都首先在 __init__() 方法中声明,然后在 forward() 方法中定义输入 x 在网络所有层中的遍历方式。最后,我们声明一个变量模型并将其分配给定义的架构(model = NeuralNet())。

可思数据-AI,sykv.com人工智能,深度学习,机器学习,神经网络

可思数据sykv.com,sykv.cn

近期 Keras 被合并到了 TensorFlow 库中,这是一个使用 TensorFlow 作为后端的神经网络框架。从那时起,在 TensorFlow 中声明层的句法就与 Keras 的句法类似了。首先,我们声明变量并将其分配给我们将要声明的架构类型,这里的例子是一个 Sequential() 架构。

可思数据-AI,sykv.com人工智能,深度学习,机器学习,神经网络

接下来,我们使用 model.add() 方法以序列方式直接添加层。层的类型可以从 tf.layers 导入,如下代码片段所示: 本文来自可思数据(sykv.com),转载请联系本站及注明出处

内容来自可思数据sykv.com

五、TensorFlow 和 PyTorch 的优缺点 本文来自可思数据(sykv.com),转载请联系本站及注明出处

TensorFlow和PyTorch各有其优缺点。

内容来自可思数据sykv.com

TensorFlow 的优点:

可思数据-www.sykv.cn,sykv.com

  • 简单的内置高级 API
  • 使用 TensorBoard 可视化训练
  • 通过 TensorFlow serving 容易实现生产部署
  • 很容易的移动平台支持
  • 开源
  • 良好的文档和社区支持

TensorFlow 的缺点: 可思数据-www.sykv.cn,sykv.com

  • 静态图
  • 调试方法
  • 难以快速修改

PyTorch 的优点

可思数据sykv.com,sykv.cn

  • 类 Python 的代码
  • 动态图
  • 轻松快速的编辑
  • 良好的文档和社区支持
  • 开源
  • 很多项目都使用 PyTorch

PyTorch 的缺点: 可思数据-人工智能资讯平台sykv.com

  • 可视化需要第三方
  • 生产部署需要 API 服务器

六、PyTorch 和 TensorFlow 安装、版本、更新

可思数据sykv.com,sykv.cn

PyTorch 和 TensorFlow 近期都发布了新版本:PyTorch 1.0(首个稳定版)和 TensorFlow 2.0(beta 测试版)。这两个版本都有重大的更新和新功能,让训练过程更高效、流畅和强大。

本文来自可思数据(sykv.com),转载请联系本站及注明出处

如果你要在自己的机器上安装这些框架的最新版,你可以用源代码 build 或通过 pip 安装。 可思数据-AI,sykv.com智能驾驶,人脸识别,区块链,大数据

1. PyTorch 安装 可思数据-AI,sykv.com人工智能,深度学习,机器学习,神经网络

macOS 和 Linux

可思数据-人工智能资讯平台sykv.com

 可思数据-AI,sykv.com智能驾驶,人脸识别,区块链,大数据 
  1. pip3 install torch torchvision 

Windows

可思数据-人工智能资讯平台sykv.com

 可思数据-人工智能资讯平台sykv.com 
  1. pip3 install https://download.pytorch.org/whl/cu90/torch-1.1.0-cp36-cp36m-win_amd64.whl 
  2. pip3 install https://download.pytorch.org/whl/cu90/torchvision-0.3.0-cp36-cp36m-win_amd64.whl 

2. TensorFlow 安装

可思数据sykv.com

macOS、Linux 和 Windows 可思数据-www.sykv.cn,sykv.com

 可思数据-人工智能资讯平台sykv.com 
  1. # Current stable release for CPU-only 
  2. pip install tensorflow 
  3. # Install TensorFlow 2.0 Beta 
  4. pip install tensorflow==2.0.0-beta1 

要检查安装是否成功,可使用命令提示符或终端按以下步骤操作。

可思数据-数据挖掘,智慧医疗,机器视觉,机器人sykv.com

七、TensorFlow 还是 PyTorch?我的建议

内容来自可思数据sykv.com

TensorFlow 是一种非常强大和成熟的深度学习库,具有很强的可视化功能和多个用于高级模型开发的选项。它有面向生产部署的选项,并且支持移动平台。另一方面,PyTorch 框架还很年轻,拥有更强的社区动员,而且它对 Python 友好。

可思数据sykv.com,sykv.cn

我的建议是如果你想更快速地开发和构建 AI 相关产品,TensorFlow 是很好的选择。建议研究型开发者使用 PyTorch,因为它支持快速和动态的训练。 可思数据sykv.com

原文链接:https://builtin.com/data-science/pytorch-vs-tensorflow 可思数据-人工智能资讯平台sykv.com


转发量:

网友评论:

发表评论
请自觉遵守互联网相关的政策法规,严禁发布色情、暴力、反动的言论。
评价:
表情:
用户名: 验证码:点击我更换图片

关于我们   免责声明   广告合作   版权声明   联系方式   原创投稿   网站地图  

Copyright©2005-2019 Sykv.com 可思数据 版权所有    ICP备案:京ICP备14056871号

人工智能资讯   人工智能资讯   人工智能资讯   人工智能资讯

扫码入群
咨询反馈
扫码关注

微信公众号

返回顶部
关闭