本文转自陈云的《深度学习框架PyTorch:入门与实践》。感觉现在还很难说哪个深度学习框架更好（只有更流行的）。开发caffe的贾清扬被阿里从Facebook挖跑了，贾清扬应该是在Facebook开发出来caffe2没多长时间，貌似至少是在Facebook里，pytorch把caffe干趴下了。去年google在上海的开发者大会强推了Eager Execution动态计算图，而pytorch一开始就是动态设计的。感觉tf无论是做动态计算还是整合keras作高级api，好像都是做修补工作，貌似tf的底层很混乱的样子，但奈何谷歌财大气粗，大力推广tf。保险起见，精力允许的条件下，最好学习Keras和PyTorch（Keras比PyTorch更容易学，二者选其一的话，先学前者，参考深度学习“四大名著”，）。

　　目前研究人员正在使用的深度学习框架不尽相同，有TensorFlow、Caffe、Theano、Keras等，常见的深度学习框架如下图所示。

　　Theano最初诞生于蒙特利尔大学 LISA 实验室，于2008年开始开发，是第一个有较大影响力的Python深度学习框架。

　　Theano 是一个 Python 库，可用于定义、优化和计算数学表达式，特别是多维数组（numpy.ndarray）。在解决包含大量数据的问题时，使用 Theano 编程可实现比手写 C 语言更快的速度，而通过 GPU 加速，Theano 甚至可以比基于 CPU 计算的 C 语言快上好几个数量级。Theano 结合了计算机代数系统（Computer Algebra System，CAS）和优化编译器，还可以为多种数学运算生成定制的 C 语言代码。对于包含重复计算的复杂数学表达式的任务而言，计算速度很重要，因此这种 CAS 和优化编译器的组合是很有用的。对需要将每一种不同的数学表达式都计算一遍的情况，Theano 可以最小化编译/解析的计算量，但仍然会给出如自动微分那样的符号特征。

　　Theano诞生于研究机构，服务于研究人员，其设计具有较浓厚的学术气息，但在工程设计上有较大的缺陷。一直以来，Theano因难调试、构建图慢等缺点为人所诟病。为了加速深度学习研究，人们在它的基础之上，开发了Lasagne、Blocks、PyLearn2和Keras等第三方框架，这些框架以Theano为基础，提供了更好的封装接口以方便用户使用。

　　2017年9月28日，在Theano 1.0正式版即将发布前夕，LISA实验室负责人，深度学习三巨头之一的Yoshua Bengio 宣布Theano即将停止开发：“Theano is Dead”。尽管Theano即将退出历史舞台，但作为第一个Python深度学习框架，它很好地完成了自己的使命，为深度学习研究人员的早期拓荒提供了极大的帮助，同时也为之后深度学习框架的开发奠定了基本设计方向： 以计算图为框架的核心，采用GPU加速计算。

　　2017年11月，LISA实验室在 GitHub 上开启了一个初学者入门项目，旨在帮助实验室新生快速掌握机器学习相关的实践基础，而该项目正是使用PyTorch作为教学框架。

　　2015年11月10日，Google宣布推出全新的机器学习开源工具TensorFlow。 TensorFlow 最初是由 Google 机器智能研究部门的 Google Brain 团队开发，基于Google 2011年开发的深度学习基础架构DistBelief构建起来的。TensorFlow主要用于进行机器学习和深度神经网络研究， 但它是一个非常基础的系统，因此也可以应用于众多领域。由于Google在深度学习领域的巨大影响力和强大的推广能力，TensorFlow一经推出就获得了极大的关注，并迅速成为如今用户最多的深度学习框架。

　　TensorFlow在很大程度上可以看作Theano的后继者，不仅因为它们有很大一批共同的开发者，而且它们还拥有相近的设计理念，都是基于计算图实现自动微分系统。TensorFlow 使用数据流图进行数值计算，图中的节点代表数学运算， 而图中的边则代表在这些节点之间传递的多维数组（张量）。

　　作为当前最流行的深度学习框架，TensorFlow获得了极大的成功，对它的批评也不绝于耳，总结起来主要有以下四点。

　　过于复杂的系统设计，TensorFlow 在GitHub代码仓库的总代码量超过100万行。这么大的代码仓库，对于项目维护者来说维护成为了一个难以完成的任务，而对读者来说，学习TensorFlow底层运行机制更是一个极其痛苦的过程，并且大多数时候这种尝试以放弃告终。

　　频繁变动的接口。TensorFlow的接口一直处于快速迭代之中，并且没有很好地考虑向后兼容性，这导致现在许多开源代码已经无法在新版的TensorFlow上运行，同时也间接导致了许多基于TensorFlow的第三方框架出现BUG。

　　接口设计过于晦涩难懂。在设计TensorFlow时，创造了图、会话、命名空间、PlaceHolder等诸多抽象概念，对普通用户来说难以理解。同一个功能，TensorFlow提供了多种实现，这些实现良莠不齐，使用中还有细微的区别，很容易将用户带入坑中。

　　文档混乱脱节。TensorFlow作为一个复杂的系统，文档和教程众多，但缺乏明显的条理和层次，虽然查找很方便，但用户却很难找到一个真正循序渐进的入门教程。

　　由于直接使用TensorFlow的生产力过于低下，包括Google官方等众多开发者尝试基于TensorFlow构建一个更易用的接口，包括Keras、Sonnet、TFLearn、TensorLayer、Slim、Fold、PrettyLayer等数不胜数的第三方框架每隔几个月就会在新闻中出现一次，但是又大多归于沉寂，至今TensorFlow仍没有一个统一易用的接口。

　　凭借Google着强大的推广能力，TensorFlow已经成为当今最炙手可热的深度学习框架，但是由于自身的缺陷，TensorFlow离最初的设计目标还很遥远。另外，由于Google对TensorFlow略显严格的把控，目前各大公司都在开发自己的深度学习框架。

　　Keras是一个高层神经网络API，由纯Python编写而成并使用TensorFlow、Theano及CNTK作为后端。Keras为支持快速实验而生，能够把想法迅速转换为结果。Keras应该是深度学习框架之中最容易上手的一个，它提供了一致而简洁的API， 能够极大地减少一般应用下用户的工作量，避免用户重复造轮子。

　　严格意义上讲，Keras并不能称为一个深度学习框架，它更像一个深度学习接口，它构建于第三方框架之上。Keras的缺点很明显：过度封装导致丧失灵活性。Keras最初作为Theano的高级API而诞生，后来增加了TensorFlow和CNTK作为后端。为了屏蔽后端的差异性，提供一致的用户接口，Keras做了层层封装，导致用户在新增操作或是获取底层的数据信息时过于困难。同时，过度封装也使得Keras的程序过于缓慢，许多BUG都隐藏于封装之中，在绝大多数场景下，Keras是本文介绍的所有框架中最慢的一个。

　　学习Keras十分容易，但是很快就会遇到瓶颈，因为它缺少灵活性。另外，在使用Keras的大多数时间里，用户主要是在调用接口，很难真正学习到深度学习的内容。

　　Caffe的优点是简洁快速，缺点是缺少灵活性。不同于Keras因为太多的封装导致灵活性丧失，Caffe灵活性的缺失主要是因为它的设计。在Caffe中最主要的抽象对象是层，每实现一个新的层，必须要利用C++实现它的前向传播和反向传播代码，而如果想要新层运行在GPU上，还需要同时利用CUDA实现这一层的前向传播和反向传播。这种限制使得不熟悉C++和CUDA的用户扩展Caffe十分困难。

　　Caffe凭借其易用性、简洁明了的源码、出众的性能和快速的原型设计获取了众多用户，曾经占据深度学习领域的半壁江山。但是在深度学习新时代到来之时，Caffe已经表现出明显的力不从心，诸多问题逐渐显现（包括灵活性缺失、扩展难、依赖众多环境难以配置、应用局限等）。尽管现在在GitHub上还能找到许多基于Caffe的项目，但是新的项目已经越来越少。

　　Caffe的作者从加州大学伯克利分校毕业后加入了Google，参与过TensorFlow的开发，后来离开Google加入FAIR，担任工程主管，并开发了Caffe2。Caffe2是一个兼具表现力、速度和模块性的开源深度学习框架。它沿袭了大量的 Caffe 设计，可解决多年来在 Caffe 的使用和部署中发现的瓶颈问题。Caffe2的设计追求轻量级，在保有扩展性和高性能的同时，Caffe2 也强调了便携性。Caffe2 从一开始就以性能、扩展、移动端部署作为主要设计目标。Caffe2 的核心 C++ 库能提供速度和便携性，而其 Python 和 C++ API 使用户可以轻松地在 Linux、Windows、iOS、Android ，甚至 Raspberry Pi 和 NVIDIA Tegra 上进行原型设计、训练和部署。

　　Caffe2继承了Caffe的优点，在速度上令人印象深刻。Facebook 人工智能实验室与应用机器学习团队合作，利用Caffe2大幅加速机器视觉任务的模型训练过程，仅需 1 小时就训练完ImageNet 这样超大规模的数据集。然而尽管已经发布半年多，开发一年多，Caffe2仍然是一个不太成熟的框架，官网至今没提供完整的文档，安装也比较麻烦，编译过程时常出现异常，在GitHub上也很少找到相应的代码。

　　极盛的时候，Caffe占据了计算机视觉研究领域的半壁江山，虽然如今Caffe已经很少用于学术界，但是仍有不少计算机视觉相关的论文使用Caffe。由于其稳定、出众的性能，不少公司还在使用Caffe部署模型。Caffe2尽管做了许多改进，但是还远没有达到替代Caffe的地步。

　　MXNet是一个深度学习库，支持C++、Python、R、Scala、Julia、MATLAB及JavaScript等语言；支持命令和符号编程；可以运行在CPU、GPU、集群、服务器、台式机或者移动设备上。MXNet是CXXNet的下一代，CXXNet借鉴了Caffe的思想，但是在实现上更干净。在2014 年的NIPS 上，同为上海交大校友的陈天奇与李沐碰头，讨论到各自在做深度学习 Toolkits 的项目组，发现大家普遍在做很多重复性的工作，例如文件 loading 等。于是他们决定组建 DMLC【Distributied （Deep） Machine Learning Community】，号召大家一起合作开发 MXNet，发挥各自的特长，避免重复造轮子。

　　MXNet以其超强的分布式支持，明显的内存、显存优化为人所称道。同样的模型，MXNet往往占用更小的内存和显存，并且在分布式环境下，MXNet展现出了明显优于其他框架的扩展性能。

　　由于MXNet最初由一群学生开发，缺乏商业应用，极大地限制了MXNet的使用。2016年11月，MXNet被AWS正式选择为其云计算的官方深度学习平台。2017年1月，MXNet项目进入Apache基金会，成为Apache的孵化器项目。

　　尽管MXNet拥有最多的接口，也获得了不少人的支持，但其始终处于一种不温不火的状态。个人认为这在很大程度上归结于推广不给力及接口文档不够完善。MXNet长期处于快速迭代的过程，其文档却长时间未更新，导致新手用户难以掌握MXNet，老用户常常需要查阅源码才能真正理解MXNet接口的用法。

　　为了完善MXNet的生态圈，推广MXNet，MXNet先后推出了包括MinPy、Keras和Gluon等诸多接口，但前两个接口目前基本停止了开发，Gluon模仿PyTorch的接口设计，MXNet的作者李沐更是亲自上阵，在线讲授如何从零开始利用Gluon学习深度学习，诚意满满，吸引了许多新用户。

　　2015年8月，微软公司在CodePlex上宣布由微软研究院开发的计算网络工具集CNTK将开源。5个月后，2016年1月25日，微软公司在他们的GitHub仓库上正式开源了CNTK。早在2014年，在微软公司内部，黄学东博士和他的团队正在对计算机能够理解语音的能力进行改进，但当时使用的工具显然拖慢了他们的进度。于是，一组由志愿者组成的开发团队构想设计了他们自己的解决方案，最终诞生了CNTK。

　　根据微软开发者的描述，CNTK的性能比Caffe、Theano、TensoFlow等主流工具都要强。CNTK支持CPU和GPU模式，和TensorFlow/Theano一样，它把神经网络描述成一个计算图的结构，叶子节点代表输入或者网络参数，其他节点代表计算步骤。CNTK 是一个非常强大的命令行系统，可以创建神经网络预测系统。CNTK 最初是出于在 Microsoft 内部使用的目的而开发的，一开始甚至没有Python接口，而是使用了一种几乎没什么人用的语言开发的，而且文档有些晦涩难懂，推广不是很给力，导致现在用户比较少。但就框架本身的质量而言，CNTK表现得比较均衡，没有明显的短板，并且在语音领域效果比较突出。

　　除了上述的几个框架，还有不少的框架，都有一定的影响力和用户。比如百度开源的PaddlePaddle，CMU开发的DyNet，简洁无依赖符合C++11标准的tiny-dnn，使用Java开发并且文档极其优秀的Deeplearning4J，还有英特尔开源的Nervana，Amazon开源的DSSTNE。这些框架各有优缺点，但是大多流行度和关注度不够，或者局限于一定的领域。此外，还有许多专门针对移动设备开发的框架，如CoreML、MDL，这些框架纯粹为部署而诞生，不具有通用性，也不适合作为研究工具。

　　因为PyTorch是当前难得的简洁优雅且高效快速的框架。在笔者眼里，PyTorch达到目前深度学习框架的最高水平。当前开源的框架中，没有哪一个框架能够在灵活性、易用性、速度这三个方面有两个能同时超过PyTorch。下面是许多研究人员选择PyTorch的原因。

　　① 简洁：PyTorch的设计追求最少的封装，尽量避免重复造轮子。不像TensorFlow中充斥着session、graph、operation、name_scope、variable、tensor、layer等全新的概念，PyTorch的设计遵循tensor→variable(autograd)→nn.Module 三个由低到高的抽象层次，分别代表高维数组（张量）、自动求导（变量）和神经网络（层/模块），而且这三个抽象之间联系紧密，可以同时进行修改和操作。

　　简洁的设计带来的另外一个好处就是代码易于理解。PyTorch的源码只有TensorFlow的十分之一左右，更少的抽象、更直观的设计使得PyTorch的源码十分易于阅读。在笔者眼里，PyTorch的源码甚至比许多框架的文档更容易理解。

　　② 速度：PyTorch的灵活性不以速度为代价，在许多评测中，PyTorch的速度表现胜过TensorFlow和Keras等框架 。框架的运行速度和程序员的编码水平有极大关系，但同样的算法，使用PyTorch实现的那个更有可能快过用其他框架实现的。

　　③易用：PyTorch是所有的框架中面向对象设计的最优雅的一个。PyTorch的面向对象的接口设计来源于Torch，而Torch的接口设计以灵活易用而著称，Keras作者最初就是受Torch的启发才开发了Keras。PyTorch继承了Torch的衣钵，尤其是API的设计和模块的接口都与Torch高度一致。PyTorch的设计最符合人们的思维，它让用户尽可能地专注于实现自己的想法，即所思即所得，不需要考虑太多关于框架本身的束缚。

　　④活跃的社区：PyTorch提供了完整的文档，循序渐进的指南，作者亲自维护的论坛 供用户交流和求教问题。Facebook 人工智能研究院对PyTorch提供了强力支持，作为当今排名前三的深度学习研究机构，FAIR的支持足以确保PyTorch获得持续的开发更新，不至于像许多由个人开发的框架那样昙花一现。

　　在PyTorch推出不到一年的时间内，各类深度学习问题都有利用PyTorch实现的解决方案在GitHub上开源。同时也有许多新发表的论文采用PyTorch作为论文实现的工具，PyTorch正在受到越来越多人的追捧 。

　　使用TensorFlow能找到很多别人的代码，使用PyTorch能轻松实现自己的想法。

　　几平所有的框架都是基于计算罔1的，而计算图又可以分为静态计算图和动态计算 阁，静态计算图先定义再运行( defin巳 and run )，一次定义多次运行，而动态计算罔是 在运行过程中被定义的，在运行的时候构建( define by run )，可以多次构建多次运行。 PyTorch 和 TensorFlow 都是基于计算阁的深度学习框架， PyTorch 使用的是动态图，而 TensorFlow 使用的是静态阁 。 在 PyTorch 中每一次前向传播(每一次运行代码)都会创 建一幅新的计算图。

　　静态、图一旦创建就不能修改， 而且静态、图定义的时候，使用了特殊的语法，就像新 学一门语言。 这还意味着你无法使用 if、 whil巳、 for-loop等常用的 Pythoni吾句。 因此静 态图框架不得不为这些操作专 门设计语法 ，同时在构建图 的时候必须把所有可能 州现 的情况都包含进去，这也导致了静态图过于庞大， 可能占用过高的显存。 动态图框架就 没有这个问题，它可以使用 Python的 if、 while、 for-loop等条件语句，最终创建的计算 图取决于你执行的条件分支 。

　　动态计算图的设计思想正被越来越多人所接受， 2017 年 1 月 20 日前后，先后有三款深度学习框架发布: PyTorch、 MinPy 和 DyNet，这三个框架都是基于动态图 的设 计模式。 PyTorch便是其中的佼佼者，至今已成为动态图框架的代表。 在 PyTorch之前， Chainer就以动态图思想设计框架，并获得用户的一致好评，然而 Chainer是由日本科 学家开发的，开发人员和文档都偏向于日本本土，没有很好地做推广 。 PyTorch 的发布让许多用户第一次发现原来深度学习框架可以如此灵活、如此容易、 还如此快速。

　　动态图的思想直观明了，更符合人的思考过程。 动态、图的方式使得我们可以任意 修改前向传播，还可以随时查看变量的值。 如果说静态要框架好比 C++， 每次运行都要 编译才行( session .run )， 那么动态图框架就是 Python，动态执行，可以交互式查看修 改。 动态图的这个特性使得我们可以在!Python 和 JupyterNotebook上随时查看和修改 变量， 十分灵活。

　　动态图带来的另外一个优势是调试更容易，在 PyTorch 中，代错的地方，往往 就是你写错代码的地方，而静态图需要先根据你的代码生成 Graph对象，然后在 session. run()时报错，这种报错几乎很难找到对应的代码中真正错误的地方 。

　　林月莲陆云峰免费阅读无弹窗_林月莲陆云峰全文完结免费阅读_林月莲陆云峰最新章节在线阅读_林月莲陆云峰全文完结免费阅读_林月莲陆云峰小说在线免费阅读

　　小说简介：嫁给他后，她默默守护瘫痪婆婆，却换来老公出轨、小三上位，还带着个私生子认祖归宗，连婆婆都偏心要把家产全给...

　　江畔清月高悬（沈子期江芊芊）全文在线阅读无弹窗大结局_（沈子期江芊芊）江畔清月高悬在线阅读无弹窗最新章节列表_笔趣阁（沈子期江芊芊）

　　江畔清月高悬（沈子期江芊芊）全文在线阅读无弹窗大结局_（沈子期江芊芊）江畔清月高悬在线阅读无弹窗最新章节列表_笔趣...

　　(番外)+(全文)极寒末日，手撕白眼狼养女一家：全文+后续+大结局(林娇娇林东)小说免费阅读无弹窗大结局_极寒末日，手撕白眼狼养女一家：全文+后续+大结局无弹窗完整版阅读

　　主角：林娇娇林东 简介：气温降至零下十度，养女担心她乡下亲生父母没暖气，哭闹着非要去看看。而我只担心她路上不安全，...

　　盘点2024年百达翡丽鹦鹉螺高仿男士手表，推荐10个购买渠道 在奢侈品手表领域，百达翡丽（Patek Philip...

　　小心谨慎！《永卓控股》APP是新型诈骗软件，发现被骗无法出金应该怎么办！

　　真相！《永卓控股》APP操作失误为由!骗局警示! 震惊！《永卓控股》APP平台不能出金怎么办! 曝料！《永卓控股》...

　　全文+番外陆缉尘林之念《权臣小叔子兼祧两房，亡夫现身了》小说免费在线阅读_《权臣小叔子兼祧两房，亡夫现身了》全文免费在线阅读_笔趣阁（陆缉尘林之念）

　　简介：他，曾被视为不祥之人，婚礼当天被狗血淋头，囚禁地窖。幸得嫂嫂援手，重获新生，刻苦读书，誓要改变命运。她守寡之...

　　蒙口衣服作为目前市场上备受推崇的品牌，以其高性能和时尚设计吸引了众多消费者。然而，正品蒙口的价格相对较高，这使得很...

　　小说：《步步春情》 主角：韩雪老谢 简介：韩雪有种令男人窒息的美，她不仅漂亮，还特别有气质，微卷的头发犹如瀑布一...AG真人国际