何时为您的深度学习应用程序选择基于云的本地计算

人工智能界有句老话：一旦软件开始工作，人们就不再称之为AI。您可以提出这样的论点，即在神经网络复兴的最后〜6年中发生了相反的情况，随着夸大的炒作的旧烙印逐渐消失，机器学习研究人员回到了AI一词。但是，它确实指出了技术成熟度的有趣指导：当您不再注意到它时，它就已经成熟。这就是为什么旧的Palm Pilots是一个对话部件，而现代智能手机却完全不被注意的原因。深度学习的一项特别强大的实现是语音助手的激增。

尽管对各种语音助手的失败案例有很多有效的批评，但是通过自然语言处理，卷积神经网络和长时短期记忆模型的组合实现的语音识别总体上是不错的。但是，当互联网中断时，只需尝试从Siri或Cortana获得响应即可。

在没有云计算的情况下与Siri交谈，您不妨是1980年代PC(配有轨迹球鼠标)上的《星际迷航》的Scotty。

这将我们带到了今天的话题：深度学习应用程序中云计算的不足之处是什么?作为适合于深度学习应用程序的现场高性能计算硬件和软件的提供商，Exxact在识别和描述现场计算在成本，灵活性，私密性和/或优势方面优于云的那些场景方面具有特殊的专业知识。或安全性。其中一些应用是显而易见的：在高速公路上以无人驾驶方式行驶的汽车中，您几乎不需要依靠Cloud计算来进行对象识别和决策过程

尽管自动驾驶汽车显然需要携带自己的计算能力，但许多其他应用程序却需要选择最重要的因素进行优化。与诸如驾驶之类的关键应用不同，语音助手模型中的故障令人讨厌，但不是致命的。离线运行语音识别模型有助于节省移动应用程序中的电池使用量，并确保始终使用最新模型。另一方面，某些人可能会在节省电池电量和个人隐私方面权衡(针对自己或他们的客户)，然后选择离线语音识别模型。

在决定下一个项目的云计算还是本地计算时，考虑计算需求的各个方面非常重要。许多人甚至可能没有意识到他们不需要自己的仓库大小的数据中心来匹配云计算虚拟机的性能：像NVIDIA的DGX-1之类的深度学习超级计算机或定制的Tensor工作站都没有比传统的个人计算机大很多。

云计算的卖点之一是“弹性”，即根据需要快速启动其他虚拟机的能力。听起来可能与直觉相反，但在预安装框架或硬件选择方面，这种弹性并不一定会提高灵活性。例如，从Amazon Web Services投资保留的P2 / P3实例，您会发现自己只能选择在较早的K80和功能更强大但价格更高的Tesla V100 GPU之间进行选择。

为深度学习应用程序选择定制系统，可以灵活选择GPU。不仅如此，现场提供商还支持专门的软件配置，不仅包括无处不在的TensorFlow，Torch和Theano库，还包括用于药物发现的更深奥的软件包，例如DL4J，Chainer和Deepchem。专门的框架提供了轻松的灵活性，而主要云提供商所提供的“一刀切”的解决方案并不总是具有这种灵活性，并且该解决方案配置了所有依赖项，可以即开即用地平稳运行。请记住，开发人员/研究人员的时间通常是您最宝贵的资源。

云计算无需担心升级和维护，因此您和您的团队可以专注于解决实际问题。还不那么明显的是，从专门的提供商那里购买深度学习系统可以提供许多相同的好处，而如果没有DIY系统，您将很难获得服务和保修。

安全与隐私

辩论云与现场决策时，首先要想到的是功能和成本方面的明显考虑，但实际上，在许多应用程序中，数据安全性或隐私要求将为您做出选择。作为公众，我们可能越来越习惯于云服务中出现安全漏洞的消息，例如描述2016年大选的美国选民的个人信息，由数据服务公司Deep Roots Analytics 在AWS上公开，但在建立过程中具有潜在敏感数据的研究或业务项目，其后果都是真实的。

云资源的便利是以增加暴露的攻击面为代价的，这些攻击面可能容易受到恶意或意外破坏的攻击。现场系统可减轻部分风险，可以将其配置为针对安全，有空隙的系统进行优化，以避免侧通道攻击。

服务于政府，执法，国防和医疗行业的应用都对维护数据安全性有严格的规定，通常会阻止使用第三方存储解决方案。在其他情况下，私有数据的控制和保护可能只是一个灰色区域，但是内部最佳实践可能会鼓励现场数据存储。银行，金融科技或保险应用程序都处理敏感数据，即使对于没有明确法规要求的区域，当违规行为可能造成长期声誉损失时，也要优先考虑数据安全性。

成本

一个众所周知的秘密是，与专用系统相比，云计算可能会昂贵，特别是对于事先已知的具有可靠计算需求的任务而言。云计算和现场系统的成本比较估计值从一般数据中心的 2 倍到深度学习特定设置的3-4倍不等。另一方面，云计算可能适用于未知或相差很大的计算要求。就是说，如果您不知道模型将以何种规模运行，则可以使用云计算来探索您在概念和扩展到专用现场系统之间的使用需求。

有一些因素使云计算在价格方面难以与现场系统竞争。像NVIDIA这样的硬件制造商经常向数据中心客户销售同一GPU的价格更高的版本，并使用许可协议细分消费者和数据中心市场(这是我们在AWS P2实例中看到K80 GPU的原因之一)。大型数据中心也增加了热工程成本，这些成本最终将成为价格的一部分。由于现有的热效率低下，DeepMind可以将Google数据中心的数据中心冷却效率提高40%。最后，安装现场系统使您的组织可以对税收负债主张折旧。

对于不排除现场解决方案或云解决方案的应用规范，成本为王。在这种情况下，应该根据主要云计算提供商的可比订阅来设置总拥有成本。请记住，下面的数字是估算值，基于云的项目通常会因不很明显的数据存储和传输等费用而产生额外费用。

下面显示了运行有专门针对机器学习的Amazon Web Servies P2和P3实例的成本，有无3年订阅(3年承诺需要预先支付部分费用)。有关最新定价，请查看P2和P3实例的AWS EC定价页面。定制的现场系统对底层硬件的价格波动更为敏感，从而允许提供商传递与推出新GPU架构相关的价格下降。

因此，下面报告的现场系统的拥有成本表示为一个相对保守的近似值，并假设3年内出现了总折旧。其他成本比较估计维护和运行成本为每年原始购买成本的50%，但仅考虑电力成本(成本估算中估计为每千瓦*小时0.20美元)可能更有意义。维护费用由保修覆盖。值得注意的是，即使以每年50%的维护成本估算，利用率为100%的现场系统仍将比速度较慢的Cloud同类系统便宜得多。虽然“低端” P100现场配置的每小时费用比预留的p2.xlarge AWS实例低约50%，但P100 GPU的性能比旧的K80 GPU快约4倍。Tensorflow基准测试。

云计算对于小型，未知或可变的计算要求非常有意义，但是对于大规模深度学习而言，考虑使用专用的现场系统有许多优势。对于连续，大规模和预期的深度学习计算要求，使用专用现场系统可节省大量成本。DIY系统和用于较小或更多实验工作负载的全面设置之间的计算需求可以通过具有成本效益且功能强大的深度学习工作站来满足。