机器学习驱动的手写笔功能

　　腾讯科技讯 据媒体报道，机器学习和人工智能现在几乎渗透到iPhone的每项功能中，但苹果并没有像一些竞争对手那样大肆宣扬这些技术。日前两位苹果公司高管深入阐述了公司的人工智能策略。

　　从历史上看，苹果在人工智能方面似乎并不出彩，这在一定程度上是因为人们往往把人工智能与数字助理联系在一起，评论人士经常认为Siri不如谷歌Assistant或亚马逊Alexa有用。对于机器学习而言，许多技术爱好者认为更好模型意味着需要更多数据，但是苹果公司又不像谷歌那样以收集数据而出名。

　　尽管如此，苹果公司还是在大多数设备中加入了用于机器学习任务的专用硬件。在苹果高管登台介绍iPhone、iPad或苹果手表新功能的关键发言中，人工智能驱动的功能日益占据主导地位。今年晚些时候，苹果将推出搭载苹果硅芯片的Mac电脑，这也将给苹果笔记本电脑和台式电脑带来许多相同的人工智能开发成果。

　　在苹果宣布推出自研芯片之后，苹果负责机器学习和人工智能战略的高级副总裁约翰·詹安德里亚(John Giannandrea)和产品营销副总裁鲍勃·博尔切斯(Bob Borchers)详细阐述了苹果的人工智能策略，解释了机器学习如何为某些功能提供驱动力。

　　苹果的人工智能策略是什么?

　　詹安德里亚和博尔切斯都是在过去几年加入苹果的；他们都曾在谷歌工作过。博尔切斯实际上是在离开公司一段时间后重新加入苹果；2009年之前，他一直担任iPhone的高级营销总监。2018年，詹安德里亚从谷歌离职加入苹果，他曾是谷歌人工智能和搜索业务负责人。

　　谷歌和苹果是完全不同的两家公司。谷歌以参与甚至在某些情况下领导人工智能研究社区而闻名，而苹果过去大多时间是关起门来做自己的事。近年来，随着机器学习让苹果设备的众多功能得到增强，加之苹果也加强了与人工智能社区的合作，这种情况发生了变化。

　　“当我加入苹果的时候，我已经是iPad的用户，而且我很喜欢搭配的苹果铅笔，”詹安德里亚说。“所以，我会盯着软件团队说，’好吧，研究手写功能的机器学习团队在哪里？我没有找到它。’”结果，他所寻找的团队并不存在。詹安德里亚说，考虑到机器学习是目前该功能可用的最佳工具之一，这很令人惊讶。

　　“我知道，有那么多的机器学习需要苹果去开发，所以让人惊讶的是，并不是所有的东西都能真正完成。在过去两三年里，情况发生了巨大变化。”詹安德里亚表示，“我真的认为，在未来几年里，iOS或苹果的体验中没有哪个会少了机器学习。”

　　当被问及为什么他觉得苹果是适合自己的地方时，詹安德里亚的回答同时也是对苹果人工智能战略的简要总结：“我认为苹果一直是创造力和技术交汇的代表。我认为，从应用到框架再到芯片，考虑构建智能体验并进行垂直集成是非常重要的……我认为这是一个过程，我认为这就是我们拥有的计算设备未来，先是智能化，然后将智能化变为司空见惯的事。

　　博尔切斯补充道，“这显然是我们的方法，我们做的每件事都是‘让我们专注于效果是什么，而不是实现方式’。最好的情况下会变成自动的。你只会关注发生了什么，而不是怎么发生的。”

　　在谈到手写笔的例子时，詹安德里亚指出，在打造机器智能驱动的功能和产品方面，苹果处于“行业领先”的最佳位置：

　　“我们制造了苹果笔，我们也制造了iPad，我们为两者都开发了软件。我们在哪些方面做得很好?让别人在电子屏幕上做笔记，并富有创造力地思考问题。我感兴趣的是看到这些体验在全世界范围内被大规模使用。”

　　他将其与谷歌进行了对比。“谷歌是一家很棒的公司，那里有一些真正伟大的技术人员。但从根本上说，他们的商业模式不同，他们并不提供数亿人使用的消费体验。”

　　目前苹果是如何应用机器学习的?

　　在苹果公司最近的演示中，苹果公司习惯性地将iPhone、苹果手表或iPad的某些功能改进归功于机器学习，但很少涉及太多细节，而且大多数购买iPhone的人从来没有看过这些演示。相比之下，谷歌将人工智能放在了向消费者传递信息的中心位置。

　　苹果的软件和设备中使用了大量机器学习技术，其中大多数都是过去几年才出现的新产品。

　　机器学习被用来帮助iPad软件区分用户在用苹果笔画画时是不小心将手指压在来屏幕上，还是有意按一下以进行输入。它能够监控用户的使用习惯，从而优化设备的电池寿命和充电效果。它还被用来推荐应用程序。

　　然后是Siri，这可能是任何iPhone用户都会认为是人工智能的东西。从语音识别到Siri提供有用答案的尝试，Siri的多个功能都是由机器学习驱动的。

　　iPhone用户可能还会注意到，照片应用程序能够自动将图片归类到预先创建的图库中，或者当某个朋友的名字被输入到照片应用程序的搜索字段时，背后的机器学习会准确找到她的照片。

　　在其他情况下，很少有用户会意识到是机器学习在起作用。例如，用户每次按下快门按钮时，iPhone可能会连续快速拍摄多张照片。然后，经过机器学习训练的算法会对每幅图像进行分析，并将最好的部分合成为一张照片。

　　智能手机早已经开始使用图像信号处理器(ISP)来提高照片质量，但苹果在2018年加快了这一进程，让iPhone中的ISP与最新的机器学习处理器神经引擎（Neural Engine）紧密集成。

　　提到苹果在最新软件和产品中如何使用机器学习时，詹安德里亚给出了很多例子：“很多新的体验都是由机器学习驱动的。像语言翻译、设备上的听写指令，或诸如睡眠、洗手或心脏健康等医疗保健方面的新功能都是如此。我认为iOS中没有机器学习的地方越来越少。”

　　“在用户体验中，很难找到没有预测性(功能)的部分。比如，应用预测，或者键盘输入预测，或者智能手机摄像头都会运行大量的机器学习，来找出他们所谓的“主题”，也就是图片中最重要的部分是什么？或者使用人像拍摄模式时模糊背景也是这样。”

　　“所有这些都得益于苹果核心平台内建的机器学习功能。所以，这就像是，‘很难找到一些不用机器学习的东西’。”

　　博尔切斯也将可访问性作为重要例子。他说:“正因为如此，它们才得以成为可能。” “随着时间的投入和内置功能的出现，诸如声音检测之类的功能可能会改变特定社区的游戏规则。”

　　此外，用户可能已经注意到苹果在过去几年的软件和硬件升级都强调了增强现实，其中的大多数功能实现都要归功于机器学习。詹安德里亚表示，“机器学习在增强现实中得到了广泛的应用。难点在于所谓的同步定位与建图（SLAM）。所以，试着理解当你带着有激光雷达扫描仪的iPad四处移动，它会看到什么？如何将设备实际看到的东西转化为三维模型？”

　　“现在使用的是深度学习，而且能够在设备上实时运行。如果用户拿着iPad四处移动，还需要上传到数据中心就没有意义了。所以总的来说，正是深度学习能够将原始数据转成想要的语义。”

　　苹果公司更多是通过苹果神经引擎（ANE）或定制的图形图像处理单元（GPU）在本地设备上执行机器学习任务。詹安德里亚和博尔切斯都认为，这种方法使得苹果的战略在竞争对手中与众不同。

　　为什么要在本地设备上处理？

　　人们通常把机器学习归结为这样一个想法：更多数据意味着更好的模型，而更好的模型反过来又意味着更好的用户体验和产品。这也是为什么很多人经常说谷歌、亚马逊或Facebook可能是人工智能领域领导者的原因之一；这些公司运营着大量的数据收集引擎，部分原因是它们运营并能够全面了解已经成为世界大部分地区关键数字基础设施的数据。根据这一标准，一些人认为苹果不太可能取得同样效果，因为它的商业模式完全不同，而且公开承诺限制数据收集。詹安德里亚表示，“是的，我也清楚这种认为基于数据中心大型模型在某种程度上更准确的说法，但实际上从技术上讲这是错误的。最好在接近数据的地方运行模型，而不是到处移动数据。不管是位置数据还是锻炼数据，最好离数据源近一点，这样也保护了用户隐私。”

　　博尔切斯和詹安德里亚都反复强调了在数据中心进行这项工作的隐私影响，但是詹安德里亚说本地化处理也与性能有关。

　　“另一个大问题是延迟，”他说。“如果你要把东西发送到数据中心，想要以帧率实现功能真的很难。我们在应用商店中有很多应用可以做一些事情，比如弄清楚人在四处走动，比如识别他们的腿和胳膊在哪里。这是我们所提供的一个高级API。从本质上说，这只有在你能以帧率进行操作时才有用。”

　　詹安德里亚给出了另一个消费者用例：“在你用相机拍照之前，相机会实时看到一切。它可以帮助你决定什么时候拍照。如果您想在服务器上做出决定，就必须将每一帧发送到服务器，以决定如何拍摄照片。这就没有任何意义可言了，对吧？有很多你想要打造的体验最好在本地设备上完成。”

　　当被问及苹果公司如何选择何时在本地化设备上运行功能时，詹安德里亚的回答很直接：“当我们能够满足，或者超越在服务器上能实现的功能质量。”

　　此外，两位苹果公司的高管还将苹果定制芯片作为在本地化设备处理数据的先决条件，而自iPhone 8和iPhone X以来内置的神经引擎最为重要。神经引擎是八核的神经处理单元(NPU)，主要作用就是处理某些类型的机器学习任务。

　　“这是一个漫长的历程，因为硬件在五年前还不能做到这一点，”詹安德里亚说。“神经引擎的设计是完全可扩展的。iPad的神经引擎比iPhone中的大，比苹果手表中的大，但整个产品线中应用程序的CoreML API接口层基本是一样的。”

　　当苹果公开谈论神经引擎时，会分享一些性能数据，比如2018年的A12芯片每秒可执行5万亿次运算。但苹果并没有详细介绍芯片架构。詹安德里亚拒绝透露神经引擎工作原理方面的更多细节。相反他说，应用程序开发人员可以从CoreML收集他们需要知道的所有信息。CoreML是一个软件开发API，可以让开发人员访问iPhone的机器学习功能。

　　詹安德里亚说，“CoreML开发者API非常清楚地概述了我们所支持的机器学习模型、可运行的模型种类……我们支持的内核越来越多。你可以从中找到诸如PyTorch或TensorFlow等所有主流的机器学习模型。你可以对模型进行编译，然后提供给CoreML。”

　　“CoreML的工作是找出在哪里运行模型。也许正确的做法是在神经引擎上运行，但在GPU或在CPU上运行模型也可能是正确的做法。我们的CPU也针对机器学习进行了优化。”

　　苹果两位高管在谈话中都提到了第三方开发商的应用，也提到了苹果自己的应用。公司的战略不仅仅是推动苹果自家服务和功能，也会向大型开发人员社区开放部分功能。自2008年应用商店首次开放以来，苹果一直依赖开发者在其平台上进行创新。该公司在更新内部开发的应用程序时，经常会借鉴那些开发者的想法。

　　当然，苹果设备并不是唯一内置机器学习芯片的设备。例如，三星、华为和高通都在他们的芯片系统嵌入了神经网络处理器。谷歌也为开发人员提供机器学习API。不过谷歌策略和商业模式明显不同，Android手机在本地设备上无法完成如此多的机器学习任务。

　　搭载苹果硅芯片的Mac电脑

　　苹果之所以推出搭载自研芯片的Mac电脑众多原因之一可能是芯片中嵌入了神经引擎芯片。博尔切斯对此回应：“我们将首次拥有一个通用平台，一个可以支持我们想做的事情和开发者想做的事情的芯片平台……这将解锁一些我们能想到的有趣东西，但可能更重要的是，随着时间推移，将为其他开发人员带来更多收获。”

　　詹安德里亚举了一个具体例子来说明将如何在Mac上应用苹果的机器学习工具和硬件：

　　“基本的想法是：逐帧浏览一个视频，然后做目标检测。我们的自研芯片会比传统平台快一个数量级。

　　“然后你可能会说，’嗯，这很有趣，但有什么用呢？’想象一下，有这样一个视频编辑器，还有一个搜索框，你可以说，’帮我找到桌子上的披萨。’然后它就会找到那一帧图像。这就是我认为人们会想要的体验。我们非常希望开发人员能使用这些框架，并通过开发实际应用为我们带来惊喜。”

　　苹果公司此前在开发者大会上表示，计划从今年晚些时候开始，在Mac电脑上安装自研硅芯片。

　　那么隐私呢?

　　在过去几年里，隐私一直是苹果向用户所传达信息的重点。苹果在主题演讲和营销材料中一再提及用户隐私，在iOS系统中也有关于隐私的提醒，在访谈中也经常出现这一话题。

　　“人们担心人工智能泛滥，因为他们不知道它是什么，”詹安德里亚说。“他们认为人工智能的能力比实际更强，或者他们从科幻小说的角度看待人工智能，而且比尔·盖茨(Bill Gates)和埃隆·马斯克(Elon Musk)等有影响力的人都说这是一项危险的技术。”

　　他认为，其他大型科技公司对人工智能的炒作是负面而非正面，因为这些公司让“人们对这项技术感到担忧”。

　　在这种情况下，术语“人工智能”可能会让人联想起流行文化中的机器恶魔，比如《终结者》里的天网等等。但大多数应用人工智能领域的专家表示，这种黑暗的结果远非现实。诚然，由机器学习驱动的科技会带来很多风险，比如继承和放大人类的固有偏见，但变粗暴和暴力攻击人类似乎不太可能在不久将来发生。

　　机器学习实际上并不会让机器变得像人类那样智能。出于类似原因，许多人工智能专家提出了一些诸如“机器智能”等替代性术语，表明机器与人类智能没有可比性。

　　无论如何，机器学习会带来一种非常真实且迫在眉睫的危险：破坏用户隐私。一些公司以机器学习和训练为理由，积极收集用户的个人数据，并将其上传到数据中心。

　　正因为如此，苹果在用户本地设备上进行大量数据收集和处理。詹安德里亚明确地将这一决策与隐私问题联系起来。“我认为我们在这个问题上有一个非常明确的立场，那就是我们将在用户设备上尽可能多地使用这种机器学习先进技术，而且数据不会离开用户设备，”他说。“我们明确认为我们的设备更安全更好，或者应该更值得信任。”

　　詹安德里亚以文字转语音举例：“如果你说，’请给我读一下鲍勃发来的信息。’信息文本转语音是在本地设备的神经引擎上进行的。正因为如此，我们永远不会看到鲍勃发来的信息内容，因为是你的手机在读取信息，而不是服务器在读取。因此，该消息的内容从未到达服务器。”

　　”所以这是一个很好的例子，说明先进技术实际上改善了实用性。因为语音是在本地设备上合成的，所以即使用户断开网络连接，它仍然可以工作。还有隐私问题。这真的很难做到，为了把现代高质量的文本到语音功能整合到一个可以装进口袋里的设备中，我们需要进行很多艰辛的工程。”

　　当然在许多情况下，苹果必须使用一些用户数据进行机器学习。那么苹果到底是如何使用所处理的用户数据呢？詹安德里亚解释道：“一般来说，我们有两种构建模型的方法。一种是我们在合适情况下收集和标记数据。还有一种情况是，我们会请求用户捐赠数据。最著名的例子就是Siri，当你设置iPhone时，我们会说，’你愿意帮助让Siri变得更好吗?’”

　　”在这种情况下，用户会将一定量的数据捐赠给我们，然后其中非常小一部分可能会用于训练。但是，诸如手写笔等很多应用大可以通过收集足够数据来进行训练，基本上不需要使用任何消费者数据就能处理每位用户的笔迹。”

　　最近，苹果添加了一些请求使用用户数据的提示。去年夏天，一份报告显示，Siri会记录用户在意外激活后的说话内容；负责Siri功能质量审核的第三方外包人员也听到了其中一些录音。

　　作为回应，苹果承诺只在用户明确选择通过分享录音来改善Siri功能时才会存储与Siri相关的音频，并将所有的功能质量审核工作都放在了苹果公司内部进行。当问及苹果在数据处理上与外包商有什么不同时，詹安德里亚回答说：“我们有很多保障措施。例如，我们有一个确定音频是否与Siri有关的过程，这与实际听音频的过程是完全分离。所以我们在内部做了很多事情来确保我们没有收集任何意外的音频。”

　　”但是，如果你不愿意真正地进行功能质量审核，那么你就永远不会去掉这些意外的录音，让功能变得更好。如你所知，机器学习要求你不断地改进它。所以我们在把工作引入公司内部的同时，也会彻底检查我们的工作流程。我非常有信心，我们有一个非常好的流程，能以一种保护隐私的方式来改善Siri功能。”

　　很明显，苹果希望将用户隐私保护作为其设备的关键功能；在詹安德里亚看来，这是一种真正的信念。但其也可能在市场营销上帮助苹果，因为苹果在移动领域的最大竞争对手保护隐私方面要糟糕得多，而随着用户越来越担心人工智能对隐私的影响，这给苹果留下了一个机会。

　　詹安德里亚和博尔切斯最终都回到了苹果公司的两点策略：首先在本地执行机器学习任务有利于提高性能，此外这样做更“保护隐私”。

　　打开黑匣子

　　长期以来，苹果主要是在默默开发人工智能功能，但在过去几年里，苹果对机器学习的重视程度大大提高。

　　苹果会定期出版图书、赞助学术活动、发放奖学金、赞助实验室、参加AI/ML会议。它最近重新上线了一个机器学习博客，分享了一些自己的研究。苹果还在大举招聘，招聘工程师和机器学习领域的其他人才，包括詹安德里亚本人也是两年前加入苹果。

　　虽然苹果没有像谷歌那样引领人工智能研究领域，但它至少在为更多用户带来机器学习成果方面处于领先地位。

　　还记得詹安德里亚说过，他曾很惊讶机器学习没有被用于手写笔。他接着看到实现这一目标的团队成立并成长。与其他团队一起，他们推进了机器学习驱动的手写功能，这也是iPadOS 14的基础功能。

　　“在苹果，我们有很多了不起的机器学习人才，我们会继续招贤纳士，”詹安德里亚说。“我发现，苹果很容易吸引世界一流的人才，因为在我们的产品中，机器学习对于我们希望为用户打造的体验至关重要，这一点越来越明显。”

　　短暂的停顿后，詹安德里亚补充道：“我想最大的问题是，我们最雄心勃勃的产品中有许多是我们不能公开谈论的，所以要告诉别人’来工作吧，这是有史以来最雄心勃勃的工作。但我不能告诉你它是什么’，这是一个挑战。”

　　如果相信大型科技公司和风险资本投资，那么人工智能和机器学习在未来几年只会变得更加普遍。无论如何，詹安德里亚和博尔切斯明确了一件事：机器学习现在在苹果产品和许多消费者日常使用的功能中扮演着重要的角色。随着搭载苹果自研芯片的Mac电脑发布，机器学习在苹果的作用可能会继续增强。