亚马逊AWS官方博客

AWS Deep Learning Amazon 系统映像 (AMI) 旨在帮助您在 AWS 上构建稳定、安全且可扩展的深度学习应用程序。AMI 预安装了常用的深度学习框架，具有 GPU 驱动程序和库，让您可以训练复杂的 AI 模型并在云中进行扩展。 最新版 AWS Deep Learning AMI 可用于 Ubuntu 和 Amazon Linux 平台。AMI 中包括多项更新，其中最引人注目的是支持 Keras 的 MXNet 0.11。MXNet 现可作为运行 Keras 1.2 的用户的后端选择。利用 MXNet，Keras 用户可以轻松设置多 GPU 以实现训练和近线性扩展的出色性能。要了解有关使用 MXNet 作为 Keras 后端的好处的更多信息，请参阅 NVIDIA 的博客。AMI 现在还可与最新版 TensorFlow (1.3.0 版) 一起运行。 使用 AMI 进行入门可谓轻松快捷。按照此分步指南 进行操作，在几分钟内便可开始深度学习。 以下是 AMI 上的深度学习框架和 […]

概述 当我们在Amazon S3中存储大量内容时，识别和分类其中潜在敏感数据可能会有点像在一个非常大的干草堆中找绣花针针，整个的过程是非常低效。那么能否有一种工具可以在数据加入到S3后就自动的识别敏感信息并自动进行分类？ 同时在我们日常的工作中，访问数据的时间间隔及物理位置相对的固定。如果发生异常的事件，例如原来某个用户一天访问一到两个文件，但如果突然在某天访问超过一百个文件，能否由系统发出告警事件提醒相关人员进行相关检查，确保安全？ 本文从如下几部分介绍Amazon Macie服务及主要功能，同时还列出常见使用场景，以及如何配置的简要步骤。希望能给大家带来帮助。 什么是Macie Amazon Macie 是一种支持人工智能技术的安全服务，可以帮助您通过自动发现、分类和保护存储在 AWS 中的敏感数据来防止数据丢失。Amazon Macie 使用机器学习来识别敏感数据 (例如,个人身份信息 [PII] 或知识产权)，分配业务价值，提供此数据的存储位置信息及其在组织中的使用方式信息。 Amazon Macie 可持续监控数据访问活动异常，并在检测到未经授权的访问或意外数据泄漏风险时发出警报。 为什么要使用Macie 对现存的海量文件进行自动的分类并且根据不同的分类制定不同的监控策略，一旦发生异常的访问需要得到及时的告警，是每个组织面临的挑战。 Amazon Macie提供了简单高效并且安全的方案，Macie通过使用机器学习来了解存储的内容和用户行为，同时提供可视化界面，展示安全分类，从而使客户能够专注于保护敏感信息，而不是浪费时间手工的处理。 Amazon Macie内置检测个人身份信息（PII）或敏感个人信息（SP）的常见敏感信息的引擎，可以自动识别出S3存储文件是否包含例如个人身份信息（PII）或其他公司财报等敏感信息，在没有Macie之前，这样的工作都需要手工的处理或者使用第三方平台。而现在可使用Macie很容易解决上述问题。 Amazon Macie持续监控数据和账户凭证 。 在发现可疑行为或对实体或第三方应用程序进行未经授权的数据访问时撤销访问或触发密码重置策略，来防范安全威胁。当Amazon Macie发出警报时，您可以使用预先在Amazon CloudWatch设置的规则发送告警，以便迅速采取行动，保护数据。 Macie主要功能 Amazon Macie首先功能分为两部分，一方面是使用自然语言处理(NLP)来理解数据，Macie可以自动对您的S3桶中的数据进行分类。另外一个是使用机器学习理解用户访问数据的行为，同时利用动态分析数据访问模式的预测分析算法，并使用日常访问的用户行为数据不断的训练并优化模型。 Macie 主要功能 自动化处理数据：分析，分类和自动处理数据，从现有的数据和访问日志分析出有规律的历史模式，用户认证数据，用户位置信息及时间信息。 数据安全和监控： 主动监控 日志数据，检测到的异常情况，转发告警信息到CloudWatch 事件或和Lambda以进行后续处理，例如自动修复安全漏洞或者发送邮件通知。 主动预防的数据的丢失，提供即时保护，无需手动干预。 可视化分析：提供存储数据的可视化详细信息。 数据研究与报告：允许用户管理配置报告。 Macie如何运作 在数据分类过程中，Amazon Macie 识别 S3 存储桶中的对象，并将对象内容流式传输到内存中进行分析。 当需要对复杂文件格式进行更深入的分析时，Amazon Macie 将下载对象的完整副本，并在短时间内保存，直到完成对象的全面分析。Amazon Macie […]

“公司刚成立时，我们没有太多地讨论企业文化。根本没有任何成文规定。我们只是成立了一家自己感觉工作氛围良好的公司。在那时看来，这很不错了。但当我们开始进行更深层次的思索时，意识到企业文化是必不可少的。我们需要把它写下来，共同讨论。分解，精心讨论细节，再融合在一起。如此反复。一遍又一遍。” — 史蒂夫·乔布斯 大多数高管都认同“人才使组织变得独一无二”这句话。高绩效者的加入可以形成推动力，加快其参与的计划的进展，同时改善他人的成果。相反，如果缺少高绩效者，可能会形成“真空环境”，不能正常完成相关计划，同时降低组织的士气。无论哪种方式，团队增加或减少的每一个人都会影响组织的 DNA 或文化 — 这种影响有时微妙，有时深远。 在过去的几十年里，我有幸在几个具有高绩效文化的公司里工作过。 我花了 11 年时间从适应 — 到拥护 — Bloomberg LP 的企业文化，从工程师、工程经理一步步成长为业务负责人。在随后的 3 年里，我以首席信息官的身份在道琼斯内部推行了企业文化变革。在过去 3 年里，我作为 AWS 全球企业战略主管，四处推广 Amazon 强大的企业文化，帮助世界上一些最大的公司变革其企业文化。 通过这段经历，我发现，具有高绩效企业文化的组织在招聘人才时，对文化契合度的要求不亚于对专业领域和/或专业知识的要求。坚实的专业知识 — 无论是工程、销售、市场营销还是其他领域 — 不应忽视，但并非全部。 在我所经历的每一个高绩效企业文化中，组织对企业文化所扮演的角色都有其目的性，得益于它产生的上升力，有助于员工更快地发挥个人潜力。因此，在说明为什么我认为组织的聘用决策考虑文化契合度会对组织有益之前，您的组织需要明白自己的企业文化是什么，最好把它记录下来。 每一家公司 — 不管其规模、行业、资历如何 — 都有自己的企业文化。 企业文化是公司现状的结果 — 而不是其成因 。 并非每一家公司都会以书面形式记录其企业文化。 如果没有明确成文的企业文化，员工可能会猜测自己该以何种方式工作，这对企业来说是一种风险。因此，就算有很多员工向生产力低下的方向发展或与工作环境格格不入，也不足为奇。 例如，我在彭博工作期间 (2001 年到 2012 年)，我们的部分企业文化是有成文规定的，有些更像是“部落文化”。每个部门都有一系列明确的指标 (如所有权、技术能力、沟通度)，公司会对员工开展测评以强化某些行为；此外，公司还有一项隐含指标，我们简单地称之为“彭博价值观”(如勇往直前、不屈不挠、完成工作 (GSD))，这是需要随着时间的推移才能慢慢感受和体会到的。事后看，我发现有一些貌似高绩效者 — 特别是具有很多以往经验的人士 — 因为抵触“彭博价值观”而成长较慢 (稍后再详细说明这一点)。 同样，Amazon 也将我们的部分企业文化以 14 条领导准则 (在 Amazon 内部，我们将其简称为 LP) 的形式记录了下来。每条 LP 都在我们的日常工作中发挥着巨大的作用，它们是在 Amazon 做任何工作 (从招聘、绩效管理到业务决策) 的关键因素 (稍后详细说明)。 在一篇相关文章中，我在 AWS 的一位同事 Joe Chung (我很荣幸认识他，我从他身上学到了很多东西) 介绍了制定明确的准则在任何大型云项目期间帮助指导决策的重要性。Joe 的许多观点适用于任何大型变更管理或企业文化原则制定活动。 不管组织有没有明确的“准则”或“价值观”，或者以其他形式描述企业文化，历史经验表明，以成文形式规定企业文化优于什么都不做 (至少对 […]

“不要总希望得到您还未得到的；这会使您看不到目前拥有的可能性” 作为 AWS 企业战略家，我拥有与全球各地面对着各种业务和技术难题的高管们会面的特权。每个客户都是独一无二的。但是，许多难题，如同历史一样，往往具有规律性。 其中一个规律是，市场中的技能难题以及“不在相应岗位上配备合适的人员就会妨碍您提高行动速度、节省资金和在云上拓展业务”这一想法。可以肯定的是，随着人们认识到让 AWS 完成基础设施领域的无差别的繁重工作的好处，包含单词“AWS”和“云”的招聘广告显著增加了。但是，我认为这种不断增加的需求或者您没能获得所需人才的感觉并不会阻碍您的企业在云方面获得成功。 AWS 企业战略部主管 Stephen Orban 在一篇最新文章中就这一问题有力地指出，“您已经拥有成功实现云迁移所需的人才。”而且，为了加强这一说法的说服力，我想要分享我本人遇到一个主要技能难题时发生的故事。事情要追溯到 2014 年，我的云之旅才刚刚开始。 当时我在英国的 Capital One 担任首席技术官，然后，我发现自己在深入思考我在我的工程师身上发现的技能差距。这些工程师确实很有才华，但他们只是精通传统的内部技术；因此，他们掌握的大部分是孤立的基础设施技能。 为了寻求改变，我随后又犯了一个经常犯的错误：创建一个独角兽式的工作规范并自以为是地将它应用于外部就业市场。当我发现在收件箱中没有收到任何对这则招聘广告的回应时，我感到十分惊讶和失望。 很明显，我漏掉了一个重要的事实。 我拥有的技能高超、积极主动且全心投入的团队就是我需要的团队。只不过，团队成员们需要一个途径、一个动机以及一个善于倾听和帮助他们消除自身与生俱来的对未知技术恐惧的人。 有关人才转型的这种认识和企业云之旅为我积累了大量最佳实践，也让我更深刻地了解人类。但我必须说实话；在这个过程中，我们犯了很多错误并且浪费了很多时间。但是我们还是找到了一条途径，最终发挥了作用并且为 Capital One 在英国的成功做出贡献。这帮助 Capital One 将全球的技术人才提升到了极高的水平。实际上，所有 AWS 认证开发人员中现在足足有 2% 的人在 Capital One 工作。 在说明优势之后，下面将介绍适合我们的 12 个步骤 — 步骤 1 — 接受 心理健康专家们表示，接受是走向恢复的第一步；这种说法在此处也完全适用。您的工程师们必须接受他们有能力学习 AWS 云技能并成为专家的事实。接受这一事实对于您组织内的技术主管来说也同样非常重要。正如 Stephen Orban 在文章中所述以及我在 Capital One 任职期间的经历所表明的那样，您拥有的人才就是您需要的人才。这些是在开发和运行您的现有系统方面拥有多年的重要经验的人员。 步骤 2 — 培训 在接受之后，您应该迅速开始 AWS Technical Essentials […]

由于深度学习依靠用于训练它的数据的数量和质量，因此公司花费了大量资金来获得良好的图像数据。通常，公司会使用昂贵的人工注释或其他劳动密集型任务，如拍摄大量产品或人员照片。这种方法的成本高昂且不能扩展。训练计算机以生成高品质图像可大大降低成本并推动业务增长。 在这篇文章中，我用简单的术语解释由我的一些 Amazon 同事共同撰写的标题为“从语义上分解生成式对抗网络的潜在空间”的学术论文中介绍的概念。本文介绍了生成式对抗网络 (GAN)、Siamese 网络 (SN) 的实际应用，以便能够从语义上分解 GAN (SD-GAN)。 GAN 和 SN 是相对高级的深度学习符号，您可以单独使用 GAN 和 SN，也可以将其与其他深度学习符号结合使用来解决实际问题。通过将这些符号结合使用，AI 应用程序能够解决更多的难度更大且更复杂的业务问题。例如，面向 AI 的主要难题之一是缺少带注释或标记的数据。高品质的、带注释的数据的成本非常高，因此仅大型公司或资金充足的公司能够获得此类数据。通过使用深度学习方法 (如本文中介绍的那些方法)，可让更多的公司从几个示例生成高品质数据。 我将说明作者如何使用 GAN、SN 和 SD-GAN 分析实际图像，并使用它们生成带同一人员或对象的受控变体的“假”图像。根据您设置的参数或“观察属性”，这些假图像可能看起来像是从不同的视角拍摄的、使用了不同的光照或具有更高的分辨率或其他类似变体。通过使用本文中介绍的图像分析方法，您可以创建出非常真实的图像，这些图像看起来像已使用 Photoshop 专门处理过或是使用 3D 模型创建的。 图 1：使用本文中介绍的方法生成的示例。每行均显示同一面部的变体。每列均使用相同的观察属性。 什么是生成式对抗网络？ 生成式对抗网络 (GAN) 是适用于神经网络的相对较新的深度学习架构。它们是由蒙特利尔大学的 Ian Goodfellow 与其同事在 2014 年共同开发的。一个 GAN 训练两个不同的网络，二者彼此针对，因此它们具有对抗性。一个网络通过拍摄一个实际图像并尽可能多地修改该图像来生成图像 (或任何其他示例，如文本或语音)。另一个网络尝试预测图像是“假”还是“真”。第一个网络 (称为“G 网络”) 学会生成 更佳的图像。第二个网络 (称为“D 网络”) 学会辨别 真假图像。其辨别能力随时间的推移不断增强。

作者：Sebastien Menant – Amazon Web Services 的解决方案架构师；Pracheer Gupta – 帕洛阿尔托的 AWS 深度学习团队的成员 / 原文链接 利用 Apple 在 WWDC 2017 上发布的 Core ML，iOS、macOS、watchOS 和 tvOS，开发人员现在可以轻松地将机器学习模型集成到其应用程序中。这使得开发人员只需编写几行代码即可为用户带来智能的新功能。利用 Core ML，移动开发人员能够更方便地使用机器学习。它可让您进行快速原型设计，并使用不同的传感器 (如摄像机、GPS 等) 来创建具有比以往更强大的功能的应用程序。 MXNet 社区的成员 (包括来自 Apple 和 Amazon Web Services (AWS) 的参与者) 已展开合作以生成用于将使用 MXNet 构建的机器学习模型转换为 Core ML 格式的工具。利用此工具，开发人员能够轻松构建面向 Apple 设备的由机器学习支持的应用程序。借助此转换工具，您现在将获得适用于支持深度学习的应用程序的快速管道。您可以从 AWS 云中使用 MXNet 的可扩展的高效分布式模型训练迁移到 Apple 设备上的快速运行时推理。 为了支持该转换工具的发布，我们已决定构建一个出色的 iOS […]

我们对于 Apache MXNet 版本 0.11 的可用性感到很兴奋。利用此版本，MXNet 在社区发展以及酝酿 Apache 项目方面都达到了重要里程碑。参与者 – 包括来自 Apple、Samsung 和 Microsoft 的开发人员 – 向此版本提交了代码。到目前为止，该项目已有 400 多名参与者。该项目现已将其代码库完全迁移至 Apache，并且已使其首个正式版本成为孵化项目。我们在上一篇博客中讨论了此版本的一些重要功能。本博客文章将简要回顾这些重点内容。 使用 MXNet 模型将机器学习构建到适用于 iOS、macOS、watchOS 和 tvOS 的应用程序中 利用 Apple 在 WWDC 2017 上发布的 Core ML 版本，开发人员现在可以轻松地将机器学习模型集成到其应用程序中，这使得他们只需编写几行代码即可为用户带来智能的新功能。我们已开始了解这些功能 (如增强实境) 将如何改变我们体验周围环境的方式。随着快速发展的 AI 空间中的功能的扩展，开发人员将有权访问新的机器学习模型，这些模型能够开启用于增强体验的新功能。 Apple 已将代码提交至 Apache MXNet 项目，以方便应用程序开发人员使用一流的模型。MXNet 现在与 Core ML 结合在一起，使开发人员能够利用 MXNet 在云中构建和训练机器学习模型，然后将这些模型导入 Xcode 中，以便您能够在应用程序中轻松构建智能的新功能。您可以从适用于各种应用程序的预训练模型的 MXNet Model Zoo 中选择，也可以构建您自己的模型。此版本为您提供一种用于将 MXNet […]

“建立声誉需要 20 年的时间，而毁掉声誉只需 5 分钟。” — Warren Buffett 在我的技术生涯中，我一直支持遵从性和安全需求。在某些情况下，这些要求是极其苛刻的 - 例如，当我的团队为国防部审核做准备时，花费了几个月的时间，超出了我们时间的 50%。但是，在几乎所有的情况下，我都能够促进使用自动化的解决方案来使我们的生活更轻松，同时提高我们的安全性和遵从性水平。现今，移至云为您提供了明显改善合规性工作的可能性，而不需要在人力和成本上有同样的显著提升。 我来解释一下 – 合规官通常负责评估和管理企业财务、组织和声誉的风险。在企业环境中，这是一项艰巨的任务，因为人员、流程和技术的复杂性，加上跨行业和地理区域的监管差异。 企业和合规性之间也存在着一种天然的紧张关系。企业必须进行产品创新并改善客户体验。另一方面，合规性团队专注于限制或防止风险暴露，这可能与引入新产品和新特性相冲突。这就是合规性团队经常寻求维持现状的原因。底线是企业和合规性之间的自然紧张关系 - 有时运行状况 - 可能会导致关系紧张并经常导致成本增加，以及减慢上市速度。 通常，合规性团队会进行年度合规性评估、撰写报告和设定补救目标。随后，为业务和技术团队提供对任何发现结果进行补救的时间安排。产品经理和技术领导者了解合规性的重要性，但他们通常将评估视为“练习”并且从价值生成中分散注意力。对他们来说，企业领导者担心年度合规性报告的结果，因为他们认为这些“非功能性”要求会将资源重定向到未来几个季度的战略路线图中未包含的事情上。此外，在开发过程中，合规性常常被作为事后的补充。但遗憾的是，经验告诉我们，如果放任不管，合规性问题最终可能会转化为技术债务。 尽管合规性过程通常被认为是繁重的，但结果可以为客户增加有意义的价值。实际上，根据法律和道德的考虑，合规性应该被看作是一种质量的度量，确保了良好的客户体验，特别是在审查包含了安全性、可靠性和响应性的情况下。您的云策略可在这里扮演重要角色 - 方式是转化企业和合规性利益相关者之间的关系，从而改善企业及其客户的结果。更具体地说，通过在产品或服务生命周期的早期包含合规性要求，您可确保您满足政策和法规目标，同时改善您的价值主张。 方法如下 – 首先，迁移到 AWS 是一种直接的节省。在我自己的云之旅中，我发现 AWS 责任共担模式可让我们获益。以前，我们必须管理物理基础设施才能确保法规遵从性。当我们不得不采购硬件以支持技术计划时，这就造成了额外的延迟。它也总是增加我们的运营负担，因为它通常意味着基础设施团队的工作更多，而不需要额外的人员。通过将我们的工作负载迁移到云，我们将维护一个安全的、合规的物理基础设施的责任转移给了 AWS，从而带来了我们永远无法提供的资源和专业知识。换句话说，我们能够提升我们的能力，同时减少我们必须自己保护的表面积。这为我们的运营团队腾出了时间来专注于其他的增值工作，例如，创建其他自动化。 AWS 责任共担模型 其次，将工作负载转移到云可鼓励更大的自动化。可以基于标准化的和经过批准的模板部署环境，然后可以进行版本控制。此概念称为“基础设施即代码”，安全性和合规性的好处是深远的。在将基础设施作为代码进行管理时，可使用脚本自动验证基础设施来确保遵循安全最佳实践。AWS 还支持在 AWS Config 中定义可自动验证的合规性规则。因此，在使用自动化时，合规性团队可在每次系统更改时验证法律和安全需求，而不是依赖于定期的系统审查。此外，合规性和安全性测试自动化可推入软件开发过程中，并有可能在部署到生产环境之前防止策略违规。最后，可以在每日的报告中捕捉到这些发现，并发送到一个将问题分配给某个特定个体的票证系统，甚至可以触发一个自动修复响应。例如，Capital One 已开发出名为云 Custodian 的规则引擎，此引擎用于在其云平台中定义策略并以编程方式强制实施策略。 第三，当自动化过程或手动审查发现问题时，可更轻松地部署补救措施。例如，在基础设施存在漏洞的情况下，基础设施模板可在代码中进行修改并将自动应用于所有未来的实现。如果应用程序中存在此问题，则可通过将修复部署到应用程序，或通过实现补偿控件 (例如，将规则添加到 AWS Web 应用程序防火墙) 来缓解风险。 随着时间的推移，您的云策略可形成一种积极的合规性文化，将合规性和安全性作为增值的以客户为中心的活动。当您的产品团队在产品待办事项列表中将合规性要求作为用户案例包含时，或当开发人员定期向其软件开发过程添加与合规性相关的测试时，您将实现此里程碑。 如果您已在 AWS 中实现合规性过程的自动化，或者您想要了解有关此主题的更多信息，请告诉我。与此同时，这里还有一些其他的资源可能会有所帮助 – 自动在 AWS 上执行管理 如何监控 AWS 账户配置更改和对 Amazon EC2 安全组的 API 调用 AWS 上的 DevSecOps […]

作者： Vivian Zhang（张芸） Serverless（无服务器）应用可以说是当前的行业热点，用户无需预配置或管理服务器，只需要部署功能代码，AWS Lambda会在需要的时候执行代码并自动缩放， 从每天几个请求到每秒数千个请求，轻松地实现FaaS （Function as a Service）。无服务器应用的使用场景非常广阔，从微服务架构，到批处理、流处理、运维自动化和移动计算。 实现Serverless应用，除了AWS Lambda还需要什么？ 我们来看一个典型的基于Lambda的无服务器应用。 当我们将作为计算和存储实体的Lambda函数、消息队列、DB去掉，可以看到下面这张图。 这张图上的箭头，就是上一张图里Lambda函数之间的流程，或者可以称为Lambda函数之间的“胶水”，它们起到了编排协调各个Lambda函数的作用。通常在应用中，我们会需要有这样的一些流程： 我想要顺序地执行方法。 我想要并行地运行这些方法。 我想要基于数据选择执行方法。 我想要重试某些方法。 我想要try/catch/finally。 我想要代码运行一定时间或者等待一段时间…… 通常我们可以通过方法调用、函数链、DB和消息队列来协调这些函数，实现流程。但是对于所采用的协调机制，我们都希望它具有以下功能： 可以自动伸缩； 不会丢失状态； 可以处理错误和超时； 可以简单的搭建和运维； 可以审计。 这里我们介绍一种方式，采用AWS Step Functions协调Lambda函数之间的流程。 AWS Step Functions AWS Step Functions是一个可视工作流服务，可用来轻松协调分布式应用程序和微服务的各个组件。用户从单个组件构建应用程序，每个组件都执行一个特定的功能，也就是Task（可以采用Lambda函数实现）。Step Functions提供了一种可靠的方法来协调这些组件并逐步完成应用程序中的这些功能，并且 提供了一个图形控制台，将应用程序的组件可视化为一系列步骤，它可以自动触发并跟踪每一个步骤，并在出现错误时重试，这样应用程序就可以每一次都按照预先设定的顺序执行。Step Functions会记录每一步的状态，因此当事情出错时，用户可以快速地诊断和调试问题。 要使用Step Functions构建应用，首先我们需要在Step Functions里创建State Machine（状态机），也就是对应每一个应用的工作流程。可以采用以下8种蓝图，包括7种预定义好的状态机和1种自定义的。创建好的状态机用JSON描述。 在每一个状态机里，我们需要定义一系列的State（状态），用来完成不同的功能： Task：在状态机中完成特定的功能，可以采用Lambda函数实现。 Choice：在各种执行分支中进行选择。 Fail和Success：停止一个执行，并设为Fail或者Success。 Pass：简单地将输入传给输出，或者注入一些数据。 Wait：提供一定时间的延迟，或者等待到特定的时间/数据。 Parallel：并行地执行分支。 可以看出，上一节中我们所需要的协调和流程在这些状态中都得到了支持。其中的Task状态是用来真正实现应用的功能，而其他状态用来处理功能之间的流程。比如说，下面是一个名为HelloWorld，执行Lambda函数的状态。 下图是一个拥有所有状态的状态机： 在Console里看到一个创建好的状态机是这样： 我们点击New Execution并且传入input数据，就可以启动该状态机的一次执行，并且可以从界面上查看执行的情况。 […]

作者：Jaeyoung Choi 和 Kevin Li | 原文链接 这是由国际计算机科学研究院的 Jaeyoung Choi 和加州大学伯克利分校的 Kevin Li 所著的一篇访客文章。本项目演示学术研究人员如何利用我们的 AWS Cloud Credits for Research Program 实现科学突破。 当您拍摄照片时，现代移动设备可以自动向图像分配地理坐标。不过，网络上的大多数图像仍缺少该位置元数据。图像定位是估计图像位置并应用位置标签的过程。根据您的数据集大小以及提出问题的方式，分配的位置标签可以是建筑物或地标名称或实际地理坐标 (纬度、经度)。 在本文中，我们会展示如何使用通过 Apache MXNet 创建的预训练模型对图像进行地理分类。我们使用的数据集包含拍摄于全球各地的数百万张 Flickr 图像。我们还会展示如何将结果制成地图以直观地显示结果。 我们的方法 图像定位方法可以分为两类：图像检索搜索法和分类法。(该博文将对这两个类别中最先进的方法进行比较。) Weyand 等人近期的作品提出图像定位是一个分类问题。在这种方法中，作者将地球表面细分为数千个地理单元格，并利用带地理标记的图像训练了深层神经网路。有关他们的试验更通俗的描述，请参阅该文章。 由于作者没有公开他们的训练数据或训练模型 (即 PlaNet)，因此我们决定训练我们自己的图像定位器。我们训练模型的场景灵感来自于 Weyand 等人描述的方法，但是我们对几个设置作了改动。 我们在单个 p2.16xlarge 实例上使用 MXNet 来训练我们的模型 LocationNet，该实例包含来自 AWS Multimedia Commons 数据集的带有地理标记的图像。 我们将训练、验证和测试图像分离，以便同一人上传的图像不会出现在多个集合中。我们使用 Google 的 S2 Geometry Library 通过训练数据创建类。该模型经过 12 个训练周期后收敛，完成 […]