JAVA 程序员的 AI 工具箱 – Deep Java Library (DJL)

前言

这几年深度学习的爆发带来了一个未曾预料到的结果，Python 这个曾经小众的语言突然之间变得炙手可热。究其原因，在Python 的生态中我们可以容易的找到许多的资源。例如，NumPy用于数据计算、Matplotlib用于数据可视化以及MXNet、PyTorch、TensorFlow等一众深度学习框架。相比之下，尽管Java语言仍是最流行的语言之一，拥有为数众多的开发者，尤其在企业市场拥有最广泛的应用基础，但事实上我们很难找到合适的用于深度学习的Java工具或者框架。现有的为数不多的工具仍存在着许多的不足，例如：易用性不高，使用的仍是 “低级”的API；绑定于具体的深度学习框架，缺乏框架无关的特性等等。

2020年2月的TIOBE程序语言指数 (https://www.tiobe.com/tiobe-index/)

StackOverflow 开发人员的调查结果 2019 (https://insights.stackoverflow.com/survey/2019)

Deep Java Library 概述

这就要引出今天的主角 Deep Java Library （简称DJL）。DJL 是一个很新的项目，在2019年12月初的AWS re: invest大会上才正式的发布出来。。简单来说，DJL是一个使用Java API简化模型训练、测试、部署和使用深度学习模型进行推理的开源库深度学习工具包，开源的许可协议是Apache-2.0。对于Java开发者而言，可以在Java中开发及应用原生的机器学习和深度学习模型，同时简化了深度学习开发的难度。通过DJL提供的直观的、高级的API，Java开发人员可以训练自己的模型，或者利用数据科学家用Python预先训练好的模型来进行推理。如果您恰好是对学习深度学习感兴趣的Java开发者，那么DJL无疑将是开始深度学习应用的一个最好的起点。

DJL是在现有深度学习框架的基础上使用原生Java概念构建的的开发库。它为开发者提供了深度学习的最新创新和使用前沿硬件的能力，例如GPU、MKL等。简单的API抽象并简化了开发深度学习模型所涉及的复杂性，使得这个新的框架更易于学习和应用。有了model-zoo中绑定的预训练模型集，开发者可以立即开始将深度学习的SOTA成果集成到Java应用当中。总所周知，JAVA 的设计思想有这样的一句“Write once, run anywhere”（WORE）。同样， DJL 的设计目标也设定为不依赖于具体的引擎和深度学习框架，可以随时切换框架。原则上，基于DJL开发人员可以编写在任何引擎上运行的代码。DJL目前提供了Apache MXNet的实现，预期TensorFlow 与PyTorch 的支持也将在不久后发布。从目前的实现来看，DJL使用了JNA（Java Native Access）来实现Apache MXNet操作的调用。

Java Native Access (JNA)

JNA是一个开源Java库，它为Java程序提供了访问Native Shared Library的方法，而不需要使用Java Native Interface (JNI)。JNA库使用一个名为foreign function interface library (libffi)的小型的库来动态调用原生代码。JNA库原生的函数，允许代码按名称加载库并检索指向该库中的函数的指针，然后使用libffi库调用它。所有这一切都不需要在头文件或任何编译阶段的静态绑定。开发人员使用Java接口来描述目标原生库中的函数和结构，这使得利用原生的平台特性变得非常容易。减少了配置和构建JNI代码的那样的复杂性。

DJL 提供了对于基础环境的管理。为了保证最佳的性能，提供了基于硬件配置的自动CPU/GPU选择。DJL提供了对多GPUs的支持，可以自动检测是否有可用的GPU。如果GPU可用，它将默认运行在一个GPU上，除非程序中制定使用的GPU数量。

在模型的训练期间，如果希望在多个GPU上进行训练，或者希望限制使用GPU的数量(对于较小的数据集，您可能希望限制GPU的数量)，则必须通过设置设备来配置TrainingConfig。例如，如果您有8个可用的GPU，并且您希望训练器在5个GPU上进行训练，您可以如下配置它。

int maxNumberOfGpus = 5;

TrainingConfig config = new DefaultTrainingConfig(initializer, loss)

.setOptimizer(optimizer)

.addEvaluator(accuracy)

.setBatchSize(batchSize)

// Set the devices to run on multi-GPU

.setDevices(Device.getDevices(numberOfGpus));

对于Java开发者，DJL 的API抽象了用于开发模型的常用函数，使得Java开发人员能够利用现有的知识简化向机器学习以及深度学习的转换。相信这一点应该是Java 开发者最希望看到的。关于DJL 的抽象架构我们可以通过下图进行理解。

来源：https://miro.medium.com/max/3472/1*ju6OsZqhpAHTnhFHDp4DXQ.png

Deep Java Library 的使用

计算机视觉（CV）是目前深度学习发展最为成熟的领域。其中，目标检测是一种与计算机视觉和图像处理相关的计算机技术，用于在数字图像和视频中检测某一类语义对象(如人、建筑物或汽车)的实例。目标检测在计算机视觉的许多领域都有应用，包括图像检索和视频监控。接下来，我们来展示一个目标检测的例子，体验一下DJL的实际表现。该模型使用来自DJL 的model-zoo的预先训练的Single Shot Detector （SSD）模型，帮助我们从图像中识别西雅图海鹰队（一支职业美式橄榄球球队）的队员。

要将DJL用于应用程序项目，可以使用IntelliJ IDEA来创建gradle项目，并将以下内容添加到build.gradle配置中。

源代码：https://gist.github.com/vrakesh/e287f5f0004c53ceeda8e6a547f97d49#file-build-gradle

接下来，我们就用这张含橄榄球员的图片进行处理。

来源: Offered under Apache-2.0 license on Gluon-CV

针对这张图片使用下面的这一段代码来进行推理。这段代码从model-zoo加载一个SSD模型，然后从模型中创建一个预测器，并使用predict函数来识别图像中的对象。然后一个通过一个helper utility函数在检测到的对象周围画上框线。

源代码：https://gist.github.com/vrakesh/0faacec9e9f8d88c4cb96c8ae812493a#file-simplessdinference-java

这一段代码标识出图像中的三个橄榄球运动员，并将结果保存为工作目录下的图片文件ssd.png。

这段代码的长度不大，理解起来也比较容易。我们可以很容易地进行调整，可以测试来自model-zoo的其他模型或者针对自己的需要作出改变。但是DJL 带来的但乐趣远不止如此。可以使用问题问答模型来训练您自己的智能化应用，或者使用图像分类模型来识别杂货架上的商品等等。在DJL 的github 上有更多有意思的例子，https://github.com/awslabs/djl/tree/master/examples

最后，这个介绍能够让你DJL产生兴趣。此外，也请记住DJL 的三个最有意思的特性：

框架无关
为Java 开发者而准备
易于开发部署

注意：

项目地址：https://github.com/awslabs/djl
DJL需要JDK 8(或更高版本)。建议使用JDK8，因为JDK 11+存在一些已知的问题。问题包括SpotBugs与JDK 11+不兼容。如果使用JDK 11+， SpotBugs将不会被执行。
目前DJL 尚不支持分布式模型训练。

亚马逊AWS官方博客