快速构建基于 Lambda 容器镜像的 OCR 应用

摘要

AWS Lambda函数现已支持打包和部署容器镜像，开发者通过官方提供或自己构建镜像文件，可以非常方便利用现有的开发工具，工作流轻松构建基于AWS Lambda的应用程序。基于容器打包的应用通过AWS Lambda可以实现更为简便的操作部署，相比EC2有着更为快速的启动时间，更为强大的并发扩展以及高可用，同时无缝与140余种AWS服务集成。

本文将展示如何基于自建镜像（public.ecr.aws/bitnami/python:3.7），利用AWS官方提供的运行时接口客户端（RIC）和运行时接口仿真器（RIE），构建运行在AWS Lambda上的OCR应用。

前言

对于机器学习，图像处理等依赖库构建复杂且文件较大的应用，AWS Lambda支持最大10GB的容器镜像，开发者可以直接使用熟悉的容器开发工具（docker）在本地构建测试，并将容器镜像推送到Amazon ECR（全托管的容器注册表），之后通过指定Amazon ECR镜像来部署Lambda函数，免去了以往Lambda Layer构建流程，也无需受限于Lambda Layer的大小限制（250MB）。

伴随AWS Lambda对容器镜像支持的特性发布，AWS官方提供了一组Lambda基础镜像，可在Amazon ECR（gallery.ecr.aws/lambda）和Docker Hub（amazon/aws-lambda-python）上获取，该基础镜像预装了包括Node.js，Python，Java等语言的Lambda运行时，必要组件以及构建基础镜像的dockerfile 。同时AWS官方还开源了运行时接口客户端（RIC）和运行时接口仿真器（RIE），方便用户构建同Lambda兼容的容器镜像并进行本地测试。

OCR应用我们基于tesseract（最早由HP Lab开发并于2005年开源）实现，其中软件依赖如pillow，libtesseract我们利用AWS 进行本地安装，或者用户也可以选取官方镜像public.ecr.aws/lambda编译以尽可能保证同Lambda兼容。

流程概览

本文构建的OCR应用会利用到Python，Shell作为开发语言，PIP/Docker作为开发工具，构建流程分成如下部分：1）软件依赖库的构建，包括pillow，libtesseract编译；2）Lambda兼容镜像的构建，包括RIC/RIE的安装配置，Lambda业务代码的打包；3）Lambda业务代码实现，通过简单的代码调用生成的pytesseract库返回图片识别结果；4）本地调试验证，通过RIE实现本地功能调试和迭代。

其中构建容器镜像的软件依赖库有以下几个途径：方案一，直接利用已经包含软件依赖库的容器镜像，其dockerfile示例如下：

FROM public.ecr.aws/myrepo/shared-lib-layer:1 AS shared-lib-layer
# Layer code
WORKDIR /opt
COPY --from=shared-lib-layer /opt/ .

方案二，利用已经构建好的Lambda Layer，通过curl的形式拉取到新的镜像当中，其dockerfile示例如下：

ARG AWS_DEFAULT_REGION=${AWS_DEFAULT_REGION:-"cn-northwest-1"}
ARG AWS_ACCESS_KEY_ID=${AWS_ACCESS_KEY_ID:-""}
ARG AWS_SECRET_ACCESS_KEY=${AWS_SECRET_ACCESS_KEY:-""}
ENV AWS_DEFAULT_REGION=${AWS_DEFAULT_REGION}
ENV AWS_ACCESS_KEY_ID=${AWS_ACCESS_KEY_ID}
ENV AWS_SECRET_ACCESS_KEY=${AWS_SECRET_ACCESS_KEY}

RUN apk add aws-cli curl unzip

RUN mkdir -p /opt

RUN curl $(aws lambda get-layer-version-by-arn --arn arn:aws:lambda:us-east-1:1234567890123:layer:shared-lib-layer:1 --query 'Content.Location' --output text) --output layer.zip
RUN unzip layer.zip -d /opt
RUN rm layer.zip

方案三，完全从零开始的用户可以考虑直接在容器里面构建软件依赖库，其dockerfile示例如下：

FROM python:3.8-alpine AS installer
#Layer Code
COPY extensionssrc /opt/
COPY extensionssrc/requirements.txt /opt/
RUN pip install -r /opt/requirements.txt -t /opt/extensions/lib

FROM scratch AS base
WORKDIR /opt/extensions
COPY --from=installer /opt/extensions .

接下来的OCR方案考虑到tesseract的依赖构建相对复杂，为了构建流程的独立和依赖库的共享，我们将采用方案二，即先利用Shell和Docker构建Lambda业务代码调用的所有依赖，再将构建完毕后的zip包存放到Lambda Layer中供后续Lambda镜像构建调用。

创建步骤

软件依赖库的构建

首先安装pillow，创建requirements文件，写入以下内容。

pillow

接着创建shell脚本（build_py37_pkgs.sh），写入以下内容并执行，执行完毕后会在相同目录下生成pythonlibs-layer.zip文件。

set -e
rm -rf pythonlibs-layer.zip exit 0
rm -rf python/ exit 0
docker run -v "$PWD":/var/task "lambci/lambda:build-python3.7" /bin/sh -c "pip install -r requirements.txt -t python/lib/python3.7/site-packages/; exit"
chmod 777 python/
zip -r pythonlibs-layer.zip python > /dev/null
rm -rf python/

Pillow构建完毕后，开始构建tesseract依赖，创建dockerfile（Dockerfile-tess4），文件内容可以直接参考这里

FROM lambci/lambda-base:build

#Proxy setup if exists
#ENV http_proxy 'http://ip:port'
#ENV https_proxy 'https://ip:port'

ARG LEPTONICA_VERSION=1.78.0
ARG TESSERACT_VERSION=4.1.0-rc4
ARG AUTOCONF_ARCHIVE_VERSION=2017.09.28
ARG TMP_BUILD=/tmp
ARG TESSERACT=/opt/tesseract
ARG LEPTONICA=/opt/leptonica
ARG DIST=/opt/build-dist
# change OCR_LANG to enable the layer for different languages
ARG OCR_LANG=chi_sim
# change TESSERACT_DATA_SUFFIX to use different datafiles (options: "_best", "_fast" and "")
ARG TESSERACT_DATA_SUFFIX=""
ARG TESSERACT_DATA_VERSION=4.0.0

后续省略
……

创建shell脚本（build_tesseract4.sh），写入以下内容并执行，执行完毕后会在相同目录下生成tesseract-layer.zip

set -e
rm -rf tesseract-layer.zip exit 0
rm -rf configs exit 0
rm -rf tessconfigs exit 0

# Download tessconfigs folder
git clone https://github.com/tesseract-ocr/tessconfigs.git tesseractconfigs
mv tesseractconfigs/configs .
mv tesseractconfigs/tessconfigs .
rm -rf tesseractconfigs
# Build Docker image containing Tesseract
docker build -t tess_layer -f Dockerfile-tess4 .
# Copy Tesseract locally
CONTAINER=$(docker run -d tess_layer false)
docker cp $CONTAINER:/opt/build-dist layer
docker rm $CONTAINER
# # Zip Tesseract
cd layer/
zip -r ../tesseract-layer.zip .
# Clean
cd ..
rm -rf layer/
rm -rf tessconfigs/
rm -rf configs/

将前面步骤生成的zip文件（pythonlibs-layer.zip/tesseract-layer.zip）通过AWS Console或者AWS命令行的方式上传至Lambda Layer，并记录下对应的ARN，类似arn:aws-cn:lambda:cn-northwest-1:xxxxxxxx:layer:ocrTesseract:1。

Lambda兼容镜像的构建

运行时接口客户端（RIC）作为AWS开源项目，实现了Lambda的运行时API，包括调用事件检索，调用响应返回，调用错误处理和初始化错误等功能实现Lambda能正确接收处理调用并返回结果。运行时接口仿真器（RIE）实际是一个轻量级的web服务器，代理Lambda的运行时和扩展API，使开发者可以在本地通过Docker，CURL进行本地测试而不用将Lambda容器镜像部署上云。

接下来我们基于自建镜像（public.ecr.aws/bitnami/python:3.7）构建Lambda容器的dockerfile并针对其中部分操作进行解释。

创建entry.sh文件，用作容器在云上部署和本地调试的自动切换，内容如下：

if [ -z "${AWS_LAMBDA_RUNTIME_API}" ]; then
    exec /usr/local/bin/aws-lambda-rie /usr/local/bin/python -m awslambdaric $1

else
    exec /usr/local/bin/python -m awslambdaric $1
fi

创建dockerfile（dockerfile-custom-tesseract），内容摘录如下，原文件参见这里：

安装必要工具

ARG LAYER_DIR="/opt"

FROM public.ecr.aws/bitnami/python:3.7 as build-image

RUN apt-get update && \
  apt-get install -y \
  g++ \
  make \
  cmake \
  unzip \
  libcurl4-openssl-dev
RUN pip install opencv-python-headless
RUN apt-get install -y libpng-dev

安装运行时接口客户端（RIC）

RUN mkdir -p ${LAYER_DIR}
RUN pip install \
        --target ${LAYER_DIR} \
        awslambdaric

取前面步骤生成的Lambda Layer

ARG AWS_DEFAULT_REGION=${AWS_DEFAULT_REGION:-"cn-northwest-1"}
ARG AWS_ACCESS_KEY_ID=${AWS_ACCESS_KEY_ID:-"xxxx"}
ARG AWS_SECRET_ACCESS_KEY=${AWS_SECRET_ACCESS_KEY:-"xxxx"}
ENV AWS_DEFAULT_REGION=${AWS_DEFAULT_REGION}
ENV AWS_ACCESS_KEY_ID=${AWS_ACCESS_KEY_ID}
ENV AWS_SECRET_ACCESS_KEY=${AWS_SECRET_ACCESS_KEY}

RUN apt-get install -y curl unzip

RUN curl "https://awscli.amazonaws.com/awscli-exe-linux-x86_64.zip" -o "awscliv2.zip"
RUN unzip awscliv2.zip
RUN ./aws/install

# ocrTesseract
RUN curl $(aws lambda get-layer-version-by-arn --arn arn:aws-cn:lambda:cn-northwest-1:xx:layer:ocrTesseract:3 --query 'Content.Location' --output text) --output pythonlibs-layer.zip
# COPY pythonlibs-layer.zip .
RUN unzip pythonlibs-layer.zip -d ${LAYER_DIR}
RUN rm pythonlibs-layer.zip

# pythonlibs-layer
RUN curl $(aws lambda get-layer-version-by-arn --arn arn:aws-cn:lambda:cn-northwest-1:xx:layer:pythonlibs-layer:1 --query 'Content.Location' --output text) --output tesseract-layer.zip
# COPY tesseract-layer.zip .
RUN unzip tesseract-layer.zip -d ${LAYER_DIR}
RUN rm tesseract-layer.zip

打包Lambda业务代码（代码逻辑下一小节会提到）和entry.sh

# Multi-stage build: grab a fresh copy of the base image, use custom image instead of official one
FROM public.ecr.aws/bitnami/python:3.7

# Include global arg in this stage of the build
ARG LAYER_DIR
# Copy in the build image dependencies
WORKDIR ${LAYER_DIR}
COPY --from=build-image ${LAYER_DIR} .

COPY app.py .

COPY entry.sh /
RUN chmod 755 /entry.sh

ENV LD_LIBRARY_PATH="/opt:/opt/lib:${LD_LIBRARY_PATH}"
ENV PATH="/opt:/opt/bin:${PATH}"

# Production env
ENTRYPOINT [ "/entry.sh" ]

开始构建镜像并推送到ECR，至此OCR业务的Lambda镜像构建完毕

docker build -t local-lambda-python3.8-custom-ocr --build-arg AWS_DEFAULT_REGION=cn-northwest-1 --build-arg AWS_ACCESS_KEY_ID=xx --build-arg AWS_SECRET_ACCESS_KEY=xx -f dockerfile-custom-tesseract .

docker tag local-lambda-python3.8-custom-ocr:latest xx.dkr.ecr.cn-northwest-1.amazonaws.com.cn/local-lambda-python3.8-custom-ocr

aws ecr get-login-password --region cn-northwest-1 | docker login --username AWS --password-stdin xx.dkr.ecr.cn-northwest-1.amazonaws.com.cn

docker push xx.dkr.ecr.cn-northwest-1.amazonaws.com.cn/local-lambda-python3.8-custom-ocr:latest

Lambda业务代码实现

代码的调用逻辑如下，handler接收传入的图片文件（u64编码）并调用pytesseract实现图片中文字的识别并返回。

import sys
import os
sys.path.append('/opt/python/lib/python3.7/site-packages')
# sys.path.append('/opt/python/lib/python3.7/site-packages/pytesseract')
# sys.path.append('/opt/python/lib/python3.7/site-packages/PIL')
# sys.path.append(os.path.dirname(os.path.dirname(os.path.abspath(__file__))))

import base64
import pytesseract
import cv2

def write_to_file(save_path, data):
  with open(save_path, "wb") as f:
    f.write(base64.b64decode(data))

def handler(event, context=None):

    write_to_file("/tmp/photo.jpg", event['body'])
    img = cv2.imread("/tmp/photo.jpg")
    
    ocr_text = pytesseract.image_to_string(img, config = "eng")

    # Return the result data in json format
    return {
      "statusCode": 200,
      "body": ocr_text
    }

本地调试验证

本地安装RIE，尽量减少Lambda镜像需要安装的文件

mkdir -p ~/.aws-lambda-rie && curl -Lo ~/.aws-lambda-rie/aws-lambda-rie \
https://github.com/aws/aws-lambda-runtime-interface-emulator/releases/latest/download/aws-lambda-rie \
&& chmod +x ~/.aws-lambda-rie/aws-lambda-rie

本地运行容器并通过curl测试结果，其中helloWorld文件为显示有hello world字样图片对应的u64编码文件，成功的话我们可以看到输出的hello world。

docker run -d -v ~/.aws-lambda-rie:/aws-lambda -p 9000:8080 --entrypoint /aws-lambda/aws-lambda-rie  local-lambda-python3.8-custom-ocr:latest /usr/local/bin/python -m awslambdaric app.handler

curl -X POST "http://localhost:9000/2015-03-31/functions/function/invocations" -d @helloWorld

待功能测试成功后我们可以将该镜像最终部署上云，无缝对接其他AWS服务实现更加丰富的功能。

对接其他服务

Lambda镜像构建完毕后，用户可以结合API Gateway实现HTTP前端调用来整合我们后端的OCR能力，通过SAM（Serverless Application Model）模版快速构建一个无服务器架构的OCR应用，示例模版部分内容如下所示：

Resources:
  HelloWorldFunction:
    Type: AWS::Serverless::Function
    Properties:
      PackageType: Image
      Events:
        HelloWorld:
          Type: Api
          Properties:
            Path: /hello
            Method: get
      ImageUrl: ‘xxxx.dkr.ecr.cn-northwest-1.amazonaws.com.cn/local-lambda-python3.8-custom’
  ImageConfig:
      Command:
        - "app.handler"
      EntryPoint:
        - "/entry.sh"
      WorkingDirectory: "/opt"
    Metadata:
      DockerTag: python3.x-v1
      DockerContext: ./hello-world
      Dockerfile: Dockerfile

之后通过SAM CLI实现AWS API Gateway，Lambda以及对应IAM的编译，调试和部署，有关SAM的具体的操作参见这里。待服务部署完毕后，用户可通过调用类似curl –request POST -H “Content-Type: image/png” –data-binary “@/path/ocrimage.png” https://xxxx.execute-api.cn-northwest-1.amazonaws.com.cn/prod/upload

命令获取OCR识别结果。

写在最后

Lambda针对容器镜像的支持，将无服务器化，容器这两个热门的技术领域进行了完美结合，用户在原有的容器开发环境基础上利用无服务器化架构的低运维，高扩展，高可用等特性，可以更加便捷的构建和开发诸如机器学习，图像识别等数据密集型负载应用。

选择您的 Cookie 首选项

亚马逊AWS官方博客