ANA における Amazon Textract と Amazon Rekognition を活用した整備タグ OCR システムの開発

はじめに

全日本空輸株式会社 整備センター 機体事業室 機体計画部 航空機売却・リースチームでは航空機のリース返却業務を行っております。
本ブログでは、業務における膨大なドキュメントの転記作業を AWS 上の OCR 技術と AI による画像分析技術を活用し生産性向上を実現された事例について、同チームの九冨様に寄稿いただいたものです。

PDF 化した整備記録から整備タグ情報を読み取る手間

AWS 三宅：

整備タグの読み取り業務において AWS サービスを活用するに至った背景を教えてください。

ANA 九冨様：

ANA では、自社で保有する航空機だけでなく、外部の会社からリースしている機体も運航しております。私達のチームでは、リース返却時、機体に装着されている部品の識別を特定するため、過去の全整備記録の中から取り付けられた部品情報の記載がある整備タグ*の内容を抽出しリスト化する業務を行っております。これまで人力で調査を実施しておりましたが、1 機あたり約 1.5 万 – 3 万件もの整備記録からデータを抽出する必要があり大変な負担となっておりました。この作業の負荷低減のためソリューションを模索していたところ、社内 IT チームと AWS 主催の AWS 勉強会にて AWS に OCR を実現する AI サービス「Amazon Textract」があることを知り、活用できないかと考えました。

*整備タグ：航空整備作業で部品交換発生時に使用する部品の品質保証書がシール化されたもの。取り付けられた部品のタグが対象の整備記録に貼り付け、または、添付され保管される。

整備タグ OCR システム

AWS 三宅：

Amazon Textract を中心にどのような整備タグ OCR システムを開発されたのでしょうか。

ANA 九冨様：

全体アーキテクチャは下記の通りです。PDF 化された整備記録を指定の Amazon S3 に格納することで、OCR 結果が CSV ファイルとして出力されるように構成しました。事前に社内 IT 部門によるセキュリティー審査を行い、AWS 上へのファイルのアップロードやダウンロードは、社内のセキュリティポリシーに則して最小権限を持つユーザのみが実施可能になっています。

Amazon Textract

ANA 九冨様：

本システムは AWS のサーバレスサービスを使ったアーキテクチャで構成されています。
Amazon Textract によって、タグ内の表形式の内容を Key と Value の形式で文字データを抽出しています。
抽出した文字データは一時的に Amazon DynamoDB に格納し、全体処理の完了後、Amazon S3 に CSV 形式で結果を出力しています。

Amazon Rekognition

ANA九冨様：

当初、整備記録の PDF をそのまま Amazon Textract に処理させようとしていましたが、下記のような課題が発生しました。

•  数十ページある PDF ファイルの中に、整備タグは数ページにしか存在せず、それ以外のページに対しては不必要な Amazon Textract の処理（ページ数毎の課金）が発生してしまう
  
• 1 枚に複数の整備タグが貼付されている場合、抽出した文字を分類することができない
  

そこで、Amazon Textract による処理の前段に Amazon Rekognition のカスタムラベルを用いて、整備記録の中にある整備タグの部分のみの画像を切り抜き、その画像を Amazon Textract にて OCR 処理させるように工夫しました。

具体的な処理手順は下記になります。

• 数種類ある整備タグを横向き、タテ向きでそれぞれ 100 枚ずつ学習を行い、正解率 92% のカスタムラベルのモデルにて、整備タグの有無を判定
  
• タグ有の判定の場合は、カスタムラベルの推論結果をもとに、AWS Lambda にて OpenCV（画像処理ライブラリ） を用いてタグ部分の切り抜きを実施

Amazon Rekognition カスタムラベルを導入することで、Amazon Textract で処理する枚数を削減することができ、Amazon Textract 単体の場合と比較して、コストの削減を実現しました。

また Amazon Textract は検証で 89% の精度でした。手書きの文字や、罫線に重なった文字は上手く認識しないこともあり、Key となる項目の名前のゆらぎは AWS Lambda 側にて訂正対応する処理を行っています。

スロットリング対策

Amazon Textract や Amazon Rekognition に一度に大量にデータを入力するとスロットリングエラーが発生することから、Amazon SQS や Amazon DynamoDB を用いて、適切に入出力が制御できるよう調整を行いました。

導入効果

AWS 三宅：

OCR システムの導入効果と今後の展望についてお聞かせください。

ANA九冨様：

１ 機分のデータ約 1.5 万件の中からサンプリングで約 5600 件の整備記録を用いて検証を行い、下記の結果となりました。

• Amazon Rekognition カスタムラベルの正解率 ： 99.7%
• Amazon Textract のOCR の正解率： 89%（癖字や薄い印字は読み取り困難）
• 5600 ファイル（27,000 ページ）の中から、約 2000 枚の整備タグを抽出し転記する作業の工数削減

作業者の負担を大幅に低減できると判断できたため、今後は、本構成を使って実運用を開始していくとともに、更なる精度向上や保守体制を構築、誰でも使えるよう手順書を作成し汎用性を高めていきたいと考えております。

著者/協力者について

左側から

• 作山　直臣　マネジャ
  • 整備センター　機体事業室　機体計画部　航空機売却・リースチーム
• 田中　誉之密　マネジャ
  • 整備センター　機体事業室　機体計画部　航空機売却・リースチーム
• 九冨　佑輔
  • 整備センター　機体事業室　機体計画部　航空機売却・リースチーム
• 向　晃弘　リーダー
  • 整備センター　プロセス変革推進部　ＩＴチーム
• 森　俊介　マネジャ
  • 整備センター　プロセス変革推進部　ＩＴチーム

AWS ソリューションアーキテクト 三宅 穂波