Amazon Web Services ブログ

AWS Storage Gateway を使用してオンプレミスアプリケーションをクラウドにバックアップする

データは世界中で指数関数的に増加し続けており、どの組織にとってもデータの保護と保持は重要課題です。お客様の中には、クラウドジャーニーを何年にもわたって続けているところもおり、ハイブリッドクラウドモデルでオンプレミスのストレージインフラストラクチャを管理および維持し続けています。データ保護と長期保存要件を満たすために、多くの組織は、オンプレミスの物理テープインフラストラクチャ、バックアップインフラストラクチャ、およびオフサイトストレージを管理および維持するために多大な時間とリソースを費やしています。ビジネスや規制遵守のためにデータを保存する必要があるため、お客様はオンプレミスのストレージ容量の問題に直面することがよくあります。これは、新しい要求に対応する能力を遅らせ、俊敏性を損ない、最終的にはデータ保護戦略に潜在的なリスクをもたらします。 お客様からは、コストとスケーリングの課題に対処するために、AWS を活用するのにオンプレミスのデータ保護インフラストラクチャをどのように変革したらよいかという質問をよく受けます。AWS Storage Gateway を使うと、お客様はオンプレミスアプリケーションを事実上無制限のクラウドストレージにバックアップできます。これにより、AWS にデータを永続的に保存しながら、オンプレミスのストレージを解放できます。 この記事では、お客様が Storage Gateway を使用してオンプレミスアプリケーションをクラウドにバックアップおよび復元する方法を示します。File Gateway、Tape Gateway、Volume Gateway のユースケースと、各ゲートウェイをストレージターゲットとして使用してコスト効率よくオンプレミスアプリケーションを AWS にバックアップする方法について説明します。 AWS Storage Gateway お客様は Storage Gateway を使用して、オンプレミスアプリケーションを保護し、バックアップインフラストラクチャと管理コストを削減しています。Storage Gateway を使用して、ファイル、アプリケーション、データベース、ボリュームを Amazon S3、Amazon S3 Glacier、Amazon S3 Glacier Deep Archive、Amazon EBS にバックアップしています (AWS のファイル、ボリューム、スナップショット、仮想テープを通じて)。一部のお客様は、Storage Gateway を使用して既存のストレージインフラストラクチャをシームレスに補完し、オンプレミスのストレージ容量をオフロードしたり、拡張したりしています。ハードウェアの調達が必要ないため、このようなデプロイはより迅速に、より短時間で行えます。 お客様は Storage Gateway を使用して、オンプレミスアプリケーションを AWS にシームレスに接続して、クラウドストレージのスケーラビリティ、信頼性、耐久性、経済性を活用できます。Storage Gateway は、NFS、SMB、iSCSI や iSCSI-VTL などの標準ストレージプロトコルをサポートしています。既存のアプリケーションに必要な変更は最小限で、オンプレミスとクラウドの両方をブリッジするハイブリッドストレージ環境をサポートする必要があるお客様にとって理想的なソリューションです。Storage Gateway は、高度に最適化されたデータ転送メカニズム、帯域幅管理、および自動化されたネットワーク回復力を使用して、効率的なデータ転送を実現しています。すべてのデータは、送信時およびクラウドでの保管時に暗号化されます。 ユースケースに応じて、Storage Gateway […]

Read More

Amazon EC2 スポットインスタンスを活用したウェブアプリケーションの構築

本記事は、EC2スポットインスタンススペシャリスト シニアソリューションアーキテクトのIsaac Vallhonratによる寄稿です。 Amazon EC2 スポットインスタンスを使うと、AWS クラウド内の使用されていない EC2 キャパシティーを用いて、オンデマンド料金に比べ最大 90% の割引価格でご利用いただけます。スポットインスタンスは、バッチジョブ、ビルド等のCI/CDパイプライン、負荷テスト、コンテナ化されたワークロード、ウェブアプリケーション、ビッグデータの分析クラスター、ハイパフォーマンスコンピューティング(HPC)用計算クラスターなど、複数のインスタンスタイプで柔軟に実行できる、耐障害性を備えたワークロードに最適です。このブログ投稿では、スポットインスタンスでウェブアプリケーションを実行するための方法とベストプラクティスについて説明し、これによりもたらされるスケールと費用節減の両方のメリットを得られるようにします。 スポットインスタンスには中断という特徴があります。この特徴を踏まえて、これから構築するウェブアプリケーションはステートレスかつ耐障害性があり、また疎結合されていることが望ましいです。また永続データの保持には Amazon ElastiCache, AmazonRDS, Amazon DynamoDB などの外部データストアを使用する必要があります。 スポットインスタンスのおさらい 2009 年に提供開始されたスポットインスタンスは、ここ最近のアップデートや関連サービスとの統合によって、お使いのワークロードで格段に活用しやすくなっています。ウェブアプリケーションを構築する方法の詳細に入る前に、スポットインスタンスの動作の概要のおさらいにお付き合いください。 まず、スポットインスタンスは EC2 の購入オプション、買い方のひとつです。 他の購入オプションである、オンデマンドインスタンス、リザーブドインスタンスやSavings Plansで起動した場合と比べて、EC2インスタンスとして提供するハードウェアに違いはありません。スポットインスタンスと他の購入オプションの違いはただ一つ、EC2 サービスが容量を必要とする場合には、2 分前に通知したのち、EC2サービスがスポットインスタンスを中断する、という動作です。つまり、大幅な割引価格で提供する代わりに、オンデマンドインスタンスやリザーブドインスタンスからの起動需要が高まってきたとき、スポットインスタンスの使用していたキャパシティをEC2サービスに戻し、需要に応える、というのがスポットインスタンスサービスの動作原理です。 スポットインスタンスは、スポットキャパシティプールと呼ばれる、いわば空きキャパシティがある限り起動できます。スポットキャパシティプール(スポットプール)とは、とは、インスタンスタイプ (m5.large など), オペレーティングシステム種別(Linuxなど), アベイラビリティーゾーン (us-east-1a など) が同一である、Amazon EC2 サービスが使用していない(空の) EC2 インスタンスの集合を指します。属性の異なるプール同士はそれぞれ独立したプールとして区別されます。例えば、us-east-1aゾーンのLinux向けm5.largeのスポットプールと、us-east-1bゾーンのLinux向けm5.largeのスポットプールは、独立した別のプールです。このそれぞれに空きがあるとき、スポットインスタンスを起動し、使用できます。 スポットインスタンスの料金は Amazon EC2 サービスによって設定され、各プールの EC2 インスタンスの需要と供給の長期的な傾向に基づき、徐々に調整されます。スポット料金は急激に変化することはなく、突然のスパイクや変動がないことが期待できます。 EC2 マネジメントコンソールと API の両方から、最大過去 3 か月間の価格履歴データを表示できます。次の図は、バージニア北部 (us-east-1) リージョンにおける m5.xlarge […]

Read More

AWSも加盟する”経団連”と”JICA(国際協力機構)”の協働で『Society 5.0 for SDGs』提言が策定されました

──── 経団連の”Society 5.0 for SDGs”コンセプト図 AmazonとAWSも加盟する経団連と、JICA(独立行政法人 国際協力機構)の協働により、『Society 5.0 for SDGs 国際展開のためのデジタル共創』が公開されました。AWSを含む、複数の民間企業からのアイディアを取りまとめたこの「提言・報告書」は、「>SDGs の達成に向け、日本が有するハード・ソフト面の高い技術力やノウハウを活かしながら、各国・地域における質の高いインフラシステムの整備に貢献する」という目的のために策定されたものです。この提言のなかには、新興国・開発途上国版 “政府共通プラットフォーム”(後述)等の画期的な構想が数多く含まれています。 以下、AWSジャパン・パブリックセクターより、2020年6月に経団連の「Policy(提言・報告書) 国際協力」として発表された本件の概要紹介と、実現するインパクトについて解説します。 経団連・JICA・AWSの目指す「デジタル技術を活用したインフラシステムの海外展開」 AWS は2018年 12 月、経団連への加盟を発表しました。 経団連ではデジタルトランスフォーメーション(DX)推進に向けた各種取り組みを進めており、「デジタル技術を活用したインフラ整備」というアジェンダを日本政府・各国政府の取り組みに反映させていくことを、これまでも目指して来ました。そうした活動の一環として、経団連とJICAの2団体は協力し、「デジタル技術を活用したインフラシステムの海外展開を推進」すべく、 AWSジャパンを含む日本企業の有するデジタル技術を活用した各種ソリューションと、JICAが実施する政府開発援助(ODA、円借款、技術協力、民間支援各種調査等)を組み合わせた政策提言集『Society 5.0 for SDGs 国際展開のためのデジタル共創』(以下、『Society 5.0 for SDGs』提言)の作成が進められてきました(経団連HPより)。  経団連の開発協力推進委員会政策部会長・谷和彦様は、次のように『Society 5.0 for SDGs』提言策定に関する、一連の活動の意義を述べています。「>現在、日本では、デジタル革新と多様な人々の想像・創造力の融合によって社会的課題を解決し、価値を創造する社会「Society 5.0」の実現に向けた取り組みを官民一体で展開しています。こうしたなか、経団連では、デジタル技術を活用した Society 5.0 を通じて国連の掲げる「持続可能な開発目標(SDGs:Sustainable Development Goals)」を達成する「Society 5.0 for SDGs」を提唱し、その推進に取り組んでおります。」(経団連HPより) 今後、「このメニューブックを活用し、提案企業にメリットがあるように、日本政府による政策対話やJICAのネットワークを通じたホスト国への採用の働きかけを検討」していくとともに、「各省庁・関係機関の他の支援措置を含め、広範な官民連携の取り組みへの発展を期待している」旨、経団連のHPにおいて謳われています。  では、この『Society 5.0 for SDGs』提言には、どのような構想が含まれているでしょうか? 以下、幾つかの提言を紹介していきます。 提言紹介①:新興国・開発途上国において、多数の政府機関・行政機関を横断する「共通基盤」をパブリック・クラウドで構成 一例として、「開発途上国版の共通プラットフォーム」という提言が採用されています。『ユースケース集』のp.23-p.24には「開発途上国版「政府共通プラットフォーム」構築 ~パブリッククラウドを用いた開発途上国政府・行政機関向け IT 基盤構築支援~」との提言が記載され、掲載資料によれば、”クラウドサービスを用いた、開発途上国の企業・政府機関所有の情報システムの近代化支援”が目指されています。 では、この構想のメリットは何でしょうか? 掲載資料によれば、”各国の政府機関・行政機関・教育機関および非営利組織は、複雑なミッションを限られた財政リソースと情報システム資産で達成するという、共通の課題に直面しています。政府機関および公共部門のリーダー達は、市民に対してより効果的に奉仕し、科学の分野での躍進を成し遂げ、より広範囲の市民に手を差し伸べ、より多くの時間やリソースを本来重要な主要なミッションに充てるために、数百万を超える利用者を擁し、サービス開発への投資の規模も大きい「パブリッククラウド」のパワーとスピードに大きな関心を寄せて”いる旨、背景が紹介されています。 掲載資料では、以下のように「クラウドを用いた集約・共通化が可能な、政府系業務システムの典型例」に関しても例示されています。  過去、そして現在に至るまで多くの政府機関・公的機関の庁舎では、独自のサーバールームを資産として保有し、その室内には多数のラックやスパゲティ状に絡み合ったケーブルを敷設し、メンテナンスのための人員を多数確保し常駐させ、用いられるサービスは時間の経過とともに陳腐化していく────そんな構造的な困難に行政の現場は直面してきました。こうした状況は、今日の日本を始め、多くの先進国と言われる国々に関しても、決して他人事ではありません。  掲載資料では、”>開発途上国の政府機関は共通して、1)自国の保有する情報システムの全数及び各性能、つまりは「全体図」が把握できていない”という戦略的な棚卸ろし・資産把握が未済である問題や、”2)それらをどのように近代化すべきか、戦略的なクラウド移行のロードマップが描けていない”────という問題が指摘されています。 […]

Read More

Amazon DocumentDB のスケーリング (MongoDB 互換性あり)、パート 1: 読み込みのスケーリング

 Amazon DocumentDB (MongoDB 互換) は、MongoDB のワークロードをサポートする、高速かつスケーラブルで可用性に優れたフルマネージド型のドキュメントデータベースサービスです。Amazon DocumentDB で、MongoDB で使用しているものと同じアプリケーションコードを実行し、同じドライバー、およびツールを使うことができます。この記事では、Amazon DocumentDB の最新クラウドネイティブデータベースアーキテクチャにより、クラスターの読み込みスループットを従来のアーキテクチャよりも高速かつ柔軟にスケーリングできる方法を示します。この記事では、Amazon DocumentDB クラスターへの接続とそこからの読み込みに関する推奨事項も提供されます。 Amazon DocumentDB クラウドネイティブアーキテクチャ 従来のモノリシックなデータベースとは異なり、Amazon DocumentDB のクラウドネイティブアーキテクチャは、ストレージとコンピューティングを分離しています。Amazon DocumentDB クラスターは、分散ストレージボリュームと、ストレージボリュームからデータを読み書きする 1 つ以上のコンピューティングインスタンスで構成されます。次の図は、1 つのプライマリインスタンスと 2 つのレプリカインスタンスを持つ Amazon DocumentDB クラスターを示しています。 コンピューティングインスタンスがリクエストを処理し、クラスターのストレージボリュームはすべてのデータのコピーを 6 つ (3 つのアベイラビリティーゾーンでそれぞれ 2 つのコピー) を維持することで耐久性を提供します。このアーキテクチャは、読み込みおよび書き込み操作用の単一のプライマリインスタンスと、読み込み操作用の最大 15 個の読み込みレプリカを提供し、1 秒あたり数百万回の読み込みにスケーリングします。 Amazon DocumentDB インスタンスにはデータが含まれていないうえに、新しいインスタンスを追加するときにデータをコピーする必要がないため、クラスターに新しいインスタンスをすばやく追加および削除できます。保存されているデータの量に関係なく、新しいレプリカインスタンスを追加し、既存のインスタンスのサイズを数分で変更することができます。新しいインスタンスは通常 8〜10 分でプロビジョニングされ、アクティブになるとすぐにクエリを処理できるようになります。Amazon DocumentDB の完全マネージド型のアプローチは、このアーキテクチャを利用して、ハードウェア障害が発生した場合にインスタンスをすばやく置き換えます。その結果、従来のデータベースアーキテクチャよりもはるかに迅速に回復できます。 Amazon DocumentDB エンドポイント Amazon DocumentDB は、3 種類のエンドポイントをサポートしています。 […]

Read More

Amazon Neptune と Amazon Redshift を使用して顧客 360 のナレッジリポジトリを構築する

 Organizations は、データレイク、データウェアハウス、レイクハウスなどの大規模なデータプラットフォームを構築してデプロイし、顧客移動の全体像を捉えて分析します。このようなデータプラットフォームの目的は、満足度に影響を与え、エンゲージメントを促進する顧客の行動パターンを理解することです。今日のアプリケーションは顧客との各連絡先をキャプチャしますが、そのデータはさまざまな場所 (外部パートナー、チャットボットやコールセンターなどのアウトソーシングされた SaaS、オンプレミスシステム、Google Analytics などのパブリッククラウドなど) に分散しており、データ間のリンクはほとんどないか、まったくありません。したがって、顧客が最初の接触から現在の体験状態になるまでにこれらの異なるデータソースを接続することが課題になります。顧客体験の主な属性と詳細データを指すリンクを含むナレッジベースを通じて、顧客を 360 度見渡す必要があります。このナレッジベースは、データランドスケープの進化に合わせて新しいデータパターンをサポートするために、柔軟で機敏性があり、拡張可能でなければなりません。 Amazon Neptune は、接続されたデータパターンを保存するために作成された専用のグラフデータベースです。これを使用して、顧客体験のデータをほぼリアルタイムでキャプチャすることにより、360 度の顧客ビューを構築できます。接続されたデータソリューションは、顧客サービス担当者にビジネスインサイトを提供し、新規販売を支援し、顧客に推奨事項を提供し、顧客 360 ダッシュボードを強化し、機械学習 (ML) ベースの分析を実行するためのデータリポジトリとして機能します。 この記事では、Neptune を使用した住宅保険についての顧客体験を以って顧客 360 のナレッジベースソリューションを構築する方法を示します。次の手順を説明します。 接続されたデータプラットフォームの価値実証 (POV) を示すサンドボックス環境を構築する 最初の接触から熱心でアクティブな顧客に至るまで顧客体験のステップを定義する Amazon Redshift SQL と分析機能を使用し、顧客体験に関与するさまざまなソースから得たデータ間のデータパターンと関連リンクについて理解する エンティティ関係 (ER) 図でビジネス状態エンティティと関連する関係を定義する ER 図とサンドボックスデータから頂点、エッジ、プロパティを識別するグラフモデルを作成する Amazon Redshift から Amazon S3 に Neptune ロードファイルを生成する Neptune で接続されたグラフデータの一括読み込みを実行する 接続されたデータのビジネス価値を証明する顧客 360 アプリケーションを構築する Neptune をデータパイプラインと統合して、データストアを接続し、専用のデータベースで新しいファクトを公開する 次の図は、そのプロセスを示しています。 ソリューションの概要 エンタープライズデータプラットフォームは、さまざまなデータキャプチャメカニズム (ウェブフロントエンド、モバイルアプリケーション、コールセンター、外部フィード、外部データ代理店とパートナー、クラウドフロント、内部ホストアプリケーション) を使用して、顧客体験データを取り込みます。従来のデータプラットフォームでは、顧客の行動パターンを理解するために、さまざまなタイプのデータストアにあるさまざまなデータを取り込み、変換し、キュレートします。データソースパターンは、大きく外部構造化、外部非構造化、内部構造化、および内部非構造化に分けられます。新規顧客または変更顧客中心の製品でデータパターンに拡大や変更が加わると、顧客体験データは複数のデータストアでばらばらになります。顧客に関連付けられたすべてのデータを接続して全体的なデータ状態を提供するのは困難な場合があります。洞察が古くなり、顧客中心の最新洞察を提供するためのレイテンシーが増大し始めています。データレイクがデータスワンプになったため、未解決のビジネス課題に対する顧客の不満を減らすために、新しい専用ストアをクリーンアップして構築する必要があります。 […]

Read More

REA Group は、Amazon Rekognition を使用していかに画像コンプライアンスの自動化を実現したか

 Amazon Rekognition は、画像や動画内のオブジェクト、人物、文字、場面および活動を識別し、さらに不適切な内容を検知する、機械学習 (ML) ベースの画像および映像分析サービスです。Amazon Rekognition のテキスト検出機能は、画像や動画のテキストコンテンツを認識し、抽出することを可能にします。たとえば画像共有アプリやソーシャルメディアアプリでこの機能を使用すると、テキスト検索により、同じキーワードでインデックス化された画像を表示させることができます。メディアアプリやエンターテインメントアプリの場合、広告、ニュース、スポーツのスコア、字幕など、画面上のテキストに基づいて動画をカタログ化できます。 次のスクリーンショットは、画像内テキスト の抽出例を示しています。 この記事では、REA Group が DetectText API を通じてAmazon Rekognition Text in Image 機能を使用することで、不動産リスティングにいかに自動画像コンプライアンスソリューションを導入したかについて説明します。 REA Group について REA Group は、不動産向けデジタル広告を専門とする多国籍企業です。創業から 20 年以上を数える同社は、オーストラリア、マレーシア、香港、タイ、インドネシア、シンガポール、中国で事業を展開しています。REA Group は、アジアで iproperty.com.my、 squarefoot.com.hk、thinkofliving.com といった主要ポータルブランドを運営しているほか、シンガポールとインドネシアで不動産広告サイトを展開する 99 Group を傘下に収めています。さらに、インドの不動産広告サイトである Move, Inc や PropTiger の大株主でもあります。REA Group のウェブサイトは、消費者に向けた不動産の売買および賃貸サービスに加え、最新の不動産ニュース、改装のヒント、ライフスタイル情報などを提供しており、1 日あたりの訪問者数は何百万人にも上ります。 画像コンプライアンスの課題 REA Group が提供する検索ベースのポータルでは、消費者は売主がアップロードした販売中の不動産の画像を検索し、幅広い選択肢の中から選び出すことができます。REA チームは、アップロードされた画像がしばしば利用規約に違反していることに気づきました。たとえば、売主の商標や連絡先の詳細が含まれた画像がアップロードされていることがあり、そのことがリード帰属問題を引き起こしていました。そこで同社は、画像の中に許可されないコンテンツがないかを人の目で確認するためのチームを立ち上げましたが、日々膨大な量の画像がアップロードされる中、審査プロセスが増えたことで不動産リスティング広告が掲載されるまでに数日の遅れが出るようになってしまいました。 画像コンプライアンスソリューション REA チームは、規約に準拠していない画像を自動的に検出し、売主に通知する画像コンプライアンスシステムを開発しました。当初は、Amazon Elastic Compute […]

Read More

ADFS と AWS の間の信頼を確立し、Active Directory 認証情報を使用して ODBC ドライバーで Amazon Athena に接続する

 Amazon Athena はサーバーレスでインタラクティブなクエリサービスです。これにより、標準的な SQL を使用して、Amazon Simple Storage Service (Amazon S3) で未加工および処理済みのデータセットを簡単に分析できます。Athena が提供する JDBC および ODBC ドライバーを使用すると、データ分析ツール (Microsoft Power BI、Tableau、SQLWorkBench など) を Athena とシームレスに統合し、数分でデータに関する洞察を得ることができます。 2018 年 11 月までは、IAM ユーザーまたはロールの認証情報を使用して、ODBC または JDBC ドライバーで Athena に接続する必要がありました。けれども、Athena ODBC/JDBC ドライバーで、Microsoft Active Directory Federation Services (ADFS 3.0) と Security Assertion Markup Language (SAML 2.0) のサポートが 2018 年 11 月 20 […]

Read More

Drop が Apache Spark の Amazon EMR ランタイムを使用してコストを半分にし、結果取得までの速度を 5.4 倍にした方法

 これは、Drop のソフトウェアエンジニアである Michael Chau 氏と AWS ビッグデータスペシャリストソリューションアーキテクトの Leonardo Gomez 氏によるゲスト投稿です。彼らは、次のように述べています。「Drop には、一度に 1 回の報酬で、消費者の生活を向上させるという使命があります。パーソナライズされたコマースプラットフォームを通じて、適切なブランドを適切なタイミングでインテリジェントに表示し、会員の暮らしを以前よりも素晴らしいものにしています。機械学習を利用し、200 を超えるパートナーブランドと消費者をマッチングさせることで、2 つの主要な目標を実現しています。すなわち、購入からポイントを獲得し、そのポイントをすぐに特典と引き換えることができるようにすることです。トロントを本拠地としながら、グローバルな考え方をもって活動する Drop は、北米全体で 300 万人を超える会員のために、次世代のエクスペリエンスを構築しています。詳細については、www.joindrop.com をご覧ください」 概要 Drop では、データレイクインフラストラクチャが、製品とビジネスに関して、データに基づく意思決定を改善する上で不可欠な役割を果たしています。重要な機能は、膨大な量の生データを処理し、当社のデータレイクの標準化されたファイル形式とパーティション構造に準拠した調整済みデータセットを生成する機能です。当社のビジネスインテリジェンス、実験分析、機械学習 (ML) システムは、これらの変換されたデータセットを直接使用します。 この投稿では、Amazon EMR を使用するためにデータレイクのバッチ ETL パイプラインを設計および実装した方法と、Apache Spark ランタイムを数時間から数分に削減し、運用コストを 50% を超えて節約するためにアーキテクチャにおいて繰り返し実行したさまざまな方法について詳しく説明します。 パイプラインの構築 Drop のデータレイクは、ダウンストリームのビジネスインテリジェンス、実験分析、および ML システムが不可欠に依拠している会社のデータインフラストラクチャ全体における中心的かつ信頼できる情報源として機能します。当社のデータレイクの目標は、さまざまな情報源から膨大な量の生データを取り込み、ダウンストリームシステムが Amazon Simple Storage Service (Amazon S3) を介してアクセスできる信頼性の高い、調整されたデータセットを生成することです。これを実現するために、Lambda アーキテクチャ処理モデルに準拠するようにデータレイクのバッチ ETL パイプラインを構築し、Apache Spark と Amazon EMR の組み合わせを使用して、Amazon […]

Read More

AWS CodeArtifact によるソフトウェアパッケージ管理

 ソフトウェアアーティファクトリポジトリとそれに関連するパッケージマネージャーは、開発に不可欠なコンポーネントです。ライブラリが必要な時点で、パッケージマネージャーを使用してソフトウェアのビルド済みライブラリをダウンロードして参照すると、開発プロセスとビルドプロセスの両方が簡略化されます。Maven Central、npm パブリックレジストリ、PyPi (Python Package Index) など、さまざまなパッケージリポジトリを使用できます。多数のアーティファクトリポジトリを操作すると、アプリケーションのソフトウェアの依存関係のバージョンとアクセスの両方を慎重に制御したい組織にいくつかの課題が生じる可能性があります。検出されておらず、悪用され得る脆弱性が組織のアプリケーションに存在するのを防ぐために、依存関係への変更はすべて制御する必要があります。一元化されたリポジトリを使用することで、組織がアクセス制御とバージョン変更を管理しやすくなり、チームは、IT リーダーが新しいバージョンの使用を承認していることを確信しながら、パッケージバージョンを更新できます。大規模な組織では、これらの課題を解決するために従来のアーティファクトリポジトリソフトウェアを使用する場合がありますが、これらの製品では、インストール、設定、メンテナンス、およびスケーリングに関するさらなる課題が発生する可能性があります。小規模な組織では、従来のアーティファクトリポジトリソフトウェアの料金とメンテナンスにかける労力が莫大なものになる場合があります。 今日一般的に利用可能な AWS CodeArtifact は、開発、構築、およびデプロイのプロセスで使用されるソフトウェアパッケージを安全に保存および共有するための、開発者および組織向けのフルマネージド型のアーティファクトリポジトリサービスです。現在、CodeArtifact は、Maven と Gradle (Java の場合)、npm と yarn (Javascript の場合)、pip と twine (Python の場合) などの一般的なビルドツールとパッケージマネージャーで使用できます。新しいパッケージが取り込まれるか、リポジトリに公開されると、CodeArtifact は自動的にスケーリングし、フルマネージド型のサービスとして、CodeArtifact は、お客様の側におけるインフラストラクチャのインストールやメンテナンスを必要としません。さらに、CodeArtifact はポリグロットアーティファクトリポジトリです。つまり、サポートされている任意のタイプのアーティファクトパッケージを格納できます。たとえば、単一の CodeArtifact リポジトリを設定して、Maven、npm、および Python リポジトリからのパッケージを 1 つの場所に格納できます。 CodeArtifact リポジトリはドメインに編成されます。組織で単一のドメインを使用してから、リポジトリを追加することをお勧めします。例えば、チームごとに異なるリポジトリを使用することを選択できます。パッケージをリポジトリに公開したり、外部リポジトリからパッケージを取り込んだりするには、開発者が慣れているパッケージマネージャーツールを使用するだけです。開始のプロセスを見てみましょう。 CodeArtifact の開始方法 CodeArtifact の使用を開始するには、まず組織用のドメインを作成する必要があります。これにより、リポジトリが集約されます。ドメインは、リポジトリから使用されますが、パッケージとメタデータの実際のストレージを実行するために使用されます。これには、特定の npm パッケージなどの単一のパッケージアセットが、リポジトリの数に関係なく、ドメインごとに 1 回だけ格納されるという利点があります。CodeArtifact コンソールで、左側のナビゲーションパネルから [ドメイン] を選択するか、代わりに、最初のリポジトリの作成の一部としてドメインを作成します。これを行うには、[リポジトリの作成] をクリックします。 最初に、リポジトリに名前と任意の説明を付け、その後に任意でリポジトリをいくつかのアップストリームリポジトリに接続することができます。リポジトリに存在しないパッケージがリクエストされると、CodeArtifact はこれらのアップストリームリポジトリからそれぞれのパッケージをプルし、CodeArtifact リポジトリにキャッシュします。CodeArtifact リポジトリは、他の CodeArtifact […]

Read More

Amazon SageMaker Ground Truth での 3D オブジェクトトラッキングとセンサーフュージョンのデータのラベル付け

 Amazon SageMaker Ground Truth は、3D ポイントクラウドデータのラベル付けをサポートするようになりました。リリースされた機能セットの詳細については、この AWS ニュースブログの記事を参照してください。 このブログ記事では、3D ポイントクラウドデータから必要なデータ変換を実行して、SageMaker Ground Truth で 3D オブジェクト追跡ユースケースのラベル付けジョブを作成する方法を具体的に説明します。 自律型運転車 (AV) 企業は通常、LiDAR センサーを使用して、車両周辺環境の 3D についての理解度を高めます。たとえば、LiDAR センサーを車両に取り付けて、特定の時点で周囲の 3D 環境スナップショットを継続的にキャプチャします。LiDAR センサーの出力は、一連の 3D ポイントクラウドフレームです (通常、キャプチャレートは 1 秒あたり 10 です)。車両の周囲から関心のあるオブジェクト (他の車両や歩行者など) を自動的に追跡できる知覚システムを構築するために、これらの企業は、最初に 3D ポイントクラウドフレーム内のオブジェクトに手動でラベルを付け、次にラベル付けされた 3D フレームを使用して機械学習 (ML) モデルをトレーニングします。 知覚システムの構築に関しては、複数のセンサーからの入力を使用して、個々のセンサーの欠点を軽減するのが一般的な方法です。たとえば、ビデオカメラは、信号が赤、黄、緑のいずれであるかなどの重要なコンテキスト情報を提供できますが、通常、暗い状況では知覚が制限されます。一方、LiDAR センサーは、交通信号の色のような特定のコンテキストを理解することはできませんが、外が明るいか暗いかに関係なく、360 度にわたって深度ある知覚を提供できます。 SageMaker Ground Truth は、ML トレーニングデータセットを構築するための一連の 3D ポイントクラウドフレームにわたってオブジェクトに簡単にラベルを付け、最大 8 台のビデオカメラ入力を備えた LiDAR データのセンサーフュージョンをサポートします。ビデオフレームと […]

Read More