自己回帰モデルとは?
自己回帰モデルは機械学習 (ML) モデルの一種で、シーケンス内の前の入力から測定値を取得することにより、シーケンス内の次のコンポーネントを自動的に予測します。自己回帰は、時系列分析で使用される統計的手法で、時系列の現在の値が過去の値の関数であることを前提としています。自己回帰モデルでは、同様の数学的手法を使用して、シーケンス内の要素間の確率的相関関係を判断します。次に、得られた知識を使用して、未知のシーケンスの次の要素を推測します。たとえば、トレーニング中、自己回帰モデルはいくつかの英語の文を処理し、「is」という単語が常に「そこ」という単語の後に続くことを識別します。 次に、「存在する」 を一緒に含む新しいシーケンスを生成します。
自己回帰モデルは生成系 AI でどのように使用されていますか?
生成系人工知能 (生成系 AI) は、膨大なトレーニングデータから学習することで、新しいユニークなコンテンツを作成できる高度なデータサイエンス技術です。以下のセクションでは、自己回帰モデリングがどのようにして生成系 AI アプリケーションを可能にするかを説明します。
自然言語処理 (NLP)
自己回帰モデリングは、大規模言語モデル (LLM) の重要なコンポーネントです。LLM は、トランスフォーマーアーキテクチャから派生したディープニューラルネットワークである生成系・プレ・トレーニング・トランスフォーマー (GPT) によって駆動されます。トランスフォーマーは、それぞれ自然言語理解と自然言語生成を可能にするエンコーダー/デコーダーで構成されています。GPT は自己回帰言語モデリングにデコーダーのみを使用します。これにより、GPT は自然言語を理解し、人間が理解できる方法で対応することができます。GPT を活用した大規模言語モデルは、学習対象のテキストコーパスの確率分布を考慮して次の単語を予測します。
自然言語処理 (NLP) について読む
画像合成
自己回帰により、深層学習モデルは限られた情報を分析して画像を生成できます。PixelRNN や PixelCNN などの画像処理ニューラルネットワークは、自己回帰モデリングを使用して既存のピクセル情報を調べて視覚データを予測します。自己回帰手法を使用すると、画質を維持したまま画像のシャープ化、拡大、再構成を行うことができます。
時系列予測
自己回帰モデルは、時系列イベントの可能性を予測するのに役立ちます。たとえば、深層学習モデルでは、自己回帰手法を使用して、過去の値に基づいて株価、天候、交通状況を予測します。
データ拡張
ML エンジニアは、精選されたデータセットを使って AI モデルをトレーニングし、パフォーマンスを向上させます。場合によっては、モデルに適切なトレーニングを行うにはデータが不十分な場合があります。エンジニアは自己回帰モデルを使用して、新しく現実的な深層学習トレーニングデータを生成します。生成されたデータを使用して、既存の限られたトレーニングデータセットを拡張します。
自己回帰モデリングはどのように機能しますか?
線形回帰モデルでは、線形回帰分析のバリエーションを使用して、特定の範囲の変数から次のシーケンスを予測します。リグレッション分析では、統計モデルに複数の独立変数が提供され、それを使用して従属変数の値を予測します。
線形回帰
線形回帰は、2 次元グラフに分布する平均値を最もよく表す直線を引くことだと想像できます。直線から、モデルは履歴値の条件付き分布に対応する新しいデータポイントを生成します。
y (従属変数) と x (独立変数) の間の最も単純な折れ線グラフ方程式を考えてみましょう。y=c*x+m。ここで、c と m は x と y のすべての可能な値に対して定数です。たとえば、(x, y) の入力データセットが (1,5)、(2,8)、(3,11) だったとします。線形回帰法を特定するには、次のステップに従います。
- 直線をプロットし、1 と 5 の相関を測定します。
- 新しい値 (2,8) と (3,11) の直線の方向を、すべての値が収まるまで変更します。
- 線形回帰方程式を y=3*x+2 として特定します。
- x が 4 の値のとき、y が 14 であると推定または予測します。
自動回帰
自己回帰モデルは、前のステップから取得した出力の遅延変数を使用して線形回帰を適用します。線形回帰とは異なり、自己回帰モデルでは以前に予測された結果以外の独立変数を使用しません。次の表について考えます。
自己回帰モデルは、確率項で表すと、前の変数が次の変数の結果に条件付きで影響すると仮定して、独立変数を n 個の可能なステップに分散させます。
自己回帰モデリングは以下の式で表すこともできます。
ここで、 y は、以前の結果の複数の次数に、それぞれの係数を掛けた予測結果です。係数は、新しい結果に対する予測変数の重要性に影響する重みまたはパラメータを表します。この式では、予測に影響を与える可能性のあるランダムノイズも考慮されます。これは、モデルが理想的ではなく、さらなる改善が可能であることを示しています。
ラグ
データサイエンティストは、自己回帰モデリングの精度を向上させるために、より多くの遅延値を追加します。そのためには、データの時系列におけるステップ数を示す t の値を大きくします。ステップ数が多いほど、モデルはより多くの過去の予測を入力として取り込むことができます。たとえば、自己回帰モデルを拡張して、7 日間から過去 14 日間の予測気温を含めると、より正確な結果が得られます。とはいえ、自己回帰モデルの遅延次数を増やしても、必ずしも精度が向上するとは限りません。係数がゼロに近い場合、特定の予測変数はモデルの結果にほとんど影響を与えません。さらに、シーケンスを無限に拡張すると、実行に必要な計算リソースがより複雑なモデルになります。
自己相関とは?
自己相関は、自己回帰モデルの出力が遅延変数によってどの程度強く影響を受けるかを評価する統計的手法です。データサイエンティストは自己相関を使用して、モデルの出力と遅延入力の関係を説明します。相関関係が高いほど、モデルの予測精度が高くなります。自己相関に関する考慮事項は次のとおりです。
- 正の相関関係は、出力が以前の値に示された傾向に従っていることを意味します。たとえば、このモデルでは、過去数日間に株価が上昇したため、今日は株価が上昇すると予測しています。
- 負の相関関係は、出力変数が前の結果と逆になることを意味します。たとえば、自己回帰システムでは、過去数日間は雨が降っていたが、明日は晴れの日になると予測しています。
- 相関がゼロの場合は、入力と出力の間に特定のパターンがないことを示している可能性があります。
データエンジニアは自己相関を利用して、計算リソースと応答精度を最適化するためにモデルに含めるべきステップ数を決定します。アプリケーションによっては、自己回帰モデルでは、直近の過去の変数を使用する場合は強い自己相関を示すが、遠い入力では弱い自己相関を示す場合があります。たとえば、エンジニアは、自己回帰気象予測変数は、30日以上にわたる過去の予測に対する感度が低いことを発見しました。そこで、過去 30 日間の遅れの結果のみを含むようにモデルを改訂しました。これにより、より少ない計算リソースでより正確な結果が得られました。
自己回帰と他のタイプの回帰分析手法の違いは何ですか?
自己回帰とは別に、変数とその相互依存性を分析するためにいくつかの回帰手法が導入されています。次のセクションでは、違いについて説明します。
線形回帰と自己回帰の比較
どちらのリグレッション方法も、過去の変数は将来の値と線形関係にあることを前提としています。線形回帰は、同じ時間枠内の複数の独立変数に基づいて結果を予測します。一方、自己回帰では 1 つの変数タイプしか使用しませんが、それを複数のポイントに展開して将来の結果を予測します。たとえば、線形回帰を使用して、天候、交通量、歩行速度に基づいて通勤時間を予測します。あるいは、自己回帰モデルでは、過去の通勤時間を使用して今日の到着時間を推定します。
多項式回帰と自己回帰の比較
多項式回帰は、非線形変数の関係を捉える統計的手法です。変数の中には、直線では直線的に表現できないものがあり、それらの関係をよりよく反映するために多項式項を追加する必要があります。たとえば、エンジニアは多項式回帰を使用して、教育レベルに基づいて従業員の収入を分析します。一方、自己回帰分析は、以前の給与に基づいて従業員の将来の収入を予測するのに適しています。
ロジスティック回帰と自己回帰の比較
ロジスティック回帰では、統計モデルを使用して確率項における特定の事象の可能性を予測できます。予測結果を数値の範囲ではなくパーセンテージで表します。たとえば、ビジネスアナリストはロジスティック回帰モデルを使用して、翌月に供給コストが増加する可能性が 85% になると予測しています。逆に、自己回帰モデルでは、前月の過去の予測に基づいて予想在庫価格を予測します。
リッジリグレッションと自己回帰の比較
リッジ回帰は線形回帰の一種で、モデルの係数を制限することができます。データサイエンティストは、結果のモデル化における係数の影響を補うために、ペナルティファクターを調整できます。リッジ回帰モデルでは、パラメータ係数をほぼゼロに抑えることができます。これは、回帰アルゴリズムが過適合しやすい場合に役立ちます。オーバーフィッティングとは、モデルがトレーニングデータではうまく一般化できるが、慣れていない実世界のデータではうまく一般化できない状態です。一方、自己回帰モデルには係数ペナルティメカニズムはありません。
ラッソ回帰と自己回帰の比較
ラッソ回帰はリッジ回帰に似ており、ペナルティファクターで変数係数を制限できます。ただし、ラッソ回帰では係数をゼロに抑えることができます。これにより、データサイエンティストは、重要でないパラメーターを無視して複雑なモデルを簡略化できます。一方、自己回帰モデルは予測を係数収縮で調整しません。
AWS は自己回帰モデルにどのように役立ちますか?
Amazon Web Services (AWS) を使用すると、ソフトウェアチームは生成系 AI アプリケーション用の自己回帰モデルをより効率的に構築、トレーニング、デプロイ、スケーリングできます。エンタープライズグレードのセキュリティとマネージドインフラストラクチャにより、AWS は企業の生成モデル開発を簡素化し、市場投入までの時間を短縮します。たとえば、次のことができます。
- Amazon Bedrock は、独自のデータをカスタマイズしたり革新したりするために使用できる基本モデルを提供するマネージドサービスです。
- Amazon SageMaker では、あらゆるユースケースに対応する ML モデルの構築、トレーニング、デプロイが可能です。
- AWS Trainium と AWS Inferentia は、高性能で低コストのコンピューティング能力を備えたクラウド上で生成系 AI アプリケーションのトレーニング、ホスト、スケーリングを行います。
今すぐアカウントを作成して、AWS で自己回帰モデルを使い始めましょう。
