자기 회귀 모델이란 무엇인가요?
자기 회귀 모델은 시퀀스의 이전 입력에서 측정값을 가져와 시퀀스의 다음 성분을 자동으로 예측하는 기계 학습(ML) 모델의 클래스입니다. 자기 회귀는 시계열 분석에 사용되는 통계 기법으로, 시계열의 현재 값이 과거 값의 함수라고 가정합니다. 자기 회귀 모델은 유사한 수학적 기법을 사용하여 시퀀스에 있는 요소 간의 확률적 상관관계를 판단합니다. 그런 다음 도출된 정보를 사용하여 알려지지 않은 시퀀스의 다음 요소를 추측합니다. 예를 들어 자기 회귀 모델이 훈련 중에 여러 영어 문장을 처리하여 단어 ‘is’가 항상 ‘there’라는 단어 뒤에 오는 것을 파악합니다. 그런 다음 ‘there is’가 함께 있는 새 시퀀스를 생성합니다.
자기 회귀 모델은 생성형 AI에 어떻게 사용되나요?
생성형 인공 지능(생성형 AI)은 방대한 훈련 데이터를 학습하여 새롭고 독특한 콘텐츠를 만들 수 있는 고급 데이터 과학 기술입니다. 다음 섹션에서는 자기 회귀 모델링을 통해 생성형 AI 애플리케이션을 지원하는 방법을 설명합니다.
자연어 처리(NLP)
자기 회귀 모델링은 대규모 언어 모델(LLM)의 중요한 구성 요소 중 하나입니다. LLM은 트랜스포머 아키텍처에서 파생된 심층 신경망인 생성형 사전 훈련 트랜스포머(GPT)로 구동됩니다. 트랜스포머는 각각 자연어 이해와 자연어 생성을 지원하는 인코더와 디코더로 구성됩니다. GPT는 자기 회귀 언어 모델링에 디코더만 사용합니다. 따라서 GPT는 자연어를 이해하여, 인간이 이해할 수 있는 방식으로 응답할 수 있습니다. GPT 기반의 대규모 언어 모델은 훈련한 텍스트 코퍼스의 확률 분포를 고려하여 다음 단어를 예측합니다.
자연어 처리(NLP)에 대해 읽어보기
이미지 합성
딥 러닝 모델에 자기 회귀를 사용하면 한정된 정보를 분석하여 이미지를 생성할 수 있습니다. PixelRNN 및 PixelCNN과 같은 이미지 처리 신경망은 자기 회귀 모델링을 사용하여 기존 픽셀 정보를 조사함으로써 시각적 데이터를 예측합니다. 자기 회귀 기법을 사용하여 품질을 유지하면서 이미지의 선명도를 높이고, 이미지를 확대 및 재구성할 수 있습니다.
시계열 예측
자기 회귀 모델은 시계열 이벤트의 발생 가능성을 예측하는 데 유용합니다. 예를 들어 딥 러닝 모델은 자기 회귀 기법을 사용하여 과거 값을 기반으로 주가, 날씨 및 교통 상황을 예측합니다.
데이터 증강
ML 엔지니어는 선별된 데이터 세트로 AI 모델을 훈련하여 성능을 개선합니다. 데이터가 부족하여 모델을 적절하게 훈련할 수 없는 경우가 있습니다. 이 경우 엔지니어는 자기 회귀 모델을 사용하여 새롭고 사실적인 딥 러닝 훈련 데이터를 생성합니다. 생성된 데이터를 활용하여 기존의 한정된 훈련 데이터 세트를 보강합니다.
자기 회귀 모델링은 어떻게 작동하나요?
자기 회귀 모델은 다양한 선형 회귀 분석을 사용하여 주어진 변수 범위에서 다음 시퀀스를 예측합니다. 회귀 분석에서는 종속 변수의 값을 예측하는 데 사용되는 여러 독립 변수가 통계 모델에 제공됩니다.
선형 회귀
선형 회귀는 2차원 그래프에 분포된 평균값을 가장 잘 나타내는 직선을 그리는 것과 같다고 할 수 있습니다. 모델은 이 직선을 사용하여 과거 값의 조건부 분포에 해당하는 새 데이터 포인트를 생성합니다.
y(종속 변수)와 x(독립 변수) 사이의 가장 간단한 선 그래프 방정식인 y=m*x+c를 떠올려보세요. 여기서 c와 m은 x와 y의 가능한 모든 값에 대해 일정합니다. 예를 들어 (x,y)에 대한 입력 데이터 세트가 (1,5), (2,8), (3,11)이라고 가정해보겠습니다. 선형 회귀 방법을 식별하려면 다음 단계를 따릅니다.
- 직선을 그리고 1과 5 사이의 상관 관계를 측정합니다.
- 모든 값이 맞을 때까지 새 값(2,8) 및 (3,11)의 직선 방향을 변경합니다.
- 선형 회귀 방정식을 y=3*x+2로 식별합니다.
- x가 4일 때 y가 14임을 추정하거나 예측합니다.
자기 회귀
자기 회귀 모델은 이전 단계에서 가져온 출력의 지연 변수를 사용하여 선형 회귀를 적용합니다. 선형 회귀와 달리 자기 회귀 모델은 이전에 예측한 결과를 제외한 다른 독립 변수를 사용하지 않습니다. 다음 공식을 살펴보겠습니다.
확률론적 용어로 표현하자면, 자기 회귀 모델은 이전 변수가 조건부로 다음 단계의 결과에 영향을 미친다고 가정하여, 가능한 n개 단계에 걸쳐 독립 변수를 분포시킵니다.
아래의 방정식을 사용하여 자기 회귀 모델링을 표현할 수도 있습니다.
여기서 y는 이전 결과의 여러 차수에 해당하는 계수 ϕ를 곱한 예측 결과입니다. 이 계수는 새 결과에 대한 예측 변수의 중요성에 영향을 미치는 가중치 또는 파라미터를 나타냅니다. 또한 이 공식은 예측에 영향을 미칠 수 있는 무작위 노이즈도 고려합니다. 무작위 노이즈는 모델이 이상적이지 않고 추가 개선이 가능함을 나타냅니다.
지연
데이터 사이언티스트가 자기 회귀 모델링 정확도를 개선하기 위해 더 많은 지연 값을 추가합니다. 이를 위해 데이터 시계열의 단계 수를 나타내는 t 값을 늘립니다. 단계 수가 많을수록 모델은 더 많은 과거 예측을 입력으로 캡처할 수 있습니다. 예를 들어 보다 정확한 결과를 얻기 위해 지난 7일~14일 전의 예측 온도를 포함하도록 자기 회귀 모델을 확장할 수 있습니다. 그렇긴 하지만, 자기 회귀 모델의 지연 차수를 늘린다고 해서 항상 정확도가 향상되는 것은 아닙니다. 계수가 0에 가까우면 특정 예측 변수가 모델 결과에 거의 영향을 미치지 않습니다. 또한 모델이 복잡할수록 시퀀스 결과를 무한정 확장하기 위해 실행해야 하는 컴퓨팅 리소스가 더 많아집니다.
자기 상관이란 무엇인가요?
자기 상관은 자기 회귀 모델의 결과가 지연 변수의 영향을 얼마나 강하게 받는지를 평가하는 통계 방식입니다. 데이터 사이언티스트는 자기 상관을 사용하여 모델의 출력과 지연된 입력 간의 관계를 설명합니다. 상관관계가 높을수록 모델의 예측 정확도가 높아집니다. 다음은 자기 상관에 대한 몇 가지 고려 사항입니다.
- 상관관계가 양수이면, 결과가 이전 값에서 나타나는 추세를 따른다는 의미입니다. 예를 들어 이 모델은 주가가 지난 며칠 동안 상승했기 때문에 오늘 주가가 상승할 것이라고 예측합니다.
- 상관관계가 음수이면 출력 변수가 이전 결과와 반대로 향한다는 의미입니다. 예를 들어 자기 회귀 시스템은 지난 며칠간 비가 왔지만 내일은 맑을 것으로 예측합니다.
- 상관관계가 0이면 입력과 출력 간에 특정 패턴이 나타나지 않음을 의미합니다.
데이터 엔지니어는 자기 상관을 사용하여 컴퓨팅 리소스와 응답 정확도를 최적화하기 위해 모델에 포함해야 하는 단계 수를 결정합니다. 일부 애플리케이션에서는 자기 회귀 모델이 직전 과거의 변수를 사용할 때는 자기 상관이 강하지만, 시기적으로 서로 동떨어진 입력값에 대해서는 자기 상관이 약할 수 있습니다. 예를 들어 엔지니어들은 자기 회귀 기상 예측기가 30일 이상 지난 과거 예측에 덜 민감하다는 사실을 발견했습니다. 그래서 지난 30일간의 지연된 결과만 포함하도록 모델을 수정했습니다. 결과적으로, 더 적은 컴퓨팅 리소스로 더 정확한 결과를 얻을 수 있었습니다.
자기 회귀와 다른 유형의 회귀 분석 기법 간의 차이점은 무엇인가요?
자기 회귀 외에도, 변수와 그 상호 의존성을 분석하기 위한 몇 가지 회귀 기법이 개발되었습니다. 다음 섹션에서는 이들의 차이점을 설명합니다.
선형 회귀와 자기 회귀 비교
두 회귀 방법 모두, 여러 과거 변수가 미래 값과의 선형 관계를 공유한다고 가정합니다. 선형 회귀는 동일한 기간 내의 여러 독립 변수를 기반으로 결과를 예측합니다. 반면, 자기 회귀는 한 가지 변수 유형만 사용하지만 이를 여러 지점으로 확장하여 향후 결과를 예측합니다. 예를 들어 선형 회귀를 사용하여 날씨, 교통량 및 보행 속도를 기준으로 통근 시간을 예측합니다. 또는 자기 회귀 모델에서 과거 출퇴근 시간을 사용하여 오늘의 도착 시간을 추정할 수 있습니다.
다항 회귀와 자기 회귀 분석 비교
다항 회귀는 비선형 변수의 관계를 분석하는 통계 방식입니다. 일부 변수의 경우, 직선으로 선형적으로 표현할 수 없으며, 관계를 더 잘 반영하려면 추가 다항식 항이 필요합니다. 예를 들어 엔지니어는 다항 회귀를 사용하여 교육 수준에 따라 직원 소득을 분석할 수 있습니다. 반면, 자기 회귀는 이전 급여를 기준으로 직원의 미래 소득을 예측하는 데 적합합니다.
로지스틱 회귀와 자기 회귀 분석 비교
로지스틱 회귀를 사용하면 통계 모델이 확률론적 항에서 특정 이벤트의 발생 가능성을 예측할 수 있습니다. 로지스틱 회귀에서는 예측 결과를 숫자 범위 대신 백분율로 표시합니다. 예를 들어 비즈니스 분석가가 로지스틱 회귀 모델을 사용하여 다음 달의 공급 비용 증가 가능성을 85%로 예측합니다. 반대로, 자기 회귀 모델은 이전 달에 대한 과거 예측을 바탕으로 예상 재고 가격을 예측합니다.
릿지 회귀와 자기 회귀 비교
릿지 회귀는 모델의 계수를 제한할 수 있는 선형 회귀 분석의 변형된 형태입니다. 데이터 사이언티스트가 결과를 모델링할 때, 계수가 미치는 영향을 보완하여 페널티 계수를 조정할 수 있습니다. 릿지 회귀 모델에서는 파라미터 계수를 0에 가깝게 억제할 수 있습니다. 이는 회귀 알고리즘이 과적합되기 쉬운 경우에 유용합니다. 과적합은 모델이 훈련 데이터로는 잘 일반화할 수 있지만, 익숙하지 않은 실제 데이터로는 일반화할 수 없는 상태를 말합니다. 반면, 자기 회귀 모델에는 계수 페널티 메커니즘이 없습니다.
라쏘 회귀와 자기 회귀 비교
라쏘 회귀는 페널티 계수를 사용하여 변수 계수를 제한할 수 있는 릿지 회귀와 유사합니다. 하지만 라쏘 회귀를 사용하면 계수를 0으로 줄일 수 있습니다. 따라서 데이터 사이언티스트가 중요하지 않은 파라미터를 무시하여 복잡한 모델을 단순화할 수 있습니다. 반면, 자기 회귀 모델은 계수 축소를 통해 예측을 조정하지 않습니다.
AWS가 자기 회귀 모델을 어떻게 지원하나요?
소프트웨어 팀은 Amazon Web Services(AWS)에서 생성형 AI 애플리케이션을 위한 자기 회귀 모델을 보다 효율적으로 구축, 훈련, 배포하고 규모를 조정할 수 있습니다. AWS는 엔터프라이즈급 보안 및 관리형 인프라를 기반으로, 기업을 위한 생성형 모델 개발을 간소화하고 출시 시간을 단축해 줍니다. 예를 들어 다음을 사용할 수 있습니다.
- Amazon Bedrock은 자체 데이터로 맞춤화하고 혁신하는 데 사용할 수 있는 파운데이션 모델을 제공하는 관리형 서비스입니다.
- Amazon SageMaker를 사용하여 어떤 사용 사례든 그에 맞는 ML 모델을 구축, 훈련 및 배포할 수 있습니다.
- AWS Trainium과 AWS Inferentia를 사용하면 고성능, 저비용 컴퓨팅 파워를 활용하여 클라우드에서 생성형 AI 애플리케이션을 훈련 및 호스팅하고 규모를 조정할 수 있습니다.
지금 계정을 만들어 AWS에서 자기 회귀 모델을 시작하세요.
