Amazon Nova Forge

중간 규모의 비정형 데이터를 보유한 고객을 위해 Nova Forge는 새로운 훈련 데이터를 통한 학습 성향이 사전 훈련만큼 높지 않은 상황에서 훈련 중간에 데이터를 도입할 수 있도록 모델 체크포인트와 레시피를 제공합니다. 사전 훈련과 마찬가지로 고객은 훈련 중간 단계에서 독점 데이터를 Amazon Nova에서 큐레이팅한 훈련 데이터와 혼합할 수 있습니다.  이를 통해 모델은 언어 이해 및 추론과 같은 일반적인 기능을 유지하면서 영역별 지식을 흡수할 수 있지만 치명적 망각을 방지하기 위해 보다 보수적인 학습률을 제공합니다. 

지도 학습을 통한 미세 조정은 명령-응답 데이터세트와 같은 레이블이 지정된 데이터를 사용하여 쿼리 패턴에 응답하는 방법을 모델에 가르칩니다. 고객은 요구 사항과 훈련 데이터 가용성에 따라 직접 만든 사용자 지정 기본 체크포인트, Nova의 사전 구축된 기본 체크포인트 또는 Nova의 명령 조정 모델에서 지도 학습을 통한 미세 조정을 실행하도록 선택할 수 있습니다. CPT와 마찬가지로 고객은 지도 학습을 통한 미세 조정을 통해 독점 데이터와 Amazon Nova에서 큐레이팅한 레이블이 지정된 데이터세트를 혼합할 수 있습니다. 이를 통해 고객은 지시 사항 따르기와 같은 광범위한 모델 기능을 유지하면서 자신들의 특수한 용도에 맞게 모델을 훈련할 수 있습니다.

강화 학습(RL)은 보상 신호와 인간 피드백을 활용하여 모델 행동을 더욱 정교하게 다듬습니다. RL 단계에서 Nova Forge 고객은 원격 보상 함수의 피드백을 사용하여 모델을 조정할 수 있습니다. 이를 통해 조정 과정에서 API를 통해 독점 도구와 검증기를 사용하여 사용자 지정 환경의 피드백을 활용할 수 있습니다. 기존 업계 표준인 작은 Python 파일에 정의된 단순 보상 함수와 달리, 이 API 기반 접근 방식은 고객이 정교한 사용자 지정 환경 하네스를 통합하고 대규모로 실행할 수 있도록 지원합니다. 사용자 지정 보상 함수의 예로는 물리 시뮬레이터, 중첩된 도구 직접 호출을 사용하는 내부 시스템을 통한 복잡한 코드 평가, 독점 테스트 프레임워크를 대상으로 한 로봇 공학 작업 등이 있습니다.