게시된 날짜: Nov 27, 2023
오늘부터 AWS Command Line Interface(AWS CLI)와 Python SDK는 자동으로 AWS Common Runtime(CRT)을 사용하여 Amazon S3와 Amazon EC2 Trn1, P4d 및 P5 인스턴스 간의 데이터 전송을 가속화합니다. AWS CRT는 요청 병렬화, 자동 재시도, DNS 로드 밸런싱 등에 대한 Amazon S3의 성능 모범 사례를 구현하여 Amazon EC2와 Amazon S3 간의 높은 데이터 전송 속도를 제공합니다. 따라서 기계 학습 훈련 작업은 이제 Amazon S3에서 훈련 데이터를 최대 3배 빠르게 다운로드하고 모델 체크포인트를 Amazon S3에 업로드하는 속도가 최대 5배 빨라져 총 훈련 시간이 단축됩니다.
이번 변경 사항은 Amazon EC2 Trn1, P4d 및 P5 인스턴스를 시작할 때 최신 AWS Deep Learning AMI(DLAMI)에 자동으로 포함되며, 이러한 인스턴스는 대규모 언어 및 확산 모델을 비롯한 생성형 AI 모델에 적합합니다. 이제 AWS CLI와 Python SDK를 사용하여 Amazon S3에 액세스하는 애플리케이션은 AWS CRT의 성능 이점을 자동으로 확보합니다. AWS CRT는 이러한 인스턴스에서 사용 가능한 높은 네트워크 대역폭에 최적화되므로 스토리지 성능을 수동으로 조정할 필요 없이 컴퓨팅 리소스를 최대한 활용할 수 있습니다. 자세히 알아보려면 Python SDK 설명서 및 CLI 설명서를 참조하세요.