게시된 날짜: Mar 23, 2021
채팅 봇, 감정 분석, 질문 답변, 검색과 같은 사용 사례를 이끌어가는 자연어 처리 분야는 지난 몇 년 동안 르네상스를 경험했습니다. 특히, 트랜스포머 딥 러닝 아키텍처는 T5 및 GPT-3과 같이 역대 최대 규모의 최첨단 모형을 구축하는 데 중추적인 역할을 했습니다. 하지만 그런 모형들의 규모를 고려할 때 NLP 모형을 훈련하고 최적화하려면 시간과 리소스, 기술이 필요합니다. 2016년부터 Hugging Face는 164개 언어로 7,000 개 이상의 사전 훈련된 모형을 갖춘 Transformers 라이브러리를 제공하여 NLP 커뮤니티의 선두 주자가 되어 개발자가 쉽게 시작할 수 있도록 지원해왔습니다. 41,000개 이상의 GitHub 스타를 받고 2,500만 회 이상의 다운로드를 기록함으로써 Transformers 라이브러리는 개발자와 데이터 사이언티스트가 NLP 모형을 검색하는 대표적인 곳이 되었습니다.
Amazon SageMaker Python SDK의 Hugging Face AWS Deep Learning Container(DLC)와 Hugging Face 추정기를 사용하면 개발자와 데이터 사이언티스트는 AWS에서 NLP를 더욱 쉽게 시작할 수 있습니다. Hugging Face DLC에는 SageMaker 분산 훈련 라이브러리를 활용하기 위해 SageMaker에 최적화된 Hugging Face 트랜스포머, 데이터 세트 및 토크나이저 라이브러리가 포함되어 있으며 Hugging Face 추정기를 사용하면 개발자와 데이터 사이언티스트가 최소한의 추가 코드로 NLP 스크립트를 SageMaker 훈련 작업으로 실행할 수 있습니다. Hugging Face 개발자는 이제 Amazon SageMaker에서 보다 쉽게 개발할 수 있으며 비용 효율성, 확장성, 프로덕션 준비성, 높은 보안 수준 등의 장점을 이어받아 계속 누릴 수 있습니다.