AWS 기술 블로그

Category: AWS Inferentia

Task-specialized LLM을 위한 비용 효율적인 서빙 전략: AWS Inferentia2와 Hugging Face Optimum을 활용한 자체 개발 LLM 서빙하기

한때 AI 엔지니어와 많은 연산 자원이 있어야 가능했던 다양한 자연어 처리 작업(task)을 대규모 언어모델(LLM)에 프롬프트 명령 한 줄을 입력하는 것만으로 가능해진 시대가 됐습니다. 텍스트 분류 혹은 QA, 요약, 스타일 변환, 기계번역과 같은 전통적인 자연어 처리 작업들에서 뿐만 아니라 코딩, 수학 문제풀이와 같은 추론 능력이 필요한 작업들에서까지 놀라운 성능을 보이고 있습니다. Claude3 와 GPT4 같은 고성능의 LLM을 […]

클레온의 AWS Inferentia를 이용한 디지털 휴먼 생성 모델 추론 비용 50% 절감 사례

클레온은 디지털 휴먼을 통한 진정한 소통을 꿈꾸는 스타트업입니다. 지금까지의 소통은 물리적, 시간적, 공간적, 언어적 문제가 있었습니다. 저희는 디지털 휴먼을 활용해 언제 어디서든 쉽고 빠르게 소통할 수 있는 세상을 만들고자 노력합니다. 저희의 서비스는 크게 세 가지 입니다. 1장의 사진과 내 목소리로 디지털 휴먼을 만드는 클론, 다양한 컨셉의 디지털 휴먼과 언제든지 대화하는 챗 아바타, 더빙 언어에 따라 […]

SK텔레콤의 AWS Inferentia와 AWS Step Functions를 활용한 기계학습(ML) 파이프라인 구축 사례

SK텔레콤은  대한민국 최대 이동통신 회사로, 고객에게 가장 신뢰받는 서비스를 제공하고 있습니다. SK텔레콤은 통신 사업자로서의 역할을 넘어서, 유무선 통신 인프라를 기반으로 하는 초연결 기술에 AI를 더하여 고객을 이롭게 하는 ‘AI Company’로의 비전을 갖고 있습니다. 이제 SK텔레콤은 통신 서비스 뿐만 아니라, 다양한 데이터를 바탕으로 한 AI 기반 서비스로 서비스를 확장하고 있습니다. SK텔레콤 ML서비스 개발팀 소개 SK텔레콤은 “에이닷“이라는 […]