대규모 언어 모델 기반 생성형 AI 시작하기 — DeepLearning.AI 및 AWS의 새로운 실습 교육 과정

생성형 AI (Generative AI)가 전 세계를 강타했습니다. 이제 모든 고객 경험과 애플리케이션을 생성형 AI로 재창조할 수 있는 잠재력과 함께 AI가 널리 채택될 차세대 흐름을 목격하기 시작했습니다. 생성형 AI를 사용하면 대화, 스토리, 이미지, 동영상, 음악 등 새로운 콘텐츠와 아이디어를 생성할 수 있습니다. 생성형 AI는 일반적으로 파운데이션 모델(FM)이라고 하는 방대한 양의 데이터에 대해 사전 학습된 대규모 기계 학습 모델을 기반으로 합니다.

대규모 언어 모델(LLM)이라고 하는 일부 FM은 많은 자연어 작업에 걸쳐 수조 개의 단어를 학습합니다. 이러한 LLM은 사람이 만든 텍스트에 버금가는 텍스트를 생성하고 이해하며 학습할 수 있습니다. 그뿐 아니라 LLM은 상호 간의 대화에 참여하고, 질문에 답하고, 대화와 문서를 요약하고, 권장 사항을 제공할 수도 있습니다. 마케팅을 위한 창의적인 글쓰기, 법률 문서 요약, 재무 관련 시장 조사, 의료 분야의 임상 시험 시뮬레이션, 소프트웨어 개발을 위한 코드 작성 등 다양한 작업과 산업 전반에서 애플리케이션을 강화할 수 있습니다.

기업은 생성형 AI를 제품 및 서비스에 통합하기 위해 빠르게 움직이고 있습니다. 따라서 생성형 AI와 LLM을 적용하여 비즈니스 사용 사례를 해결하는 방법을 이해하는 데이터 사이언티스트와 엔지니어에 대한 수요가 증가하고 있습니다.

이에 관련하여 DeepLearning.AI와 AWS가 Coursera의 교육 플랫폼에서 새로운 실습 교육 과정인 대규모 언어 모델 기반 생성형 AI를 공동으로 출시한다는 기쁜 소식을 전해 드립니다. 이 과정을 통해 데이터 사이언티스트와 엔지니어는 실제 애플리케이션을 위한 LLM의 선택, 교육, 미세 조정, 배포를 위한 전문가가 될 수 있도록 준비할 수 있습니다.

DeepLearning.AI는 세계적 수준의 AI 교육을 제공하여 전 세계 AI 커뮤니티를 성장시키고 연결하겠다는 사명을 가지고 기계 학습 및 교육의 선구자인 Andrew Ng에 의해 2017년에 설립되었습니다.

DeepLearning.AI는 Chris Fregly, Shelbee Eigenbrode, Mike Chambers, 그리고 저를 비롯한 AWS의 생성형 AI 전문가들이 팀을 이루어 LLM을 사용하여 생성형 AI 애플리케이션을 구축하는 방법을 배우고자 하는 데이터 사이언티스트와 엔지니어를 위해 개발되고 진행되었습니다. 개발을 위해 Andrew Ng의 지도 하에 Amazon, AWS, Hugging Face의 다양한 업계 전문가 및 응용 과학자들의 의견을 반영하였습니다.

과정 하이라이트
LLM에 초점을 맞춘 최초의 종합 Coursera 과정으로, 문제 범위 지정, LLM 선택, 도메인에 맞게 LLM 조정, 배포용 모델 최적화, 비즈니스 애플리케이션에 통합 등 일반적인 생성형 AI 프로젝트 수명 주기를 자세히 설명합니다. 생성형 AI의 실용적인 측면에 초점을 맞출 뿐만 아니라 LLM의 기반이 되는 과학과 LLM이 효과적인 이유에 대해서도 설명합니다.

온디맨드 과정은 약 16시간 분량의 동영상, 퀴즈, 실습 및 여분의 읽을거리가 포함된 3주 분량의 콘텐츠로 나뉩니다. AWS 파트너 Vocareum이 주최하는 실습을 통해 교육 과정과 함께 제공되는 AWS 환경에 직접 기술을 적용할 수 있으며, LLM을 사용하고 그 효과를 탐색하는 데 필요한 모든 리소스가 포함되어 있습니다.

이 과정을 통해 단 3주 만에 비즈니스 및 실제 애플리케이션에 생성형 AI를 사용할 수 있도록 준비할 수 있습니다. 각 주차의 내용을 간단히 살펴보겠습니다.

1주차 – 생성형 AI 사용 사례, 프로젝트 수명 주기, 모델 사전 교육
1주차에는 많은 LLM을 지원하는 변환기 아키텍처를 살펴보고, 해당 모델이 어떻게 학습되는지 확인하며, 모델을 개발하는 데 필요한 컴퓨팅 리소스를 고려합니다. 또한 신속한 엔지니어링을 사용하고 생성 구성 설정을 지정하여 추론 시 모델 출력을 안내하는 방법을 살펴봅니다.

첫 번째 실습에서는 주어진 생성 작업에 대한 다양한 프롬프트를 구성하고 비교합니다. 이 경우, 여러 사람 간의 대화를 요약하게 됩니다. 예를 들어 여러분과 고객 간의 지원 대화를 요약한다고 상상해 보시기 바랍니다. 즉각적인 엔지니어링 기법을 알아보고, 다양한 생성 구성 파라미터를 사용해 보고, 다양한 샘플링 전략을 실험하여 생성된 모델 응답을 개선하는 방법에 대한 직관을 얻게 됩니다.

2주차 – 미세 조정, 파라미터 효율적인 미세 조정(PEFT) 및 모델 평가
2주차에는 미세 조정이라는 프로세스를 통해 사전 학습된 모델을 특정 작업 및 데이터 세트에 적용하는 방법을 살펴봅니다. 파라미터 효율적 미세 조정(PEFT)이라고 하는 미세 조정의 한 변형을 사용하면 훨씬 작은 리소스(대개 단일 GPU)를 사용하여 대규모 모델을 미세 조정할 수 있습니다. 또한 LLM의 성능을 평가하고 비교하는 데 사용되는 지표에 대해서도 배우게 됩니다.

두 번째 실습에서는 파라미터 효율적 미세 조정(PEFT)을 실습하고 그 결과를 첫 번째 실습의 신속한 엔지니어링과 비교하게 됩니다. 나란히 대조하여 비교함으로써 LLM을 도메인별 데이터 세트 및 사용 사례에 맞게 조정하는 다양한 기법의 질적 및 양적 영향에 대한 직관을 얻을 수 있습니다.

3주차 – 사람의 피드백을 통한 강화 학습(RLHF), 검색 증강 생성(RAG), LangChain을 통한 미세 조정
3주차에는 사람의 피드백을 통한 강화 학습(RLHF)이라는 기법을 사용하여 LLM 응답을 좀 더 사람과 유사하게 만들고 사람의 기호에 맞게 정렬합니다. RLHF는 모델의 정직성, 무해성, 유용성을 개선하는 데 중요합니다. 또한 검색 증강 생성(RAG)과 같은 기법과 LLM을 사용자 지정 데이터 소스 및 API와 통합하여 모델의 응답을 더욱 개선할 수 있게 해주는 LangChain과 같은 라이브러리에 대해서도 알아봅니다.

마지막 실습에서는 RLHF를 실습하게 됩니다. 보상 모델과 근접 정책 최적화(PPO)라는 강화 학습 알고리즘을 사용하여 LLM을 미세 조정하여 모델 응답의 무해성을 높일 수 있습니다. 마지막으로, RLHF 프로세스 전후에 모델의 무해 상태를 평가하여 LLM을 인간의 가치와 선호도에 맞추는 데 RLHF가 미치는 영향을 직관적으로 이해할 수 있습니다.

지금 등록
대규모 언어 모델을 사용하는 생성형 AI는 LLM을 사용하여 생성형 AI 애플리케이션을 구축하는 방법을 배울 데이터 사이언티스트와 엔지니어를 위한 3주 온디맨드 과정입니다.

지금 바로 대규모 언어 모델을 사용하는 생성형 AI에 등록하세요.

— Antje