파운데이션 모델이란 무엇인가요?
대규모 데이터 세트를 기반으로 훈련된 파운데이션 모델(FM)은 데이터 사이언티스트가 기계 학습(ML)에 접근하는 방식을 변화시킨 대규모 딥 러닝 신경망입니다. 데이터 사이언티스트는 처음부터 인공 지능(AI)을 개발하지 않고 파운데이션 모델을 출발점으로 삼아 새로운 애플리케이션을 더 빠르고 비용 효율적으로 지원하는 ML 모델을 개발합니다. 파운데이션 모델이라는 용어는 연구자들이 광범위한 일반화된 데이터와 레이블이 지정되지 않은 데이터에 대해 훈련되고 언어 이해, 텍스트 및 이미지 생성, 자연어 대화와 같은 다양한 일반 작업을 수행할 수 있는 ML 모델을 설명하기 위해 만들어졌습니다.
파운데이션 모델의 독특한 점은 무엇인가요?
파운데이션 모델의 독특한 특징은 적응성입니다. 이 모델은 입력 프롬프트를 기반으로 높은 정확도로 다양한 이질적인 작업을 수행할 수 있습니다. 일부 작업에는 자연어 처리(NLP), 질문 응답 및 이미지 분류가 포함됩니다. FM은 크기가 크고 범용적인 특성을 가지고 있으므로 일반적으로 감정을 포착하기 위한 텍스트 분석, 이미지 분류, 트렌드 예측과 같은 특정 작업을 수행하는 기존의 ML 모델과는 다릅니다.
파운데이션 모델을 기본 모델로 사용하여 더욱 전문화된 다운스트림 애플리케이션을 개발할 수 있습니다. 이러한 모델은 규모와 복잡성이 증가했던 10년 이상의 작업의 산물입니다.
예를 들어, 최초의 양방향 기반 모델 중 하나인 BERT는 2018년에 출시되었습니다. 3억 4천만 개의 파라미터와 16GB의 훈련 데이터 세트를 사용하여 훈련되었습니다. 불과 5년 후인 2023년에 OpenAI는 170조 개의 파라미터와 45GB의 훈련 데이터 세트를 사용하여 GPT-4 교육을 실시했습니다. OpenAI에 따르면 파운데이션 모델링에 필요한 컴퓨팅 파워는 2012년 이후 3.4개월마다 두 배로 증가하고 있습니다. 대규모 언어 모델LLM) Claude 2와 Lama 2, Stability AI의 텍스트-이미지 변환 모델인 Stable Diffusion과 같은 오늘날의 FM은 블로그 게시물 작성, 이미지 생성, 수학 문제 해결, 대화 참여, 문서 기반 질문 답변 등 여러 영역에 걸쳐 다양한 작업을 즉시 수행할 수 있습니다.
파운데이션 모델링이 중요한 이유는 무엇인가요?
파운데이션 모델은 기계 학습 라이프사이클을 크게 변화시킬 태세를 갖추고 있습니다. 현재는 파운데이션 모델을 처음부터 개발하는 데 수백만 달러의 비용이 들지만 장기적으로는 유용합니다. 데이터 사이언티스트는 고유한 ML 모델을 처음부터 훈련시키는 것보다 사전 훈련된 FM을 사용하여 새로운 ML 애플리케이션을 개발하는 것이 더 빠르고 저렴합니다.
한 가지 잠재적 용도는 작업과 프로세스, 특히 추론 기능이 필요한 작업과 프로세스를 자동화하는 것입니다. 다음은 파운데이션 모델에 대한 몇 가지 응용 분야입니다.
- 고객 지원
- 언어 번역
- 콘텐츠 생성
- 카피라이팅
- 이미지 분류
- 고해상도 이미지 생성 및 편집
- 문서 추출
- 로보틱스
- 의료 서비스
- 자율 주행 차량
파운데이션 모델은 어떻게 작동합니까?
파운데이션 모델은 생성형 인공 지능(생성형 AI)의 한 형태입니다. 이들은 인간 언어 명령의 형태로 하나 이상의 입력(프롬프트)에서 출력을 생성합니다. 모델은 생성형 적대 네트워크(GAN), 트랜스포머, 변량 인코더 등 복잡한 신경망을 기반으로 합니다.
각 네트워크 유형은 다르게 작동하지만 작동 원리는 비슷합니다. 일반적으로 FM은 학습된 패턴과 관계를 사용하여 시퀀스의 다음 항목을 예측합니다. 예를 들어, 이미지 생성 시 모델은 이미지를 분석하여 더 선명하고 명확하게 정의된 이미지 버전을 만듭니다. 마찬가지로, 텍스트의 경우 모델은 이전 단어와 문맥을 기반으로 텍스트 문자열의 다음 단어를 예측합니다. 그런 다음 확률 분포 기법을 사용하여 다음 단어를 선택합니다.
파운데이션 모델은 자체 지도 학습을 사용하여 입력 데이터에서 레이블을 생성합니다. 즉, 레이블이 지정된 훈련 데이터 세트로 모델을 가르치거나 훈련시킨 사람은 아무도 없습니다. 이 기능으로 인해 LLM은 지도 학습 또는 비지도 학습을 사용하는 이전 ML 아키텍처와 구분됩니다.
파운데이션 모델은 무엇을 할 수 있습니까?
파운데이션 모델은 사전 훈련되었더라도 추론 중에 데이터 입력 또는 프롬프트를 통해 계속 학습할 수 있습니다. 즉, 세심하게 선별된 프롬프트를 통해 포괄적인 결과를 개발할 수 있습니다. FM이 수행할 수 있는 작업에는 언어 처리, 시각적 이해, 코드 생성 및 인간 중심 참여가 포함됩니다.
자연어 처리
이러한 모델은 자연어 질문에 답할 수 있는 놀라운 기능을 갖추고 있으며 프롬프트에 대한 응답으로 짧은 스크립트나 기사를 작성할 수도 있습니다. 또한 NLP 기술을 사용하여 언어를 번역할 수 있습니다.
시각적 이해
FM은 컴퓨터 비전, 특히 이미지와 물리적 물체를 식별하는 데 탁월합니다. 이러한 기능은 자율 주행 및 로보틱스와 같은 응용 분야에서 사용될 수 있습니다. 또 다른 기능은 입력 텍스트에서 이미지를 생성하고 사진과 비디오 편집을 수행하는 것입니다.
코드 생성
파운데이션 모델은 자연어 입력을 기반으로 다양한 프로그래밍 언어로 컴퓨터 코드를 생성할 수 있습니다. FM을 사용하여 코드를 평가하고 디버깅하는 것도 가능합니다.
인간 중심의 참여
생성형 AI 모델은 사람의 입력을 사용하여 예측을 학습하고 개선합니다. 중요하지만 간과되는 응용 분야 중 하나는 인간의 의사 결정을 지원하는 이러한 모델의 기능입니다. 잠재적 용도로는 임상 진단, 의사 결정 지원 시스템, 분석 등이 있습니다.
또 다른 기능은 기존의 파운데이션 모델을 미세 조정하여 새로운 AI 애플리케이션을 개발하는 것입니다.
음성을 텍스트로 변환
FM은 언어를 이해하므로 다양한 언어로 트랜스크립션 및 비디오 자막 삽입과 같은 음성-텍스트 변환 작업에 사용할 수 있습니다.
파운데이션 모델의 예는 무엇인가요?
시장에 나와 있는 파운데이션 모델의 수와 크기는 빠른 속도로 성장했습니다. 현재 수십 개의 모델을 사용할 수 있습니다. 2018년 이후 출시된 주요 파운데이션 모델 목록은 다음과 같습니다.
BERT
2018년에 출시된 Bidirectional Encoder Representations from Transformers(BERT)은 최초의 기반 모델 중 하나였습니다. BERT는 전체 시퀀스의 컨텍스트를 분석한 다음 예측하는 양방향 모델입니다. 33억 개의 토큰(단어)과 3억 4천만 개의 파라미터를 사용하여 일반 텍스트 코퍼스와 Wikipedia에서 학습되었습니다. BERT는 질문에 답하고, 문장을 예측하고, 텍스트를 번역할 수 있습니다.
GPT
Generative Pre-trained Transformer(GPT) 모델은 2018년 OpenAI에서 개발했습니다. 셒프 어텐션 메커니즘을 갖춘 12개 계층의 트랜스포머 디코더를 사용합니다. 그리고 11,000권 이상의 무료 소설을 담고 있는 BookCorpus 데이터 세트를 기반으로 훈련되었습니다. GPT-1가 지닌 주목할 만한 특징은 제로샷 학습을 할 수 있다는 것입니다.
GPT-2는 2019년에 출시되었습니다. OpenAI는 15억 개의 파라미터를 사용하여 이 모델을 훈련시켰습니다(GPT-1에 사용된 파라미터인 1억 1,700만 개와 비교됨). GPT-3 네트워크에는 96개 계층의 신경망과 1,750억 개의 파라미터가 있으며, 5,000억 단어 분량의 Common Crawl 데이터 세트를 사용하여 훈련됩니다. 인기 있는 ChatGPT 챗봇은 GPT-3.5를 기반으로 합니다. 그리고 최신 버전인 GPT-4 버전은 2022년 말에 출시되어 297점(76%)으로 통합 변호사 시험을 성공적으로 통과했습니다.
Amazon Titan
Amazon Titan FM은 대규모 데이터 세트에서 사전 학습되는 강력한 범용 모델입니다. 대량의 데이터에 주석을 달지 않고도 특정 작업에 대한 회사별 데이터를 사용하여 그대로 사용하거나 비공개로 사용자 지정할 수 있습니다. 처음에 Titan은 두 가지 모델을 제공합니다. 첫 번째는 요약, 텍스트 생성, 분류, 개방형 Q&A, 정보 추출과 같은 작업을 위한 생성형 LLM입니다. 두 번째는 단어, 구문 및 큰 텍스트 단위를 포함한 텍스트 입력을 텍스트의 의미론적 의미를 포함하는 숫자 표현(임베딩이라고 함)으로 변환하는 임베딩 LLM입니다. 이 LLM은 텍스트를 생성하지 않지만 임베딩을 비교하면 모델이 단어 일치보다 관련성이 높고 상황에 맞는 응답을 생성하므로 개인화 및 검색과 같은 애플리케이션에 유용합니다. 책임감 있는 AI 사용에 대한 모범 사례를 지속적으로 지원하기 위해 Titan FM은 데이터에서 유해한 콘텐츠를 탐지 및 제거하고, 사용자 입력에서 부적절한 콘텐츠를 거부하고, 증오심 표현, 욕설, 폭력과 같은 부적절한 콘텐츠가 포함된 모델 출력을 필터링하도록 구축되었습니다.
AI21 Jurassic
2021년에 출시된 Jurassic-1은 1,780억 개의 파라미터를 포함하는 76개 계층의 자동 회귀 언어 모델입니다. Jurassic-1은 사람과 비슷한 텍스트를 생성하고 복잡한 작업을 해결합니다. 성능은 GPT-3과 비슷합니다.
2023년 3월, AI21 연구소는 Jurrassic-2를 출시했습니다. 이 Jurrassic-2는 명령 추종 및 언어 기능을 개선했습니다.
Claude
Claude 2는 헌법적 AI로 구축된 사려 깊은 대화, 콘텐츠 제작, 복잡한 추론, 창의성 및 코딩에 탁월한 Anthropic의 최첨단 모델입니다. Claude 2는 각 프롬프트에서 최대 100,000개의 토큰을 사용할 수 있습니다. 즉, 수백 페이지의 텍스트나 심지어 책 전체에도 사용할 수 있습니다. Claude 2는 이전 버전에 비해 몇 천 토큰 명령의 메모와 스토리를 작성하는 등 더 긴 문서도 작성할 수 있습니다.
Cohere
Cohere에는 두 개의 LLM이 있습니다. 하나는 GPT-3 기능과 유사한 기능을 갖춘 세대 모델이고 다른 하나는 언어를 이해하기 위한 표현 모델입니다. Cohere의 파라미터는 520억 개에 불과하지만 여러 측면에서 GPT-3보다 성능이 뛰어납니다.
Stable Diffusion
Stable Diffusion은 사실적인 고해상도 이미지를 생성할 수 있는 텍스트 투 이미지 모델입니다. 2022년에 출시되었으며 노이즈 생성 및 노이즈 제거 기술을 사용하여 이미지 생성 방법을 학습하는 확산 모델을 갖추고 있습니다.
이 모델은 DALL-E 2와 같은 경쟁자의 확산 기술보다 작기 때문에 광범위한 컴퓨팅 인프라가 필요하지 않습니다. Stable Diffusion은 일반 그래픽 카드 또는 Snapdragon 2세대 플랫폼이 탑재된 스마트폰에서도 실행됩니다.
Stable Diffusion에 대해 자세히 알아보기 »
BLOOM
BLOOM은 GPT-3 아키텍처와 유사한 다국어 모델입니다. 천 명 이상의 과학자와 Hugging Space 팀이 참여한 공동 노력으로 2022년에 개발되었습니다. 이 모델에는 1,760억 개의 파라미터가 있으며 384개의 Nvidia A100 GPU를 사용하여 훈련시키는 데 3개월 반이 걸렸습니다. BLOOM 체크포인트에는 330GB의 스토리지가 필요하지만 RAM이 16GB인 독립형 PC에서 실행됩니다. BLOOM은 46개 언어로 텍스트를 만들고 13개 프로그래밍 언어로 코드를 작성할 수 있습니다.
Hugging Face
Hugging Face는 기계 학습 모델을 구축하고 배포할 수 있는 오픈 소스 도구를 제공하는 플랫폼입니다. 커뮤니티 허브 역할을 하며 개발자는 모델과 데이터 세트를 공유하고 탐색할 수 있습니다. 개인 멤버십은 무료이지만 유료 구독은 더 높은 수준의 액세스를 제공합니다. 거의 200,000개의 모델과 30,000개의 데이터 세트에 공개적으로 액세스할 수 있습니다.
파운데이션 모델의 도전 과제는 무엇인가요?
파운데이션 모델은 명시적으로 훈련되지 않은 주제에 대한 프롬프트에 일관되게 응답할 수 있습니다. 하지만 여기에는 몇 가지 약점이 있습니다. 파운데이션 모델이 직면한 몇 가지 과제는 다음과 같습니다.
- 인프라 요구 사항. 파운데이션 모델을 처음부터 구축하는 것은 비용이 많이 들고 막대한 자원이 필요하며 훈련에는 몇 달이 걸릴 수 있습니다.
- 프런트 엔드 개발자 실제 애플리케이션의 경우, 개발자는 신속한 엔지니어링, 미세 조정 및 파이프라인 엔지니어링을 위한 도구를 포함한 파운데이션 모델을 소프트웨어 스택에 통합해야 합니다.
- 이해력 부족. 파운데이션 모델은 문법적으로나 사실적으로 올바른 답을 제공할 수 있지만 프롬프트의 문맥을 이해하는 데 어려움을 겪습니다. 그리고 그들은 사회적으로나 심리적으로 인식하지 못합니다.
- 신뢰할 수 없는 답변. 특정 주제에 대한 질문에 대한 답변은 신뢰할 수 없으며 때로는 부적절하거나 유해하거나 틀릴 수 있습니다.
- 편견. 모델이 훈련 데이터 세트에서 증오심 표현과 부적절한 숨은 뜻을 찾아낼 수 있기 때문에 편견은 분명히 존재할 수 있습니다. 이를 방지하려면 개발자는 훈련 데이터를 신중하게 필터링하고 특정 규범을 모델에 인코딩해야 합니다.
AWS가 지원하는 방법
Amazon Bedrock은 파운데이션 모델을 사용하여 생성형 AI 애플리케이션을 구축하고 확장하는 가장 쉬운 방법입니다. Amazon Bedrock은 API를 통해 Amazon 및 주요 AI 스타트업의 파운데이션 모델을 사용할 수 있게 하는 완전관리형 서비스입니다. 다양한 FM 중에서 선택하여 사용 사례에 가장 적합한 모델을 찾을 수 있습니다. Bedrock을 사용하면 인프라를 관리하지 않고도 확장 가능하고 안정적이며 안전한 생성형 AI 애플리케이션의 개발 및 배포를 가속화할 수 있습니다.
모델, 알고리즘 및 솔루션을 제공하는 ML 허브인 Amazon SageMaker JumpStart는 공개적으로 사용 가능한 최고 성능의 파운데이션 모델을 포함하여 수백 개의 파운데이션 모델에 대한 액세스를 제공합니다. Llama 2, Falcon, Stable Diffusion XL 1.0을 포함한 새로운 파운데이션 모델이 계속 추가되고 있습니다.
