Amazon Bedrock FAQ

Amazon Bedrock용 에이전트는 개발자가 생성형 AI 기반 애플리케이션을 쉽게 만들 수 있게 해주는 완전관리형 기능으로, 독점적 지식 소스를 기반으로 다양한 사용 사례에 대한 작업을 완료하고 최신 답변을 제공할 수 있습니다. Agents for Amazon Bedrock을 사용하면 수동 코딩 없이 클릭 몇 번으로 태스크를 자동으로 분류하고 오케스트레이션 계획을 만들 수 있습니다. 에이전트는 API를 통해 회사 데이터에 안전하게 연결하여 데이터를 시스템이 읽을 수 있는 형식으로 자동 변환하고 관련 정보로 요청을 강화함으로써 가장 정확한 응답을 생성합니다. 그런 다음 에이전트는 자동으로 API를 직접적으로 호출하여 사용자의 요청을 이행할 수 있습니다. 예를 들어 제조사는 재고 수준, 판매 데이터, 공급망 정보 추적을 자동화하고 효율성을 극대화하기 위해 최적의 재주문 시점과 수량을 추천할 수 있는 생성형 AI 애플리케이션을 개발하고자 할 수 있습니다. 완전관리형 기능인 Agents for Amazon Bedrock으로 시스템 통합 및 인프라 프로비저닝 관리라는 획일적인 작업을 처리하면 조직 전체에서 생성형 AI를 완벽하게 활용할 수 있습니다.

Agents for Amazon Bedrock을 사용하여 FM을 회사 데이터 소스에 안전하게 연결할 수 있습니다. 에이전트를 사용하여 Amazon Bedrock의 FM에 기술 자료를 제공할 수 있습니다. 모델은 이러한 추가 데이터에 액세스하여 관련성이 더 높고 상황에 따라 다르며 정확한 응답을 생성할 수 있습니다. 이렇게 하면 FM을 지속적으로 재훈련하지 않아도 됩니다. 에이전트는 사용자 입력을 기반으로 적절한 기술 자료를 식별하고, 관련 정보를 검색하고, 입력 프롬프트에 정보를 추가하여 모델에 더 많은 컨텍스트 정보를 제공함으로써 완성본을 생성합니다.

Amazon Bedrock용 에이전트는 생산성을 높이거나, 고객 서비스 경험을 개선하거나, DevOps 작업을 자동화하는 데 도움이 될 수 있습니다.

에이전트를 통해 개발자는 사용자 지정 코드를 작성하지 않고도 모니터링, 암호화, 사용자 권한 및 API 간접 호출 관리를 원활하게 지원할 수 있습니다. Amazon Bedrock용 에이전트는 사용자가 요청한 작업의 신속한 엔지니어링 및 오케스트레이션을 자동화합니다. 개발자는 에이전트를 통해 생성된 프롬프트 템플릿을 기준으로 이를 구체화하여 사용자 경험을 개선할 수 있습니다. 사용자 입력, 오케스트레이션 계획, FM 응답을 업데이트할 수 있습니다. 프롬프트 템플릿에 액세스할 수 있으므로 에이전트 오케스트레이션에 대한 제어가 강화됩니다.

완전관리형 에이전트를 사용하면 인프라 프로비저닝이나 관리에 대해 걱정할 필요가 없으며 애플리케이션을 더 빠르게 프로덕션 환경에 도입할 수 있습니다.

Amazon Bedrock에서 처리한 모든 고객 콘텐츠는 암호화되고, 고객이 Amazon Bedrock를 사용하고 있는 AWS 리전에 저장됩니다.

아니요. 사용자 입력 및 모델 출력은 모델 제공업체와 공유되지 않습니다.

Amazon Bedrock은 보안 및 개인 정보 보호 요구 사항을 지원하는 여러 기능을 제공합니다. Bedrock은 SOC(Service and Organization Control), 국제표준화기구(ISO), 건강 보험 이전 및 책임법(HIPAA)과 같은 일반적인 규정 준수 표준의 범위 내에 있으며, 고객은 일반 데이터 보호 규정(GDPR)을 준수하면서 Bedrock을 사용할 수 있습니다. Amazon Bedrock은 SOC 1, 2, 3 보고서 범위에 포함되므로 AWS 보안 제어에 대한 인사이트를 얻을 수 있습니다. AWS는 AWS 규제에 대한 광범위한 서드 파티 감사를 통해 규정 준수를 입증합니다. Amazon Bedrock은 ISO 9001, ISO 27001, ISO 27017, ISO 27018, ISO 27701, ISO 22301, ISO 20000 표준에서 ISO 규정을 준수하는 AWS 서비스입니다. Amazon Bedrock은 AWS 클라우드 서비스의 모범 사례 사용 및 보안 상태를 검증하는 CSA STAR(Security Trust Assurance and Risk) 레벨 2 인증을 받았습니다. Amazon Bedrock에서 고객의 콘텐츠는 파운데이션 모델을 개선하는 데 사용되지 않으며 모델 제공업체와 공유되지 않습니다. AWS PrivateLink를 사용하여 Amazon Virtual Private Cloud(VPC)와 Amazon Bedrock 간의 비공개 연결을 설정하면 데이터가 인터넷 트래픽에 노출되지 않습니다.

아니요. AWS와 서드 파티 모델 제공업체는 Amazon Titan 또는 서드 파티 모델을 훈련하는 데 Bedrock의 입력 또는 출력을 사용하지 않습니다.

Amazon Bedrock은 런타임 서비스를 위한 SDK를 지원합니다. iOS 및 Android SDK는 물론 Java, JS, Python, CLI, .Net, Ruby, PHP, Go 및 CPP는 텍스트 및 음성 입력을 모두 지원합니다.

스트리밍은 모든 SDK에서 지원됩니다.

최신 요금 정보는 Amazon Bedrock 요금 페이지를 참조하세요.

고객의 AWS Support 계약에 따라 Developer Support, Business Support 및 Enterprise Support 플랜으로 Amazon Bedrock 지원을 받을 수 있습니다.

CloudWatch 지표를 사용하여 입력 및 출력 토큰을 추적할 수 있습니다.

Amazon Bedrock에서 Titan Text Express 및 Titan 모델에 사용할 수 있는 지속적인 사전 훈련이 출시되었습니다. 이 기능을 사용하면 레이블링되지 않은 대량의 데이터를 사용하여 Titan 기본 모델에 대한 사전 훈련을 계속할 수 있습니다. 이 유형의 훈련은 Titan 기본 모델의 기능 대부분을 유지하면서 일반 도메인 코퍼스의 모델을 의료, 법률, 금융 등 보다 구체적인 도메인 코퍼스에 맞게 적용합니다. 

일반적으로 기업은 특정 도메인의 태스크를 위한 모델을 구축하고자 할 수 있습니다. 기본 모델은 특정 영역에서 사용되는 기술 전문 용어에 대해 훈련되지 않을 수 있습니다. 따라서 기본 모델을 직접 미세 조정하려면 레이블링된 많은 양의 훈련 레코드를 사용하여 장시간 훈련해야 정확한 결과를 얻을 수 있습니다. 이러한 부담을 줄이고 싶다면 레이블링되지 않은 다량의 데이터를 지속적인 사전 훈련 작업에 제공하면 됩니다. 이 작업은 Titan 기본 모델을 새 도메인에 맞게 조정합니다. 그러면 사전 훈련된 새로운 사용자 지정 모델을 훨씬 적은 양의 레이블링된 훈련 레코드로 짧은 훈련 시간 내에 다운스트림 태스크에 맞게 미세 조정할 수 있습니다. 

Bedrock의 지속적인 사전 훈련과 미세 조정(FT)은 요구 사항이 매우 유사합니다. 이러한 이유로 CPT와 FT를 모두 지원하는 통합 API가 만들어졌습니다. API를 통합하면 학습 곡선이 줄어들고 표준 기능을 사용하는 데 도움이 됩니다. 예를 들어 CloudWatch Event Bridge를 사용하여 장시간 실행되는 작업을 추적하고, S3 통합을 통해 훈련 데이터, 리소스 태그, 모델 암호화를 가져올 수 있습니다. 

지속적인 사전 훈련은 Titan 모델의 기본 기능을 유지하면서 도메인별 데이터에 맞게 Titan 모델을 손쉽게 조정하는 데 도움이 됩니다. 지속적인 사전 훈련 작업을 생성하려면 Bedrock 콘솔로 이동하여 '사용자 지정 모델'을 클릭합니다. 그러면 사용자 지정 모델 페이지로 이동합니다. 이 페이지에는 모델과 훈련 작업이라는 두 개의 탭이 있습니다. 두 탭 모두 오른쪽에 ‘모델 사용자 지정’이라는 드롭다운이 있습니다. 모델 사용자 지정 드롭다운에서 ‘지속적인 사전 훈련’을 선택하여 ‘지속적인 사전 훈련 작업 생성’ 화면으로 이동합니다. 소스 모델, 이름, 모델 암호화, 입력 데이터, 하이퍼파라미터 및 출력 데이터를 입력합니다. 또한 작업의 IAM 역할 및 리소스 정책에 대한 세부 정보와 함께 태그를 제공할 수 있습니다.

Amazon Bedrock에서만 독점적으로 제공되는 Amazon Titan 모델 제품군에는 비즈니스 전반에 걸쳐 AI 및 기계 학습을 사용하여 혁신해 온 Amazon의 25년 경험이 담겨 있습니다. Amazon Titan 파운데이션 모델(FM)은 완전 관리형 API를 통해 고객에게 다양한 고성능 이미지, 멀티 모달 및 텍스트 모델을 제공합니다. Amazon Titan 모델은 AWS에서 만들고 대규모 데이터 세트를 대상으로 사전 훈련되므로 다양한 사용 사례를 지원하면서 동시에 AI의 책임 있는 사용도 지원하도록 구축된 강력한 범용 모델입니다. 그대로 사용하거나 자체 데이터로 비공개로 사용자 지정할 수 있습니다.

Amazon Titan FM 개발 및 훈련을 위해 처리되는 데이터에 대해 자세히 알아보려면 Amazon Titan Model Training & Privacy 페이지로 이동하세요.

지원되는 데이터 형식으로는 .pdf, .txt, .md, .html, .doc and .docx, .csv, .xls, .xlsx 파일이 있습니다. 파일을 Amazon S3에 업로드해야 합니다. Amazon S3에 있는 데이터의 위치를 가리키기만 하면 Amazon Bedrock용 기술 자료가 벡터 데이터베이스의 전체 수집 워크플로를 처리합니다.

Knowledge Bases for Amazon Bedrock에서 텍스트를 임베딩으로 변환하기 전에 청크로 분할하는 옵션은 세 가지입니다. 

1.  기본 옵션: Knowledge Bases for Amazon Bedrock을 통해 문서가 자동으로 청크로 분할됩니다. 각 청크에는 토큰 200개가 포함되며 문장이 중간에 끊기지 않습니다. 문서에 포함된 토큰이 200개 미만이면 더 이상 분할되지 않습니다. 두 개의 연속된 청크 간에는 토큰 20%의 중첩이 유지됩니다.

2.  고정 크기 청킹: 이 옵션을 사용할 때는 청크당 최대 토큰 수와 청크 간 중첩 비율을 지정합니다. 그러면 Knowledge Bases for Amazon Bedrock이 문장을 중간에 끊지 않으면서 문서를 자동으로 청크로 분할합니다. 

3.  문서당 하나의 임베딩 생성 옵션: Amazon Bedrock에서 문서당 하나의 임베딩이 생성됩니다. 이 옵션은 문서를 개별 파일로 분할하여 사전 처리한 후 Bedrock을 통해 문서를 더 이상 분할하지 않으려는 경우에 적합합니다.
 

현재 Knowledge Bases for Amazon Bedrock은 Amazon Bedrock에서 사용할 수 있는 최신 버전의 Titan Text 임베딩 모델을 사용합니다. Titan Text Embeddings 모델은 8,000개 토큰과 25개 이상의 언어를 지원하며 차원 크기가 1,536인 임베딩을 생성합니다. 

Knowledge Bases for Amazon Bedrock은 문서를 임베딩(벡터)으로 변환하고 임베딩을 특수한 벡터 데이터베이스에 저장하는 전체 수집 워크플로를 처리합니다. Knowledge Bases for Amazon Bedrock은 Amazon OpenSearch Serverless 벡터 엔진, Pinecone, Redis Enterprise Cloud, Amazon Aurora(제공 예정), MongoDB(제공 예정) 등 주요 데이터베이스를 벡터 스토리지로 지원합니다. 기존 벡터 데이터베이스가 없는 경우 Amazon Bedrock이 Amazon OpenSearch Serverless 벡터 스토어를 자동으로 생성합니다.

사용 사례에 따라 Amazon EventBridge를 사용하여 Amazon S3와 Knowledge Bases for Amazon Bedrock 간의 주기적 또는 이벤트 기반 동기화를 생성할 수 있습니다.

Amazon Bedrock의 모델 평가 기능을 활용하면 클릭 몇 번으로 파운데이션 모델을 평가하고 비교한 후 사용 사례에 가장 적합한 모델을 선택할 수 있습니다. Amazon Bedrock에서는 자동 평가와 인적 평가 중 원하는 방식을 선택할 수 있습니다. 정확도, 안정성, 유해성 등의 미리 정의된 지표를 적용하여 자동 평가를 사용할 수 있습니다. 호감도, 스타일, 브랜드와의 통일성과 같은 주관적 지표나 사용자 지정 지표의 경우 인적 평가 워크플로를 사용할 수 있습니다. 인적 평가에서는 사내 직원이나 AWS 관리 팀을 검토자로 활용할 수 있습니다. 모델 평가 기능에서 기본 제공되는 엄선된 데이터 세트를 사용할 수도 있고 원하는 데이터 세트를 추가할 수도 있습니다.

자동 평가를 사용할 때는 정확성, 견고성, 유해성 등 사전 정의된 다양한 지표를 평가할 수 있습니다. 호감도, 관련성, 스타일, 브랜드와의 통일성과 같은 주관적 지표나 사용자 지정 지표의 경우 인적 평가 워크플로를 사용할 수도 있습니다.

자동 평가를 사용하면 사용 가능한 FM 목록을 표준 기준(예: 정확도, 유해성 및 견고성)과 비교하여 빠르게 좁힐 수 있습니다. 인간 기반 평가는 인간의 판단이 필요하고 자동 평가가 없을 수 있는 경우(예: 브랜드 표현, 창의적 의도, 친근감)에 보다 미묘하거나 주관적인 기준을 평가하는 데 자주 사용됩니다.

큐레이트된 기본 제공 데이터 세트를 활용하거나 자체 프롬프트 데이터 세트를 가져와서 정확성, 견고성 및 유해성과 같은 지표에 대해 Bedrock 모델을 신속하게 평가할 수 있습니다. 추론을 위해 프롬프트 데이터 세트를 Amazon Bedrock 모델로 전송하면 각 차원에 대한 평가 알고리즘을 사용하여 모델 응답에 대한 점수가 매겨집니다. 개별 프롬프트 응답 점수는 백엔드 엔진에서 요약 점수로 집계되고 이해하기 쉬운 시각적 보고서로 제공됩니다.

Amazon Bedrock을 사용하면 클릭 몇 번으로 인적 검토 워크플로를 설정하고 사내 직원을 데려오거나 AWS 관리 전문 팀을 활용하여 모델을 평가할 수 있습니다. Amazon Bedrock의 직관적인 인터페이스를 통해 추천 및 비추천을 클릭하거나 1~5점의 점수로 평가하거나 여러 응답 중에서 가장 좋은 것을 선택하거나 프롬프트 순위를 매기는 방식으로 모델 응답을 검토하고 피드백을 제공할 수 있습니다. 예를 들어 동일한 프롬프트에 대한 두 모델의 응답을 팀 구성원에게 보여주고 더 정확하고 관련성이 높거나 문체가 좋은 출력을 표시하는 모델을 선택하도록 요청할 수 있습니다. 팀의 평가 UI에 표시할 지침과 버튼을 사용자 지정하여 중요한 평가 기준을 지정할 수 있습니다. 모델 평가의 전반적인 목표와 예제가 포함된 자세한 지침을 제공하여 지침에 맞게 작업을 수행하도록 할 수도 있습니다. 이 방법은 인간의 판단이 필요한 주관적 기준이나 자동 평가로는 쉽게 판단할 수 없는 보다 미묘한 주제 전문 지식을 평가하는 데 유용합니다.

Guardrails for Amazon Bedrock을 사용하면 사용 사례 및 책임 있는 AI 정책을 기반으로 생성형 AI 애플리케이션에 대한 보호 장치를 구현할 수 있습니다. 가드레일은 바람직하지 않은 유해 콘텐츠를 필터링하여 사용자와 파운데이션 모델(FM) 간의 상호 작용을 제어하는 데 도움이 됩니다. 개인 식별 정보(PII)를 제거하여 생성형 AI 애플리케이션의 콘텐츠 안전 및 개인 정보 보호를 강화하는 기능도 곧 제공될 예정입니다. 특정 사용 사례에 맞게 다양한 구성으로 여러 개의 가드레일을 만들 수 있습니다. 또한 가드레일 내의 고객 정의 정책을 위반할 수 있는 사용자 입력과 FM 응답을 지속적으로 모니터링하고 분석할 수 있습니다.

가드레일을 사용하면 생성형 AI 애플리케이션을 보호하는 데 도움이 되는 일련의 정책을 정의할 수 있습니다. 가드레일에서 다음과 같은 정책을 구성할 수 있습니다.

• 거부된 주제 - 애플리케이션의 컨텍스트에서 바람직하지 않은 주제 세트를 정의할 수 있습니다. 예를 들어 온라인 뱅킹 도우미의 경우 투자 자문을 제공하지 않도록 설계할 수 있습니다.
• 콘텐츠 필터 - 임계값을 구성하여 증오, 모욕, 성적, 폭력 카테고리에서 유해 콘텐츠를 필터링할 수 있습니다.
• 단어 필터(제공 예정) - 사용자 입력 및 FM 생성 응답에서 차단할 단어 세트를 정의할 수 있습니다.
• PII 편집(제공 예정) - FM 생성 응답에서 편집 가능한 PII 세트를 선택할 수 있습니다. 사용 사례에 따라 사용자 입력에 PII가 포함된 경우 이를 차단할 수도 있습니다.

Titan, Anthropic Claude, Meta Llama 2, AI21 Jurassic 및 Cohere Command FM을 포함하여 Amazon Bedrock에서 사용 가능한 모든 대규모 언어 모델과 함께 가드레일을 사용할 수 있습니다. 미세 조정된 FM과 Agents for Amazon Bedrock에도 사용할 수 있습니다.

AWS는 Amazon Titan 모델, Amazon CodeWhisperer Professional 및 서비스 약관 섹션 50.10에 나열된 기타 서비스(‘배상 범위 내 생성형 AI 서비스’)와 같은 정식 출시된 Amazon 생성형 AI 서비스의 생성형 출력에서 발생하는 저작권 권리 주장에 대해 제한 없는 지적 재산(IP) 배상을 제공합니다. 즉, 고객이 제공한 입력 또는 기타 데이터에 대한 응답으로 배상 범위 내 생성형 AI 서비스를 통해 생성된 출력의 저작권 침해를 제기하는 제3자 권리 주장으로부터 고객을 보호합니다. 또한 고객은 침해 데이터를 입력하지 않거나 서비스의 필터링 기능을 비활성화하지 않는 등 책임감 있게 서비스를 사용해야 합니다.

더불어 서비스 사용에 대한 당사의 표준 IP 배상은 서비스 훈련에 사용된 데이터와 서비스에 의한 IP 침해(저작권 권리 주장 포함)를 주장하는 제3자의 권리 주장으로부터 고객을 보호합니다.