이 가이드는 소셜 미디어 게시물, 고객 리뷰 또는 기타 짧은 형식의 콘텐츠를 기반으로 감정, 항목, 위치 및 주제와 같은 인사이트를 얻는 방법을 보여줍니다. 함께 제공되는 샘플 코드를 통해 정보 추출 시스템으로 사용할 수 있는 코드 기반이 제공됩니다. 이 시스템은 대규모 언어 모델(LLM)로 X, Facebook 및 Instagram을 비롯한 다양한 소셜 미디어 플랫폼에서 정보를 추출하여 제품 및 서비스에 대한 실행 가능한 인사이트를 제공합니다.
아키텍처 다이어그램
1단계
Amazon Elastic Container Service(Amazon ECS) 태스크가 AWS Fargate를 통해 관리되는 서버리스 인프라에서 실행되고 소셜 미디어에 대한 연결을 열린 상태로 유지합니다.
2단계
소셜 미디어 액세스 토큰이 AWS Systems Manager Parameter Store에 안전하게 저장되고 Amazon Elastic Container Registry(Amazon ECR)에서 컨테이너 이미지가 호스팅됩니다.
3단계
새 소셜 미디어 게시물이 도착하면 Amazon Simple Queue Service(Amazon SQS) 대기열에 배치됩니다.
4단계
이 가이드의 로직은 AWS Lambda 함수 마이크로서비스에 상주하고 AWS Step Functions를 통해 조정됩니다.
5단계
Amazon Bedrock에서 지원하는 대규모 언어 모델(LLM) 중 하나를 통해 게시물이 실시간으로 처리됩니다.
6단계
Amazon Location Service가 위치 이름을 좌표로 변환합니다.
7단계
Amazon Simple Storage Service(Amazon S3)로 게시물과 메타데이터(인사이트)가 전송됩니다.
8단계
Amazon Athena가 표준 SQL을 사용하여 처리된 트윗을 쿼리합니다.
9단계
Amazon Lookout for Metrics가 카테고리별 멘션량에서 이상 징후를 찾습니다. 이상이 감지되면 Amazon Simple Notification Service(SNS)가 사용자에게 알림을 전송합니다.
10단계
사용자가 인사이트를 손쉽게 시각화할 수 있도록 Amazon QuickSight 대시보드를 설정하는 것이 좋습니다.
시작하기
Well-Architected 원칙
AWS Well-Architected Framework는 클라우드에서 시스템을 구축하는 동안 사용자가 내리는 의사 결정의 장단점을 이해하는 데 도움이 됩니다. 이 프레임워크의 6가지 원칙을 통해 안정적이고 안전하며 효과적이고 비용 효율적이며 지속 가능한 시스템을 설계 및 운영하기 위한 아키텍처 모범 사례를 배울 수 있습니다. AWS Management Console에서 추가 요금 없이 사용할 수 있는 AWS Well-Architected Tool을 사용하면 각 원칙에 대한 여러 질문에 답하여 이러한 모범 사례와 비교하며 워크로드를 검토할 수 있습니다.
위의 아키텍처 다이어그램은 Well-Architected 모범 사례를 고려하여 생성된 솔루션의 예시입니다. Well-Architected를 완전히 충족하려면 가능한 많은 Well-Architected 모범 사례를 따라야 합니다.
-
운영 우수성
Amazon CloudWatch가 텍스트 처리 워크플로에서 수행한 작업의 로그를 보관하므로 애플리케이션 상태를 효율적으로 모니터링할 수 있습니다. Amazon CloudFormation을 사용하면 배포를 재현할 수 있으며 배포가 실패할 경우 안정적인 상태로 롤백할 수도 있습니다. 또한 Amazon Bedrock은 단순한 인터페이스를 통해 LLM을 사용할 수 있는 관리형 서비스입니다. 모니터링, 재현 가능한 배포, AWS 관리형 LLM 사용이 조합되어 기본 인프라를 관리할 필요 없이 강력한 자연어 처리 기능을 제공합니다.
-
보안
Amazon S3에 저장된 데이터는 AWS Key Management Service(AWS KMS) 키를 사용하여 저장 시 암호화되며, AWS Identity and Access Management(IAM)는 데이터에 대한 액세스를 제어하는 데 사용됩니다. 특히 AWS KMS는 Amazon S3에 저장된 데이터를 안전하게 암호화하는 데 사용되는 암호화 키의 생성 및 관리를 지원합니다. 반면 IAM은 해당 데이터에 대한 최소 권한 액세스 제어를 위해 역할을 기반으로 세분화된 권한을 구성할 수 있는 기능을 제공합니다.
-
신뢰성
-
성능 효율성
이 가이드는 다양한 서버리스 및 관리형 AWS 서비스를 사용하여 워크로드가 고성능 효율성을 달성하고, 워크로드 수요에 맞게 리소스를 자동으로 확장하고, 소셜 미디어 플랫폼에서 인사이트에 액세스할 수 있는 원활한 환경을 제공하도록 설계되었습니다. 예를 들어, 서버리스 컴퓨팅 서비스인 Lambda는 수요에 따라 자동으로 스케일 업하고 스케일 다운하여 컴퓨팅 용량이 워크로드에 최적화되도록 합니다. Amazon Bedrock을 사용하면 기본 서버를 프로비저닝하고 관리할 필요 없이 광범위한 카탈로그에서 LLM을 호출할 수 있습니다.
-
비용 최적화
이 아키텍처에서 이벤트를 처리하고 배치 변환 분석을 시작하는 데 Lambda가 사용되므로 서버를 계속 실행할 필요가 없습니다. 또한 개별 레코드가 아닌 사용자 데이터 배치에서 추출, 전환, 적재(ETL)를 수행하는 데 AWS Glue 작업이 사용됩니다. 데이터를 집계하고 더 큰 청크로 처리하면 전체 컴퓨팅 및 스토리지 요구 사항이 줄어들어 각 레코드를 개별적으로 처리하는 것에 비해 비용이 절감됩니다. 마지막으로 Amazon Bedrock을 사용하면 예산 요구 사항에 가장 적합한 LLN을 사용할 수 있으므로 더 강력하지만 과도하게 프로비저닝될 수 있는 모델과 관련하여 불필요한 비용이 발생하지 않습니다.
-
지속 가능성
Lambda, AWS Glue, Athena 및 QuickSight는 모두 온디맨드로 운영되는 서버리스 서비스로, 현재 워크로드에 맞게 리소스 사용을 조정합니다. 이를 통해 필요한 수요에 맞춰 서비스를 자동으로 스케일 업하고 스케일 다운하므로 성능 및 리소스 사용을 극대화할 수 있습니다. 이 아키텍처는 이러한 서버리스 제품을 통해 필요한 리소스를 효율적으로 활용하여 컴퓨팅, 스토리지 및 기타 인프라 구성 요소의 과도한 프로비저닝이나 과소 활용도를 방지할 수 있습니다.
관련 콘텐츠
Build a news-based real-time alert system with Twitter, Amazon SageMaker, and Hugging Face
고지 사항
샘플 코드, 소프트웨어 라이브러리, 명령줄 도구, 개념 증명, 템플릿 또는 기타 관련 기술(AWS 직원을 통해 제공되는 상기 항목 포함)은 AWS 이용 계약 또는 귀하와 AWS 간의 서면 계약(둘 중 해당되는 것)에 따라 AWS 콘텐츠로 제공됩니다. 이 AWS 콘텐츠를 프로덕션 계정, 프로덕션 또는 기타 중요한 데이터에 사용해서는 안 됩니다. 귀하는 특정 품질 제어 방식 및 표준에 따라 프로덕션급 사용에 적절하게 샘플 코드와 같은 AWS 콘텐츠를 테스트, 보호 및 최적화할 책임이 있습니다. AWS 콘텐츠를 배포하면 Amazon EC2 인스턴스를 실행하거나 Amazon S3 스토리지를 사용할 때와 같이 요금이 부과되는 AWS 리소스를 생성하거나 사용하는 것에 대한 AWS 요금이 발생할 수 있습니다.