AWS 기술 블로그
Category: Advanced (300)
AWS Glue Job 리소스 사용량에 대한 알람 및 리포팅 자동화
이 글은 AWS Big Data Blog에 게시된 ‘Automate alerting and reporting for AWS Glue job resource usage by Michael Hamilton and Angus Ferguson’을 한국어로 번역 및 편집하였습니다. 데이터 변환은 규모에 관계없이 모든 조직의 비즈니스에 필요한 데이터 인사이트를 제공하는데 핵심적인 역할을 합니다. 이러한 인사이트를 얻기 위해 고객들은 종종 소스 시스템에서 ETL(추출, 변환, 로드) 작업을 수행하여 보강된 […]
효율적인 AWS CloudTrail 검색을 위한 데이터 파이프라인 구성
AWS CloudTrail은 사용자, 역할 또는 AWS 서비스가 수행하는 작업을 이벤트로 기록하는 서비스입니다. 이벤트에는 AWS Management Console, AWS Command Line Interface 및 AWS SDK, API에서 수행되는 작업이 포함됩니다. 이벤트는 Amazon Simple Storage Service(S3)에 JSON 형식의 압축 파일로 기록됩니다. 이 파일을 직접 다운받아 조회하거나 전체 포맷을 변경하지 않고 검색하는것은 매우 어려운 일 입니다. 서버리스 데이터 통합 서비스인 […]
QLoRA 기법으로 Falcon-40B 및 기타 대규모 모델(LLM)을 Amazon SageMaker Studio 노트북의 대화형 환경에서 파인튜닝하기
이 글은 AWS Machine Learning Blog에 게시된 Interactively fine-tune Falcon-40B and other LLMs on Amazon SageMaker Studio notebooks using QLoRA by Sean Morgan, Philipp Schmid, and Lauren Mullennex를 한국어로 번역 및 편집하였습니다. 대규모 언어 모델(LLM; Large Language Models)을 파인튜닝(Fine-tuning) 하면 오픈 소스 파운데이션 모델(Foundation model)을 개선하여 도메인별 작업에서 더욱 향상된 성능을 끌어낼 수 있습니다. 이 […]
허깅페이스와 LoRA를 사용하여 단일 Amazon SageMaker GPU에서 대규모 언어 모델(LLM) 훈련하기
이 글은 AWS Machine Learning Blog에 게시된 Train a Large Language Model on a single Amazon SageMaker GPU with Hugging Face and LoRA by Philipp Schmid, Doug Kelly, and Robert Fisher을 한국어로 번역 및 편집하였습니다. 원문은 허깅페이스의 필립 슈미드(Philipp Schmid)와 공동 작성되었습니다. 대규모 언어 모델(LLM; Large Language Models) 분야의 발전과 LLM이 가치 있는 인사이트를 제공하는 […]
Amazon SageMaker, Amazon OpenSearch Service, Streamlit, LangChain을 사용하여 강력한 질문/답변 봇 구축하기
이번 게시글은 영문 게시글(Build a powerful question answering bot with Amazon SageMaker, Amazon OpenSearch Service, Streamlit, and LangChain by by Amit Arora, Navneet Tuteja, and Xin Huang)의 한글 번역글입니다. 엔터프라이즈 환경에서 생성 AI와 대규모 언어 모델(LLM; Large Language Models)의 가장 일반적인 유스케이스 중 하나는 기업의 지식 코퍼스를 기반으로 질문에 답변하는 것입니다. Amazon Lex는 AI 기반 […]
Falcon-40B 모델을 대규모 모델 추론 딥러닝 컨테이너(DLC)로 Amazon SageMaker에 배포하기
이번 게시글은 영문 게시글(Deploy Falcon-40B with large model inference DLCs on Amazon SageMaker by James Park, Abhi Shivaditya, Evandro Franco, Frank Liu, Qing Lan, and Robert Van Dusen)의 한글 번역글입니다. 2023년 6월 초에 Technology Innovation Institute (TII)는 오픈소스 기반 대규모 언어 모델(LLM)인 TII Falcon LLM을 출시했습니다. Amazon SageMaker를 통해 1조 개의 토큰으로 학습된 Falcon은 최고 […]
SK텔레콤의 AWS Inferentia와 AWS Step Functions를 활용한 기계학습(ML) 파이프라인 구축 사례
SK텔레콤은 대한민국 최대 이동통신 회사로, 고객에게 가장 신뢰받는 서비스를 제공하고 있습니다. SK텔레콤은 통신 사업자로서의 역할을 넘어서, 유무선 통신 인프라를 기반으로 하는 초연결 기술에 AI를 더하여 고객을 이롭게 하는 ‘AI Company’로의 비전을 갖고 있습니다. 이제 SK텔레콤은 통신 서비스 뿐만 아니라, 다양한 데이터를 바탕으로 한 AI 기반 서비스로 서비스를 확장하고 있습니다. SK텔레콤 ML서비스 개발팀 소개 SK텔레콤은 “에이닷“이라는 […]
AWS Schema Conversion tool(SCT)를 활용하여 Google BigQuery에서 Amazon Redshift로 마이그레이션하기
이 글은 AWS Big Data 블로그의 Migrate Google BigQuery to Amazon Redshift using AWS Schema Conversion tool (SCT) by Jagadish Kumar, Anusha Challa, Amit Arora, and Cedrick Hoodye의 한국어 번역입니다. Amazon Redshift는 페타바이트 규모의 완전관리형 고속 데이터 웨어하우스로서, 분석 워크로드에서 프로비저닝 혹은 서버리스 형태의 컴퓨팅을 사용할 수 있는 유연성을 제공합니다. Amazon Redshift Serverless 및 Query […]
AWS Glue DataBrew와 Amazon QuickSight를 이용한 반정형 중첩 JSON 데이터 분석
이 글은 AWS Big Data Blog에 게시된 Simplify semi-structured nested JSON data analysis with AWS Glue DataBrew and Amazon QuickSight by Sriharsh Adari, Amogh Gaikwad, and Rahul Sonawane을 한국어 번역 및 편집을 하였습니다. 산업이 성장하고 데이터양이 늘어나면서 빅데이터 분석이 데이터 분석이나 기계 학습(ML)에서 공통으로 사용되고 있습니다. 데이터는 정형, 반정형 및 비정형 형식의 다양한 소스에서 발생합니다. […]
Kubernetes를 위한 영구 스토리지 적용하기
이 글은 AWS Storage Blog에 게시된 Persistent storage for Kubernetes by Suman Debnath, Daniel Rubinstein, Anjani Reddy, and Narayana Vemburaj을 한국어 번역 및 편집하였습니다. 상태 저장 애플리케이션이 올바르게 실행되기 위해서는 데이터가 저장되어 유지되고 읽을 수 있어야 합니다. Kubernetes를 사용하여 상태 저장 애플리케이션을 실행할 때 컨테이너, 포드, 또는 노드 충돌이나 종료에 관계없이 상태가 유지되어야 합니다. 이를 […]