AWS의 공개 데이터 세트
AWS의 공개 데이터 세트는 AWS 클라우드 기반 애플리케이션에 완벽히 통합되는 공개 데이터 세트의 중앙 리포지토리 역할을 합니다. AWS는 커뮤니티를 위해 공개 데이터 세트를 무료로 호스팅합니다. 모든 AWS 서비스와 마찬가지로, 사용자는 애플리케이션에 사용하는 컴퓨팅 및 스토리지에 대해서만 비용을 지불합니다.
이전에는 인간 게놈 및 미국 인구조사 데이터 매핑 같은 대규모 데이터 세트를 검색하고, 다운로드하고, 가공하고, 분석하려면 짧아도 몇 시간, 길면 며칠까지 걸렸습니다. 하지만 이제는 단 몇 분이면 Amazon Elastic Compute Cloud(Amazon EC2) 인스턴스에서 데이터 세트에 액세스해 데이터 처리 작업을 시작할 수 있습니다. 전체 AWS 에코시스템을 활용해 다른 AWS 사용자와 쉽게 협업할 수도 있습니다. 예를 들면, 도구와 애플리케이션으로 서버 이미지를 제작하거나 이미 구축되어 있는 서버 이미지를 사용해 데이터 세트를 분석하면 됩니다. 전문 공개 데이터 세트 포럼에서 베스트 프랙티스와 솔루션을 두고 다른 사용자와 의견을 나눌 수도 있습니다.
이렇게 중요하고 유용한 데이터를 Amazon EC2 같은 비용 효율적인 서비스로 호스팅하면서 AWS는 다양한 분야의 연구자들과 기업들이 원하는 대로 신속하게 혁신을 이룰 수 있기를 기대합니다.
이 페이지에는 다음과 같은 범주의 정보가 담겨 있습니다. 아래를 클릭하면 해당 항목으로 이동합니다.
AWS에서 사용 가능한 공개 데이터 세트
AWS는 앞으로도 계속해서 사용 가능한 공개 도메인 및 비독점 데이터 세트를 추가해 나갈 계획입니다. 현재 사용 가능한 데이터 세트는 아래 나와 있습니다. Linux/UNIX 스냅샷은 ISO9660 또는 EXT3 형식이고, Windows 스냅샷은 NTFS 형식입니다.
공개 데이터 세트 리소스 센터에서 전체 데이터 세트 목록을 확인할 수 있습니다.
다음과 같은 공개 데이터 세트가 가장 자주 사용되는 예입니다.
- 주석이 달린 인간 게놈 데이터, ENSEMBL 제공
Ensembl 프로젝트는 인간뿐 아니라 거의 50종에 달하는 종의 게놈 데이터베이스를 구축해 무료로 배포하고 있습니다.
- 다양한 미국 인구조사 데이터베이스, 미국통계국 제공
1980년, 1990년, 2000년 미국 인구조사를 기반으로 한 인구 동태 데이터, 기업 및 산업에 관한 요약 정보, 2003-2006년 가구 경제 프로필 데이터가 포함되어 있습니다.
- UniGene, 미국립생물정보센터 제공
특징이 발현된 유전자와 수십만 발현 서열 표지(EST)를 포함하는 전사(transcript) 배열 세트로, 전사체(transcriptome)에 대한 체계적인 뷰를 제공합니다.
- Freebase 데이터 덤프, Freebase.com 제공
현재 Freebase 시스템에 포함되어 있는 모든 팩트 및 어설션의 데이터 덤프입니다. Freebase는 수백 가지 범주의 수십만 개 주제를 포괄한 정보를 담고 있는 공개 데이터베이스입니다. Wikipedia, MusicBrainz, SEC 아카이브 같은 대형 공개 데이터 세트에서 가져온 방대한 정보가 영화, 음악, 인물, 장소 등의 다양한 인기 주제로 깔끔하게 정리되어 있으며, 모두 무료로 제공되고 있습니다.
사용 방법
고급 공개 데이터 세트들을 Amazon EC2에서 Amazon Elastic Block Store(Amazon EBS) 스냅샷으로 무료 호스팅하고 있습니다. Amazon EC2 고객은 개인 Amazon EBS 볼륨을 만들어 이 데이터에 액세스한 다음 공개 데이터 세트 스냅샷을 바로 사용할 수 있습니다. 또한 자신의 Amazon EC2 인스턴스를 사용해 개인 볼륨에 바로 액세스하여 원하는 대로 수정하고, 컴퓨팅할 수 있습니다. 컴퓨팅 및 스토리지 리소스 사용료는 종량 과금제입니다. 가능한 경우, 연구자들도 Inquiry by BioTeam 같은 도구로 사전 구성된 Amazon 머신 이미지(AMI)를 사용하여 분석을 수행할 수 있습니다.
다음 세 단계만 간단히 수행하면 AWS에서 공개 데이터 세트를 사용할 수 있습니다.
- Amazon EC2에 가입합니다.
- Amazon EC2 인스턴스를 시작합니다.
- 선택한 스냅샷 위의 카탈로그에 나와 있는 스냅샷 ID를 사용해 Amazon EBS 볼륨을 만듭니다.
ElasticFox Getting Started Guide에 편리한 FireFox 플러그인 ElasticFox를 사용해 인스턴스를 시작하고, Amazon EBS 볼륨을 만드는 방법이 간단하게 나와 있습니다. Amazon EC2 시작 안내서를 참조해도 괜찮습니다.
궁금한 점이 있거나 공개 데이터 세트 커뮤니티에 참여하고 싶다면 공개 데이터 세트 포럼을 방문해 주십시오.
AWS에서 공개 데이터 세트를 공유하는 방법
보유하고 있는 공개 도메인이나 비독점 데이터 세트가 유용해서 AWS 커뮤니티에도 소개해 주고 싶다면 아래 요청을 보내 주십시오. AWS 팀에서 검토 후 연락을 드릴 것입니다. 리포지토리에 있는 데이터 세트는 대개 1GB에서 1TB(Amazon EBS 볼륨 한도 기준) 정도지만 당사에 요청해 주시면 더 큰 데이터 세트도 호스팅해 드릴 수 있습니다. 다만 고객에게 해당 데이터를 무료 배포할 수 있는 권한이 있어야 합니다.
요청하려면 제출 양식을 작성해서 보내 주십시오. 당사 팀이 요청한 공개 데이터 세트에 관해 연락을 드릴 것입니다. 또한 보유하고 계신 데이터 세트를 데이터 리포지토리에 공개하는 과정도 안내해 드립니다.
