AWS Cloud
AWS Cloud
Mulai menggunakan AWS Data Pipeline

AWS Data Pipeline adalah layanan web yang membantu Anda memproses dan memindahkan data secara andal antara layanan komputasi dan penyimpanan AWS, serta sumber data di lokasi perusahaan, pada interval tertentu. Dengan AWS Data Pipeline, Anda dapat secara teratur mengakses data Anda di tempatnya disimpan, ditransformasi, dan diproses pada berbagai skala, dan secara efisien mentransfer hasilnya ke layanan AWS seperti Amazon S3, Amazon RDS, Amazon DynamoDB, dan Amazon EMR.

AWS Data Pipeline membantu Anda dengan mudah membuat beban kerja pemrosesan data kompleks yang toleran kesalahan, dapat diulang, dan sangat tersedia. Anda tidak perlu khawatir tentang memastikan ketersediaan sumber daya, mengelola dependensi antar-tugas, mencoba kembali kegagalan sementara atau kehabisan waktu dalam tugas individu, atau membuat sistem pemberitahuan kegagalan. AWS Data Pipeline juga memungkinkan Anda memindahkan dan memproses data yang sebelumnya dikunci di silo data yang ada di lokasi perusahaan.

Coursera-reInvent-2


Andal

Andal

AWS Pipeline dibangun di atas infrastruktur terdistribusi dengan ketersediaan tinggi yang dirancang untuk pelaksanaan aktivitas yang toleran terhadap kesalahan. Jika kegagalan terjadi dalam logika aktivitas Anda atau sumber data, AWS Data Pipeline secara otomatis mencoba kembali aktivitas tersebut. Jika kegagalan berlanjut, AWS Data Pipeline mengirimi Anda pemberitahuan kegagalan melalui Amazon Simple Notification Service (Amazon SNS). Anda dapat mengonfigurasi pemberitahuan untuk pengoperasian yang berhasil, penundaan dalam kegiatan yang direncanakan, atau kegagalan.

Mudah Digunakan

Mudah Digunakan

Membuat pipeline cepat dan mudah dilakukan melalui konsol drag-and-drop kami. Prakondisi umum sudah terintegrasi dalam layanan, jadi Anda tidak perlu menulis logika ekstra untuk menggunakannya. Misalnya, Anda dapat memeriksa keberadaan file Amazon S3 hanya dengan memberikan nama bucket Amazon S3 dan jalur file yang ingin Anda periksa, dan AWS Data Pipeline melakukan sisanya. Selain pembuat pipeline visual yang mudah, AWS Data Pipeline menyediakan pustaka template pipeline. Template ini mempermudah pembuatan pipeline untuk sejumlah kasus penggunaan yang lebih kompleks, seperti memproses file log Anda secara berkala, mengarsipkan data ke Amazon S3, atau menjalankan kueri SQL secara berkala.

Fleksibel

Fleksibel

AWS Data Pipeline memungkinkan Anda memanfaatkan berbagai fitur seperti penjadwalan, pelacakan dependensi, dan penanganan kesalahan. Anda dapat menggunakan aktivitas dan prakondisi yang disediakan AWS dan/atau menulis aktivitas dan prakondisi kustom Anda sendiri. Ini berarti Anda dapat mengonfigurasi AWS Data Pipeline untuk mengambil tindakan seperti menjalankan pekerjaan EMR Amazon, mengeksekusi kueri SQL secara langsung terhadap database, atau menjalankan aplikasi khusus yang berjalan di Amazon EC2 atau di pusat data Anda sendiri. Ini memungkinkan Anda membuat pipeline kustom yang mumpuni untuk menganalisis dan memproses data Anda tanpa harus berurusan dengan kompleksitas penjadwalan yang andal dan mengeksekusi logika aplikasi Anda

Dapat Diskalakan

Skala Dapat Dikembangkan

AWS Data Pipeline membuat pengiriman pekerjaan ke satu atau beberapa mesin, secara serial atau paralel sama mudahnya. Dengan desain fleksibel dari AWS Data Pipeline, memproses satu juta file semudah memproses satu file.

 

Biaya Rendah

Biaya Rendah

AWS Data Pipeline tidak mahal untuk digunakan dan ditagih dengan tarif bulanan yang rendah. Anda dapat mencobanya secara gratis di bawah Penggunaan Gratis AWS. Pelajari selengkapnya.

Transparan

Transparan

Anda memiliki kontrol penuh atas sumber daya komputasi yang menjalankan logika bisnis Anda, memudahkan untuk meningkatkan atau men-debug logika Anda. Selain itu, log eksekusi penuh secara otomatis dikirimkan ke Amazon S3, memberi Anda catatan detail yang terus-menerus tentang apa yang telah terjadi di pipeline Anda.

Memulai