Memilih layanan analitik AWS

Tentukan persyaratan pemrosesan data tentang cara data diserap, diubah, dibersihkan, dan disiapkan untuk analisis. Pertimbangan utama meliputi:

• Transformasi data: Tentukan transformasi khusus yang diperlukan agar data mentah cocok untuk analisis. Proses tersebut melibatkan tugas-tugas seperti agregasi, normalisasi, pemfilteran, dan pengayaan data.
• Pembersihan data: Nilai kualitas data dan tentukan proses untuk menangani data yang hilang, tidak akurat, atau inkonsistensi. Terapkan teknik pembersihan data guna memastikan data berkualitas tinggi untuk wawasan yang andal.
• Frekuensi pemrosesan: Tentukan apakah pemrosesan waktu nyata, mendekati waktu nyata, atau batch diperlukan berdasarkan kebutuhan analitik. Pemrosesan waktu nyata memungkinkan wawasan langsung, sementara pemrosesan batch mungkin cukup untuk analisis berkala.
• Skalabilitas dan throughput: Evaluasi persyaratan skalabilitas untuk menangani volume data, kecepatan pemrosesan, dan jumlah permintaan data konkuren. Pastikan bahwa pendekatan pemrosesan yang dipilih dapat mengakomodasi pertumbuhan di masa mendatang.
• Latensi: Pertimbangkan latensi yang dapat diterima untuk pemrosesan data dan waktu yang dibutuhkan mulai dari penyerapan data hingga mendapatkan hasil analisis. Hal ini sangat penting untuk analitik waktu nyata atau analitik yang sensitif waktu.

Tentukan kebutuhan penyimpanan dengan menentukan cara dan tempat data disimpan di seluruh pipeline analitik. Pertimbangan penting meliputi:

• Volume data: Nilai jumlah data yang dihasilkan dan dikumpulkan, serta perkirakan pertumbuhan data di masa mendatang untuk merencanakan kapasitas penyimpanan yang memadai.
• Retensi data: Tentukan durasi data yang harus dipertahankan untuk analisis historis atau tujuan kepatuhan. Tentukan kebijakan retensi data yang sesuai.
• Pola akses data: Pahami bagaimana data akan diakses dan dikueri untuk memilih solusi penyimpanan yang paling sesuai. Pertimbangkan operasi baca dan tulis, frekuensi akses data, serta lokalitas data.
• Keamanan data: Prioritaskan keamanan data dengan mengevaluasi opsi enkripsi, kontrol akses, dan mekanisme perlindungan data untuk melindungi informasi sensitif.
• Optimisasi biaya: Optimalkan biaya penyimpanan dengan memilih solusi penyimpanan yang paling hemat biaya berdasarkan pola dan penggunaan akses data.
• Integrasi dengan layanan analitik: Pastikan integrasi yang lancar antara solusi penyimpanan yang dipilih serta alat pemrosesan dan analitik data dalam pipeline.

Saat memutuskan layanan analitik untuk pengumpulan dan penyerapan data, pertimbangkan berbagai tipe data yang relevan dengan kebutuhan serta tujuan organisasi Anda. Tipe data umum yang mungkin perlu Anda pertimbangkan meliputi:

• Data transaksional: Mencakup informasi tentang interaksi atau transaksi individual, seperti pembelian pelanggan, transaksi keuangan, pesanan online, dan log aktivitas pengguna.
• Data berbasis file: Mengacu pada data terstruktur atau tidak terstruktur yang disimpan dalam file, seperti file log, spreadsheet, dokumen, gambar, file audio, dan file video. Layanan analitik harus mendukung penyerapan format file yang berbeda/
• Data peristiwa: Menangkap kejadian atau insiden yang signifikan, seperti tindakan pengguna, peristiwa sistem, peristiwa mesin, atau peristiwa bisnis. Peristiwa dapat mencakup data apa pun yang tiba dengan kecepatan tinggi yang ditangkap untuk pemrosesan on-stream atau down-stream.

Tanggung jawab operasional dibagi antara Anda dan AWS, dengan pembagian tanggung jawab yang bervariasi di berbagai tingkat modernisasi. Anda memiliki opsi untuk mengelola sendiri infrastruktur analitik di AWS atau memanfaatkan berbagai layanan analitik nirserver untuk mempelajari beban manajemen infrastruktur.

Opsi kelola sendiri memberi pengguna kontrol yang lebih besar atas infrastruktur dan konfigurasi, tetapi opsi tersebut membutuhkan lebih banyak upaya operasional.

Opsi nirserver menghilangkan banyak beban operasional, menyediakan skalabilitas otomatis, ketersediaan tinggi, dan fitur keamanan yang kuat, yang memungkinkan pengguna untuk lebih fokus dalam membangun solusi analitik serta mendorong wawasan, daripada mengelola infrastruktur dan tugas operasional. Pertimbangkan manfaat solusi analitik nirserver berikut:

• Penyederhanaan infrastruktur: Layanan nirserver menyederhanakan manajemen infrastruktur, yang membebaskan pengguna dari tugas penyediaan, penskalaan, dan pemeliharaan. AWS menangani aspek operasional ini, sehingga mengurangi overhead manajemen.
• Penskalaan otomatis dan performa: Layanan nirserver secara otomatis menskalakan sumber daya berdasarkan tuntutan beban kerja, yang memastikan performa optimal tanpa intervensi manual.
• Ketersediaan tinggi dan pemulihan bencana: AWS menyediakan ketersediaan tinggi untuk layanan nirserver. AWS mengelola redundansi data, replikasi, dan pemulihan bencana untuk meningkatkan ketersediaan serta keandalan data.
• Keamanan dan kepatuhan: AWS mengelola langkah-langkah keamanan, enkripsi data, dan kepatuhan untuk layanan nirserver, dengan mengikuti standar industri serta praktik terbaik.
• Pemantauan dan pencatatan: AWS menawarkan kemampuan pemantauan, pencatatan, dan peringatan bawaan untuk layanan nirserver. Pengguna dapat mengakses metrik dan log terperinci melalui AWS CloudWatch.

Beban kerja batch

• Volume dan frekuensi data: Pemrosesan batch cocok untuk volume data yang besar dengan pembaruan berkala.
• Latensi data: Pemrosesan batch mungkin menimbulkan beberapa penundaan dalam mengirimkan wawasan dibandingkan dengan pemrosesan waktu nyata.

Analisis interaktif

• Kompleksitas kueri data: Analisis interaktif membutuhkan respons latensi rendah untuk umpan balik yang cepat.
• Visualisasi data: Evaluasi kebutuhan akan alat visualisasi data interaktif agar pengguna bisnis dapat menjelajahi data secara visual.

Beban kerja streaming

• Kecepatan dan volume data: Beban kerja streaming memerlukan pemrosesan waktu nyata untuk menangani data berkecepatan tinggi.
• Pengelompokan data: Tentukan pengelompokan data dan agregasi berbasis waktu untuk streaming data guna mengekstraksi wawasan yang relevan.

Tentukan dengan jelas tujuan bisnis dan wawasan yang ingin Anda peroleh dari analitik. Tipe analitik yang berbeda melayani tujuan yang berbeda. Misalnya:

• Analitik deskriptif sangat cocok untuk mendapatkan gambaran umum historis
• Analitik diagnostik membantu memahami alasan di balik peristiwa masa lalu
• Analitik prediktif memprakirakan hasil di masa mendatang
• Analitik preskriptif memberikan rekomendasi untuk tindakan optimal

Cocokkan tujuan bisnis Anda dengan tipe analitik yang relevan. Berikut adalah beberapa kriteria keputusan utama untuk membantu Anda memilih tipe analitik yang tepat:

• Ketersediaan dan kualitas data: Analitik deskriptif dan diagnostik bergantung pada data historis, sementara analitik prediktif serta preskriptif memerlukan data historis yang cukup dan data berkualitas tinggi untuk membangun model yang akurat.
• Volume dan kompleksitas data: Analitik prediktif dan preskriptif memerlukan pemrosesan data substansial dan sumber daya komputasional. Pastikan infrastruktur dan alat Anda dapat menangani volume serta kompleksitas data.
• Kompleksitas keputusan: Jika keputusan melibatkan banyak variabel, kendala, dan tujuan, analitik preskriptif mungkin lebih cocok untuk memandu tindakan yang optimal.
  
• Toleransi risiko: Analitik preskriptif dapat memberikan rekomendasi, tetapi disertai dengan ketidakpastian. Pastikan bahwa pengambil keputusan memahami risiko yang terkait dengan output analitik.

Nilai kebutuhan skalabilitas dan performa arsitektur. Desain harus bisa mengatasi peningkatan volume data, permintaan pengguna, dan beban kerja analitik. Faktor keputusan utama yang perlu dipertimbangkan meliputi:

• Volume dan pertumbuhan data: Nilai volume data saat ini dan antisipasi pertumbuhan di masa mendatang. 
• Kecepatan data dan persyaratan waktu nyata: Tentukan apakah data perlu diproses serta dianalisis dalam waktu nyata atau mendekati waktu nyata.
• Kompleksitas pemrosesan data: Analisis kompleksitas tugas pemrosesan dan analisis data Anda. Untuk tugas yang intensif secara komputasi, layanan seperti Amazon EMR menyediakan lingkungan yang dapat diskalakan dan terkelola untuk pemrosesan big data.
• Konkurensi dan beban pengguna: Pertimbangkan jumlah pengguna konkuren dan tingkat beban pengguna pada sistem. 
• Kemampuan penskalaan otomatis: Pertimbangkan layanan yang menawarkan kemampuan penskalaan otomatis, yang memungkinkan sumber daya untuk secara otomatis menaikkan atau menurunkan skala sesuai permintaan. Hal imi memastikan pemanfaatan sumber daya yang efisien dan optimisasi biaya.
• Distribusi geografis: Pertimbangkan layanan dengan replikasi global dan akses data latensi rendah jika arsitektur data Anda perlu didistribusikan ke banyak wilayah atau lokasi.
• Tarik ulur performa-biaya: Seimbangkan kebutuhan performa dengan pertimbangan biaya. Layanan dengan performa tinggi mungkin hadir dengan biaya yang lebih tinggi.
  
• Perjanjian tingkat layanan (SLA): Periksa SLA yang disediakan oleh layanan AWS untuk memastikan SLA tersebut memenuhi ekspektasi skalabilitas dan performa Anda.

Tata kelola data adalah serangkaian proses, kebijakan, dan kontrol yang perlu Anda terapkan untuk memastikan manajemen, kualitas, keamanan, serta kepatuhan aset data yang efektif. Poin keputusan utama yang perlu dipertimbangkan meliputi:

• Kebijakan retensi data: Tentukan kebijakan retensi data berdasarkan persyaratan peraturan dan kebutuhan bisnis serta tetapkan proses pembuangan data yang aman ketika data tidak lagi diperlukan.
  
• Jejak audit dan pencatatan: Tentukan mekanisme pencatatan dan audit untuk memantau akses serta penggunaan data. Terapkan jejak audit komprehensif untuk melacak perubahan data, upaya akses, dan aktivitas pengguna untuk pemantauan kepatuhan serta keamanan.
• Persyaratan kepatuhan: Pahami regulasi kepatuhan data khusus industri dan geografis yang berlaku untuk organisasi Anda. Pastikan bahwa arsitektur data selaras dengan regulasi dan pedoman ini.
• Klasifikasi data: Klasifikasikan data berdasarkan sensitivitasnya dan tentukan kontrol keamanan yang tepat untuk setiap kelas data. 
  
• Pemulihan bencana dan keberlanjutan bisnis: Rencanakan pemulihan bencana serta keberlanjutan bisnis untuk memastikan ketersediaan dan ketahanan data jika terjadi kejadian yang tidak terduga atau kegagalan sistem.
• Berbagi data pihak ketiga: Jika harus berbagi data dengan entitas pihak ketiga, terapkan protokol dan perjanjian berbagi data yang aman untuk melindungi kerahasiaan data serta mencegah penyalahgunaan data.

Keamanan data dalam pipeline analitik mencakup perlindungan data di setiap tahap pipeline untuk memastikan kerahasiaan, integritas, dan ketersediaannya. Poin keputusan utama yang perlu dipertimbangkan meliputi:

• Kontrol akses dan otorisasi: Terapkan protokol autentikasi dan otorisasi yang kuat untuk memastikan bahwa hanya pengguna yang sah yang dapat mengakses sumber daya data tertentu.
• Enkripsi data: Pilih metode enkripsi yang sesuai untuk data yang disimpan dalam basis data, danau data, dan selama pergerakan data di antara komponen arsitektur yang berbeda.
• Pengaburan data dan anonimisasi: Pertimbangkan perlunya pengaburan data atau anonimisasi untuk melindungi data sensitif, seperti PII atau data bisnis yang sensitif, sekaligus memungkinkan proses analitik tertentu terus berjalan.
• Integrasi data yang aman: Tetapkan praktik integrasi data yang aman untuk memastikan bahwa data mengalir dengan aman di antara komponen arsitektur yang berbeda, menghindari kebocoran data atau akses tidak sah selama pergerakan data.
• Isolasi Jaringan: Pertimbangkan layanan yang mendukung Titik Akhir VPC AWS agar tidak mengekspos sumber daya ke internet publik.

Tentukan titik integrasi dan aliran data antara berbagai komponen pipeline analitik untuk memastikan aliran dan interoperabilitas data yang lancar. Poin keputusan utama yang perlu dipertimbangkan meliputi:

• Integrasi sumber data: Identifikasi sumber data asal pengumpulan data, seperti basis data, aplikasi, file, atau API eksternal. Tentukan metode penyerapan data (batch, waktu nyata, berbasis peristiwa) untuk membawa data ke dalam pipeline secara efisien dan dengan latensi minimal.
• Transformasi data: Tentukan transformasi yang diperlukan guna menyiapkan data untuk analisis. Tentukan alat dan proses untuk membersihkan, menggabungkan, menormalkan, atau memperkaya data saat bergerak melalui pipeline.
• Arsitektur pergerakan data: Pilih arsitektur yang sesuai untuk pergerakan data di antara komponen pipeline. Pertimbangkan pemrosesan batch, pemrosesan aliran, atau kombinasi keduanya berdasarkan kebutuhan waktu nyata dan volume data.
• Replikasi dan sinkronisasi data: Tentukan mekanisme replikasi dan sinkronisasi data untuk menjaga data tetap mutakhir di semua komponen. Pertimbangkan solusi replikasi waktu nyata atau sinkronisasi data berkala tergantung pada kebutuhan kesegaran data.
  
• Kualitas dan validasi data: Terapkan pemeriksaan kualitas data dan langkah-langkah validasi untuk memastikan integritas data saat data bergerak melalui pipeline. Tentukan tindakan yang akan diambil ketika data gagal divalidasi, seperti peringatan atau penanganan kesalahan.
• Keamanan dan enkripsi data: Tentukan bagaimana data akan diamankan selama transit dan diam. Tentukan metode enkripsi untuk melindungi data sensitif di seluruh pipeline, dengan mempertimbangkan tingkat keamanan yang diperlukan berdasarkan sensitivitas data.
• Skalabilitas dan ketahanan: Pastikan bahwa desain aliran data memungkinkan skalabilitas horizontal dan dapat menangani peningkatan volume lalu lintas data. 

Membangun pipeline analitik Anda di AWS memberikan berbagai peluang optimisasi biaya. Untuk memastikan efisiensi biaya, pertimbangkan strategi berikut:

• Ukuran dan pemilihan sumber daya: Sesuaikan ukuran sumber daya berdasarkan kebutuhan beban kerja aktual. Pilih layanan AWS dan tipe instans yang sesuai dengan kebutuhan performa beban kerja sambil menghindari penyediaan yang berlebihan.
• Penskalaan otomatis: Terapkan penskalaan otomatis untuk layanan yang mengalami beban kerja yang bervariasi. Penskalaan otomatis secara dinamis menyesuaikan jumlah instans berdasarkan permintaan, sehingga mengurangi biaya selama periode lalu lintas rendah.
• Instans Spot: Manfaatkan Instans Spot AWS EC2 untuk beban kerja yang tidak penting dan toleran terhadap kesalahan. Instans Spot dapat mengurangi biaya secara signifikan dibandingkan dengan instans sesuai permintaan.
• Instans Terpesan: Pertimbangkan untuk membeli Instans Terpesan AWS guna mencapai penghematan biaya yang signifikan dibandingkan harga sesuai permintaan untuk beban kerja yang stabil dengan penggunaan yang dapat diprediksi.
• Tingkat penyimpanan data:Optimalkan biaya penyimpanan data dengan menggunakan kelas penyimpanan yang berbeda berdasarkan frekuensi akses data.
• Kebijakan siklus hidup data: Siapkan kebijakan siklus hidup data untuk memindahkan atau menghapus data secara otomatis berdasarkan umur dan pola penggunaannya. Kebijakan ini membantu mengelola biaya penyimpanan dan menjaga penyimpanan data tetap selaras dengan nilainya.