Itaú Meningkatkan Kecepatan Masuk Pasar dan Produktivitas Solusi ML Menggunakan Amazon Web Services

Itaú menyediakan layanan perbankan bagi pelanggan di Brasil, Amerika Latin, dan 18 negara lain di seluruh dunia. Perusahaan ini memiliki lebih dari 95.700 karyawan. Sekitar 15.000 di antaranya bekerja di bidang TI. Infrastruktur lama Itaú sepenuhnya menggunakan sistem on-premise sehingga menyebabkan biaya lebih tinggi dan waktu pengembangan lebih lama. Infrastruktur on-premise mereka juga tidak dapat diskalakan karena keterbatasan ruang fisik dan perangkat keras. Dalam grup data bank, ilmuwan data harus menunggu hingga 6 bulan untuk mendapatkan memori dan sumber daya yang diperlukan, sementara perusahaan ini memiliki daftar tunggu deployment dengan lebih dari 100 model ML.

Untuk mengatasi tantangan ini, Itaú memutuskan untuk memigrasikan sebagian bisnisnya ke cloud dan memilih untuk menggunakan AWS. “Kami memilih bermigrasi dari on-premise ke cloud sebagai bagian dari strategi untuk meningkatkan daya saing dan efisiensi bisnis secara bersamaan,” kata Diego Nogare, ML Engineering Manager di Itaú.

Sekitar 6 bulan setelah dimulainya migrasi, Itaú memilih Amazon SageMaker — layanan untuk membangun, melatih, dan menerapkan model ML untuk kasus penggunaan apa pun dengan infrastruktur, alat, dan alur kerja yang dikelola sepenuhnya — sebagai solusi ML berbasis cloud yang fleksibel. “Kami mentransformasi perangkat lunak dan data kami menggunakan AWS, dan kami membutuhkan solusi yang bekerja optimal di AWS,” ujar Vitor Azeka, Data Science Superintendent di Itaú. “Amazon SageMaker adalah pilihan yang tepat.” Pada tahun 2024, sekitar 60 persen perangkat lunak dan data perusahaan ini sudah dimodernisasi untuk beroperasi di cloud.

Itaú telah membangun solusi lengkap untuk ilmuwan datanya menggunakan AWS. Pertama, data dikumpulkan menggunakan AWS Glu e, layanan integrasi data tanpa server yang membuatnya lebih mudah untuk menemukan, menyiapkan, memindahkan, dan mengintegrasikan data dari berbagai sumber untuk analitik, ML, dan pengembangan aplikasi. Data ini kemudian digunakan untuk memulai eksperimen menggunakan Amazon SageMaker Studio. Itaú menggunakan Amazon SageMaker Studio sebagai solusi pengembangan fleksibel bagi para ilmuwan data internalnya untuk bereksperimen. Selanjutnya, model ML di-deploy menggunakan alat Amazon SageMaker lainnya, seperti Endpoints, Batch Transform, dan Asynchronous Inference. Perusahaan memantau model menggunakan Amazon CloudWatch , yang mengumpulkan dan memvisualisasikan log, metrik, dan data peristiwa hampir real-time di dasbor otomatis untuk merampingkan infrastruktur dan pemeliharaan aplikasi. Dengan menggunakan semua layanan AWS ini secara bersamaan, ilmuwan data dapat memenuhi kebutuhan mereka.

Itaú meluncurkan solusi pertamanya menggunakan Amazon SageMaker Studio sebagai lingkungan pengembangan terintegrasi pada Agustus 2021. Per April 2023, sudah ada lebih dari 3.200 pengguna berbeda untuk layanan AWS ini, termasuk sekitar 350 ilmuwan data.

Itaú tidak lagi memiliki daftar tunggu untuk men-deploy model ML. Dengan menggunakan Amazon SageMaker Studio, perusahaan ini berhasil mengurangi waktu deployment dari hingga 6 bulan menjadi 3–5 hari dalam beberapa kasus. Pengurangan waktu deployment ini memungkinkan perusahaan meningkatkan kecepatan masuk pasar. “Ketika menggunakan Amazon SageMaker Studio, kami dapat menjalankan pipeline dan memberikan solusi kepada pelanggan kami secepat kilat,” kata Nogare. “Dengan demikian, kami dapat meningkatkan pengalaman pelanggan.” Biaya yang dikeluarkan Itaú juga berkurang dibandingkan dengan saat menggunakan infrastruktur on-premise lamanya.

Sejak November 2021, Itaú mengadakan pertemuan mingguan dengan tim AWS untuk membahas arsitektur, keamanan, dan rencana strategis. “Dukungan AWS sangat membantu kami dalam mencapai hasil yang kami miliki saat ini,” ucap Nogare. “Setiap kali kami menghadapi masalah terkait solusi atau kebutuhan tata kelola, tim AWS selalu mendukung kami.” Sejumlah kebutuhan tata kelola dipenuhi menggunakan Amazon SageMaker Studio. Ketika perusahaan ini menjalankan pipeline untuk menyediakan Amazon SageMaker Studio kepada pengguna, masalah tata kelola dan keamanan sudah terselesaikan.

Dengan standardisasi solusi, Itaú dapat lebih mudah memasukkan karyawan baru dan memindahkan ilmuwan data dari satu departemen ke departemen lain. Pembaruan menjadi lebih praktis karena semuanya dilakukan secara virtual. Perusahaan ini pun tidak perlu lagi bergantung pada mesin fisik. AWS memungkinkan integrasi pipeline untuk ilmuwan data sehingga deployment dan pemantauan model ML dapat dilakukan dalam pipeline data yang sama. Hal ini makin meningkatkan efisiensi bagi para ilmuwan data.

“Pada akhirnya, kami mampu memberikan hasil lebih cepat,” ujar Rodrigo Fernandes Mello, Distinguished Data Scientist di Itaú. “Kami telah meningkatkan standardisasi dan integrasi, serta dapat menggunakan AWS untuk terus berkembang.”

Itaú berencana untuk terus meningkatkan standardisasi. Langkah selanjutnya dalam upaya standardisasi internal bagi ilmuwan datanya adalah memperbanyak karyawan yang menggunakan solusi IARA, yang berbasis AWS dan memanfaatkan beberapa layanan, termasuk Amazon SageMaker Studio. Itaú akan terus mengembangkan pipeline dengan menggunakan alat di dalam Amazon SageMaker, seperti Amazon SageMaker Pipelines, yang digunakan untuk membuat, mengotomatiskan, dan mengelola alur kerja ML dalam skala besar. Itaú melakukan pengujian untuk meningkatkan standardisasi pada pipeline-nya menggunakan alat-alat AWS.

“Proyek ini membuat pekerjaan tim ilmuwan data lebih efisien,” kata Azeka. “Dengan menggunakan Amazon SageMaker Studio, kami dapat menguji hal-hal baru sambil menerbitkan yang lain, serta membahas solusi mutakhir menggunakan model bahasa besar. Hal ini membuat ilmuwan data kami bangga bekerja di Itaú.”