Neden Apache Spark için Amazon Redshift Entegrasyonu?
Apache Spark için Amazon Redshift Entegrasyonu; Amazon EMR, AWS Glue ve Amazon SageMaker gibi AWS analiz hizmetlerinden Amazon Redshift verilerine erişen Apache Spark uygulamalarını basitleştirir ve hızlandırır. Amazon EMR, AWS Glue ve SageMaker kullanarak performans veya işlemsel tutarlılıktan ödün vermeden Amazon Redshift veri ambarınızdan okuma ve yazma yapan Apache Spark uygulamalarını hızlı bir şekilde oluşturabilirsiniz. Apache Spark için Amazon Redshift Entegrasyonu, güvenliği artırmak amacıyla AWS Kimlik ve Erişim Yönetimi (IAM) tabanlı kimlik bilgilerini de kullanır. Apache Spark için Amazon Redshift Entegrasyonu sayesinde, üçüncü taraf bağlayıcıların onaylanmamış sürümlerinde manuel kurulum ve bakım gerekmez. Amazon Redshift verilerini saniyeler içinde kullanarak Apache Spark kullanarak çalışmaya başlayabilirsiniz. Bu yeni entegrasyon, Amazon Redshift verilerini kullanan Apache Spark uygulamalarının performansını artırır.
Amazon Redshift'in Avantajları
Nasıl çalışır?
Şema üç ana sütundan oluşur. Soldaki sütunda dikey olarak okunan (yukarıdan aşağıya) ve içinde AWS Glue, Amazon EMR ve Amazon SageMaker olan üç kutu bulunur. Bu kutuların tümü, "Amazon Redshift'te Apache Spark uygulamaları aracılığıyla verilere erişin" yazan orta sütunu/kutuyu işaret eder. Ortadaki kutu, "Amazon Redshift" yazan en sağdaki kutuyu işaret eder.
Kullanım örnekleri
Müşteriler
Huron, sağlam stratejiler oluşturmak, operasyonları optimize etmek, dijital dönüşümü hızlandırmak, işletme ve çalışanların geleceklerini kurmak adına onları güçlendirmek üzere mümkün olan imkanları hayata geçirmek için müşterilerle iş birliği yapan küresel bir profesyonel hizmet firmasıdır.
"Mühendislerimize Python ve Scala kullanarak Apache Spark ile kendi veri hat ve uygulamalarını oluşturma imkanı tanıyoruz. Operasyonları basitleştiren ve müşterilerimiz için daha hızlı ve verimli bir şekilde teslim eden özel bir çözüm istemiştik ve yeni Apache Spark için Amazon Redshift Entegrasyonu sayesinde bunu başardık.”
Corey Johnson, Veri Mimarı Yöneticisi - Huron Consulting
GE Aerospace, ticari ve askeri uçaklar için küresel bir jet motoru, bileşeni ve sistemi sağlayıcısıdır. Şirket, Birinci Dünya Savaşı'ndan günümüze jet motorları tasarlayıp, geliştirip üretmektedir.
"GE Aerospace, önemli iş kararlarını yönlendiren kritik iş öngörülerini gerçekleştirmek üzere AWS analizi ve Amazon Redshift kullanmaktadır. Amazon S3'ten otomatik kopyalama desteğiyle, verileri Amazon S3'ten Amazon Redshift'e taşımak üzere daha basit veri hatları oluşturabiliyoruz. Böylece veri ürünü ekiplerimizin verilere erişme ve son kullanıcılara öngörü sağlama özellikleri de hızlanmaktadır. Verilerle değer katmak adına daha fazla, entegrasyon için daha az zaman harcıyoruz.”
Alcuin Weidus, Kıdemli Veri Mimarı Sorumlusu - GE Aerospace
Goldman Sachs Group, Inc.; şirket, finansal kurum, hükümet ve bireyleri kapsayan geniş ve çeşitlendirilmiş bir müşteri tabanına yatırım bankacılığı, menkul kıymetler, yatırım yönetimi ve tüketici bankacılığı genelinde geniş bir finansal hizmet yelpazesi sunan lider bir küresel finans kurumudur.
"Odak noktamız, Goldman Sachs bünyesindeki tüm kullanıcılarımızın verilere bireysel olarak erişmelerini sağlamaktır. Bir açık kaynaklı veri yönetimi ve yönetişim platformu olan Legend adlı platformumuz aracılığıyla, finansal hizmetler sektöründe işbirliği yaparken kullanıcıların veri merkezli uygulamalar geliştirmelerine ve veri odaklı öngörüler elde etmelerine olanak tanıyoruz. Apache Spark için Amazon Redshift Entegrasyonuyla veri platformu ekibimiz, sıfır kodlu ETL'ye izin vererek Amazon Redshift verilerine küçücük manuel adımlarla erişebilecek ve mühendislerin eksiksiz ve zamanında bilgi toplarken iş akışlarını en iyileştirmeye odaklanmalarını kolaylaştırma yetimizi artıracaktır. Kullanıcılarımız artık Amazon Redshift son verilerine kolayca erişebildiğinden, uygulama performanslarında artış ve gelişmiş güvenlik görmeyi bekliyoruz."
Neema Raphael, Baş Veri Sorumlusu - Goldman Sachs