Amazon Kinesis Data Firehose
Amazon Kinesis Data Firehose เป็นวิธีที่ง่ายที่สุดในการโหลดข้อมูลการสตรีมลงใน Data Lake พื้นที่จัดเก็บข้อมูล และบริการวิเคราะห์อย่างเชื่อถือได้ โดยสามารถบันทึก แปลง และส่งข้อมูลการสตรีมไปยัง Amazon S3, Amazon Redshift, Amazon Elasticsearch Service ตำแหน่งข้อมูล HTTP ทั่วไป และผู้ให้บริการ เช่น Datadog, New Relic, MongoDB และ Splunk นี่เป็นบริการที่ได้รับการจัดการเต็มรูปแบบที่ปรับขนาดโดยอัตโนมัติเพื่อให้เข้ากับปริมาณการประมวลผลข้อมูลของคุณและไม่จำเป็นต้องมีการดูแลระบบอย่างต่อเนื่อง อีกทั้งยังสามารถจัดกลุ่ม บีบอัด แปลง และเข้ารหัสสตรีมข้อมูลก่อนโหลดได้ ซึ่งช่วยลดการใช้งานพื้นที่จัดเก็บ และช่วยเพิ่มการรักษาความปลอดภัย
คุณสามารถสร้างสตรีมการนำเสนอ Firehose จาก AWS Management Console กำหนดค่าด้วยการคลิกเพียงไม่กี่ครั้ง และเริ่มนำเข้าข้อมูลการสตรีมจากแหล่งข้อมูลหลายแสนแห่งไปยังปลายทางที่ระบุ คุณยังสามารถกำหนดค่าสตรีมข้อมูลเพื่อแปลงข้อมูลขาเข้าเป็นรูปแบบเปิดและมาตรฐานได้โดยอัตโนมัติ เช่น Apache Parquet และ Apache ORC ก่อนจะส่งข้อมูล
Amazon Kinesis Data Firehose ไม่มีค่าธรรมเนียมขั้นต่ำหรือค่าใช้จ่ายในการติดตั้ง คุณชำระค่าบริการสำหรับปริมาณข้อมูลที่คุณส่งผ่านบริการเพื่อแปลงรูปแบบข้อมูล หากมี และสำหรับการนำเสนอและการถ่ายโอนข้อมูลบน Amazon VPC
ประโยชน์
ใช้งานง่าย
Amazon Kinesis Data Firehose มีวิธีบันทึก แปลง และโหลดข้อมูลการตรีมแบบง่ายเพียงคลิกไม่กี่ครั้งใน AWS Management Console คุณสามารถสร้างสตรีมการส่ง Firehose เลือกปลายทาง และเริ่มส่งข้อมูลแบบเรียลไทม์จากแหล่งข้อมูลนับแสนได้พร้อมกันอย่างรวดเร็ว บริการนี้จะดูแลการจัดการสตรีม รวมถึงการปรับขนาด การแยกย่อย และการตรวจสอบทั้งหมดที่จำเป็นเพื่อโหลดข้อมูลไปยังปลายทางอย่างต่อเนื่องตามช่วงเวลาที่คุณระบุ
ผสานรวมกับบริการของ AWS และผู้ให้บริการรายอื่น
Amazon Kinesis Data Firehose มีการผสานรวมกับ Amazon S3, Amazon Redshift และ Amazon Elasticsearch Service โดยสามารถส่งข้อมูลไปยังตำแหน่งข้อมูล HTTP ทั่วไป และส่งไปยังผู้ให้บริการต่างๆ เช่น Datadog, New Relic, MongoDB และ Splunk จาก AWS Management Console คุณสามารถชี้ Kinesis Data Firehose ไปยังปลายทางที่คุณเลือกและใช้แอปพลิเคชันและเครื่องมือที่มีอยู่เพื่อวิเคราะห์ข้อมูลการสตรีม
การแปลงข้อมูลแบบไร้เซิร์ฟเวอร์
Amazon Kinesis Data Firehose ช่วยให้คุณสามารถจัดเตรียมข้อมูลการสตรีมก่อนที่จะโหลดไปยังพื้นที่จัดเก็บข้อมูล ด้วย Kinesis Data Firehose ช่วยให้คุณสามารถแปลงข้อมูลการสตรีมแบบดิบจากแหล่งข้อมูลเป็นรูปแบบ เช่น Apache Parquet และ Apache ORC ที่กำหนดโดยพื้นที่จัดเก็บปลายทาง โดยไม่ต้องสร้างขั้นตอนการประมวลผลข้อมูลเอง เรียนรู้เพิ่มเติม »
แบบใกล้เคียงเรียลไทม์
Amazon Kinesis Data Firehose จะบันทึกและโหลดข้อมูลแบบใกล้เคียงเรียลไทม์ โดยจะโหลดข้อมูลใหม่ไปยังปลายทางของคุณภายใน 60 วินาทีหลังจากที่ส่งข้อมูลไปยังบริการ เมื่อดำเนินการแล้ว คุณจะสามารถเข้าถึงข้อมูลใหม่ได้เร็วขึ้นและตอบสนองต่อธุรกิจและการดำเนินการได้เร็วขึ้น
ไม่ต้องมีการดูแลระบบอย่างต่อเนื่อง
Amazon Kinesis Data Firehose เป็นบริการที่ได้รับการจัดการอย่างเต็มรูปแบบซึ่งจะจัดเตรียม จัดการ และปรับขนาดทรัพยากรการประมวลผล หน่วยความจำ และระบบเครือข่ายที่จำเป็นโดยอัตโนมัติ เพื่อประมวลผลและโหลดข้อมูลการสตรีมของคุณ เมื่อติดตั้งแล้ว Kinesis Data Firehose จะโหลดสตรีมข้อมูลไปยังปลายทางของคุณอย่างต่อเนื่องเมื่อข้อมูลมาถึง
ชำระค่าบริการเฉพาะส่วนที่คุณใช้เท่านั้น
เมื่อใช้ Amazon Kinesis Data Firehose คุณจะชำระเงินตามปริมาณข้อมูลที่ส่งผ่านบริการและตามการแปลงรูปแบบข้อมูลเท่านั้น (หากมี) นอกจากนี้ คุณจะชำระค่าบริการสำหรับการนำเสนอและการถ่ายโอนข้อมูลบน Amazon VPC หากมี ไม่มีค่าธรรมเนียมขั้นต่ำหรือสัญญาค่าบริการล่วงหน้า
วิธีทำงาน
กรณีการใช้งาน
Amazon Kinesis Data Firehose เป็นวิธีที่ง่ายที่สุดในการโหลดข้อมูลการสตรีมไปยัง Data Lake พื้นที่จัดเก็บข้อมูล และเครื่องมือการวิเคราะห์ที่เชื่อถือได้ ต่อไปนี้นี้คือตัวอย่างของกรณีการใช้งานที่สำคัญซึ่งลูกค้าของเราจัดการโดยใช้ Amazon Kinesis Firehose
การวิเคราะห์ IoT
Amazon Kinesis Data Firehose ช่วยให้คุณสามารถบันทึกข้อมูลอย่างต่อเนื่องจากอุปกรณ์ที่มีการเชื่อมต่อกัน เช่น เครื่องใช้ไฟฟ้า เซ็นเซอร์แบบฝัง และกล่องรับสัญญาณทีวี Kinesis Data Firehose จะโหลดข้อมูลไปยังปลายทางที่ระบุ ทำให้สามารถเข้าถึงเมตริก ข้อมูลเชิงลึก และแดชบอร์ดได้แบบใกล้เคียงเรียลไทม์
การวิเคราะห์คลิกสตรีม
คุณสามารถใช้ Amazon kinesis Data Firehose เพื่อนำเข้าข้อมูลคลิกสตรีมแบบเรียลไทม์ ซึ่งทำให้นักการตลาดสามารถเชื่อมต่อกับลูกค้าของตนด้วยวิธีที่มีประสิทธิภาพมากที่สุดได้ คุณสามารถสตรีมข้อความสั้นๆ นับพันล้านข้อความที่จะถูกบีบอัด เข้ารหัส และส่งไปยังปลายทางของคุณ จากนั้น คุณจะสามารถรวบรวม กรอง และประมวลผลข้อมูล และรีเฟรชแดชบอร์ดประสิทธิภาพของเนื้อหาได้แบบใกล้เคียงเรียลไทม์
การวิเคราะห์บันทึก
คุณสามารถตรวจพบข้อผิดพลาดของแอปพลิเคชันได้ในขณะที่กำลังเกิดขึ้น และระบุสาเหตุหลักได้โดยการเก็บรวบรวม การตรวจสอบ และการวิเคราะห์ข้อมูลบันทึก คุณสามารถติดตั้งและกำหนดค่า Amazon Kinesis Agent บนเซิร์ฟเวอร์ของคุณ ได้อย่างง่ายดาย เพื่อดูไฟล์บันทึกของแอปพลิเคชันและเซิร์ฟเวอร์โดยอัตโนมัติ จากนั้นส่งข้อมูลไปยัง Kinesis Data Firehose Kinesis Data Firehose จะสตรีมข้อมูลบันทึกอย่างต่อเนื่องไปยังปลายทางของคุณ เพื่อให้คุณแสดงภาพและวิเคราะห์ข้อมูลได้
การตรวจสอบการรักษาความปลอดภัย
Kinesis Data Firehose รองรับ Splunk เป็นปลายทาง นั่นหมายความว่า คุณสามารถบันทึกและส่งบันทึกปริมาณการใช้งานเครือข่ายไปยัง Kinesis Data Firehose ซึ่งสามารถแปลง ปรับแต่ง และโหลดข้อมูลไปยัง Splunk ได้ คุณสามารถใช้โซลูชันนี้ในการตรวจสอบความปลอดภัยของเครือข่ายแบบเรียลไทม์และแจ้งเตือนเมื่อมีภัยคุกคามเกิดขึ้น
กรณีศึกษา
เริ่มต้นใช้งาน Amazon Kinesis Data Firehose
เรียนรู้เพิ่มเติมเกี่ยวกับคุณสมบัติของ Amazon Kinesis Data Firehose