Amazon Kinesis Data Firehose - ไปป์ไลน์ข้อมูลการสตรีม

Amazon Kinesis Data Firehose เป็นวิธีที่ง่ายที่สุดในการโหลดข้อมูลการสตรีมไปยัง Data Lake พื้นที่จัดเก็บข้อมูล และเครื่องมือวิเคราะห์อย่างเชื่อถือได้ บริการนี้สามารถบันทึก แปลง และโหลดข้อมูลการสตรีมเข้าไปใน Amazon S3, Amazon Redshift, Amazon Elasticsearch Service และ Splunk ซึ่งช่วยให้สามารถวิเคราะห์ข้อมูลแบบเกือบเรียลไทม์ด้วยเครื่องมือวิเคราะห์ข้อมูลทางธุรกิจและแดชบอร์ดที่คุณใช้งานอยู่ในปัจจุบันได้ ซึ่งเป็นบริการที่ได้รับการจัดการอย่างครบครันที่สามารถปรับขนาดเพื่อให้ตรงกับปริมาณของข้อมูลของคุณได้โดยอัตโนมัติและไม่จำเป็นต้องคอยจัดการอยู่ตลอดเวลา อีกทั้งยังสามารถจัดกลุ่ม บีบอัด แปลง และเข้ารหัสข้อมูลก่อนโหลดได้ ซึ่งช่วยลดการใช้งานพื้นที่จัดเก็บ ณ ปลายทางได้และช่วยเพิ่มความปลอดภัยอีกด้วย

คุณสามารถสร้างสตรีมการส่งมอบ Firehose จาก AWS Management Console กำหนดค่าเพียงแค่คลิกไม่กี่ครั้ง และเริ่มส่งข้อมูลไปยังสตรีมจากแหล่งข้อมูลนับแสนที่จะโหลดต่อไปยัง AWS โดยทั้งหมดนี้เกิดขึ้นในเวลาเพียงไม่กี่นาที คุณยังสามารถกำหนดค่าสตรีมการส่งมอบให้แปลงข้อมูลขาเข้าไปเป็นรูปแบบคอลัมน์โดยอัตโนมัติได้ด้วย เช่น Apache Parquet และ Apache ORC ก่อนจะส่งมอบข้อมูลไปยัง Amazon S3 เพื่อการจัดเก็บและการวิเคราะห์ที่คุ้มค่ากับราคา

ด้วย Kinesis Data Firehose คุณจะชำระเงินตามจำนวนข้อมูลที่ส่งผ่านบริการเท่านั้น และตามการแปลงรูปแบบข้อมูลเท่านั้น (ถ้ามี) ไม่มีค่าธรรมเนียมขั้นต่ำหรือค่าติดตั้ง

ขอความช่วยเหลือเรื่องการพิสูจน์แนวคิดหรือการประเมิน »

Amazon Kinesis Data Firehose คืออะไร (1:45)

ประโยชน์

ใช้งานง่าย

Amazon Kinesis Data Firehose มอบวิธีบันทึก แปลง และโหลดข้อมูลการตรีมที่ง่ายที่สุดเพียงคลิกไม่กี่ครั้งใน AWS Management Console เพียงสร้างสตรีมการส่งมอบ Firehose แล้วเลือกปลายทาง จากนั้นคุณจะสามารถเริ่มส่งข้อมูลแบบเรียลไทม์จากแหล่งข้อมูลนับแสนได้พร้อมๆ กัน บริการนี้จะดูแลการสตรีม รวมถึงการปรับขนาด การแยกย่อย และการตรวจสอบทั้งหมดที่จำเป็นต่อการโหลดข้อมูลไปยังปลายทางอย่างต่อเนื่องตามช่วงเวลาที่คุณกำหนด

ผสานรวมกับ Data Lake และพื้นที่เก็บข้อมูล AWS

Amazon Kinesis Data Firehose มีการผสานรวมกับ Amazon S3, Amazon Redshift และ Amazon Elasticsearch Service จาก AWS Management Console คุณสามารถชี้ Kinesis Data Firehose ไปยังบัคเก็ต Amazon S3 ตาราง Amazon Redshift หรือโดเมน Amazon Elasticsearch ได้ จากนั้นคุณสามารถใช้แอปพลิเคชันและเครื่องมือการวิเคราะห์ที่มีอยู่แล้วเพื่อวิเคราะห์ข้อมูลการสตรีมได้

การแปลงข้อมูลแบบไร้เซิร์ฟเวอร์

Amazon Kinesis Data Firehose ช่วยให้คุณสามารถจัดเตรียมข้อมูลการสตรีมที่จะโหลดไปยังพื้นที่เก็บข้อมูลได้ ด้วย Kinesis Data Firehose คุณจะสามารถแปลงข้อมูลการสตรีมแบบดิบจากแหล่งข้อมูลไปเป็นรูปแบบที่แหล่งข้อมูลปลายทางกำหนดได้โดยไม่ต้องสร้างขั้นตอนการประมวลผลข้อมูลเอง เรียนรู้เพิ่มเติม »

แบบใกล้เคียงเรียลไทม์

Amazon Kinesis Data Firehose จะบันทึกและโหลดข้อมูลแบบใกล้เคียงเรียลไทม์ โดยจะโหลดข้อมูลใหม่ไปยัง Amazon S3, Amazon Redshift, Amazon Elasticsearch Service และ Splunk ภายใน 60 นาทีหลังส่งข้อมูลไปยังบริการแล้ว เมื่อดำเนินการแล้ว คุณจะสามารถเข้าถึงข้อมูลใหม่ได้เร็วขึ้นและตอบสนองต่อเหตุการณ์ทางธุรกิจและการปฏิบัติงานได้เร็วขึ้น

ไม่ต้องบริหารจัดการอย่างต่อเนื่อง

Amazon Kinesis Data Firehose เป็นบริการที่มีการจัดการอย่างเต็มรูปแบบซึ่งจะจัดเตรียม จัดการ และปรับขนาดทรัพยากรการประมวลผล หน่วยความจำ และเครือข่ายที่จำเป็นโดยอัตโนมัติเพื่อโหลดข้อมูลการสตรีมของคุณ เมื่อตั้งค่าแล้ว Kinesis Data Firehose จะโหลดข้อมูลอย่างต่อเนื่องทันทีที่ข้อมูลมาถึง

ชำระค่าบริการเฉพาะส่วนที่คุณใช้เท่านั้น

เมื่อใช้ Amazon Kinesis Data Firehose คุณจะชำระเงินตามจำนวนข้อมูลที่ส่งผ่านบริการและตามการแปลงรูปแบบข้อมูลเท่านั้น (หากมี) ไม่มีข้อผูกมัดค่าธรรมเนียมขั้นต่ำหรือค่าบริการล่วงหน้า

วิธีทำงาน

วิธีการทำงานของ Amazon Kinesis Data Firehose

กรณีใช้งาน

Amazon Kinesis Data Firehose เป็นวิธีที่ง่ายที่สุดในการโหลดข้อมูลการสตรีมไปยัง Data Lake พื้นที่จัดเก็บข้อมูล และเครื่องมือวิเคราะห์อย่างเชื่อถือได้ บริการนี้สามารถบันทึก แปลง และโหลดข้อมูลการสตรีมเข้าไปใน Amazon S3, Amazon Redshift, Amazon Elasticsearch Service และ Splunk ซึ่งช่วยให้สามารถวิเคราะห์ข้อมูลแบบเกือบเรียลไทม์ด้วยเครื่องมือวิเคราะห์ข้อมูลทางธุรกิจและแดชบอร์ดที่คุณใช้งานอยู่ในปัจจุบันได้ ด้านล่างนี้คือตัวอย่างของกรณีใช้งานที่สำคัญซึ่งลูกค้าของเราจัดการโดยใช้ Amazon Kinesis Firehose

IoT Analytics

Amazon Kinesis Data Firehose สามารถช่วยคุณบันทึกข้อมูลได้อย่างต่อเนื่องจากอุปกรณ์ที่มีการเชื่อมต่อกัน เช่น เครื่องใช้ไฟฟ้า เซ็นเซอร์แบบฝัง และกล่องรับสัญญาณทีวีได้ Kinesis Data Firehose จะโหลดข้อมูลไปยัง Amazon S3 และ Amazon Redshift ทำให้คุณสามารถมอบสิทธิ์การเข้าถึงตัววัด ข้อมูลเชิงลึก และแดชบอร์ดแบบเกือบเรียลไทม์ให้แก่ลูกค้าได้

การวิเคราะห์ Clickstream

คุณสามารถใช้ Amazon kinesis Data Firehose เพื่อเปิดใช้การมอบตัววัดแบบเรียลไทม์ในเนื้อหาดิจิตอล ช่วยให้ผู้เขียนและนักการตลาดสามารถเชื่อมต่อกับลูกค้าของพวกเขาด้วยวิธีที่ทรงประสิทธิภาพที่สุดได้ คุณสามารถสตรีมข้อความสั้นๆ นับพันล้านข้อความที่จะถูกบีบอัด เข้ารหัส และส่งมอบไปยัง Amazon Elasticsearch Service และ Amazon Redshift แล้วคุณจะสามารถรวบรวม กรอง และประมวลผลข้อมูล และรีเฟรชแดชบอร์ดประสิทธิภาพของเนื้อหาแบบใกล้เคียงเรียลไทม์ได้ ตัวอย่างเช่น บริษัท Hearst สร้างแพลตฟอร์มวิเคราะห์ Clickstream โดยใช้ Kinesis Data Firehose เพื่อส่งและประมวลผลข้อมูล 30 เทราไบต์ต่อวันจากเว็บไซต์กว่า 300 เว็บไซต์ทั่วโลก Hearst ใช้แพลตฟอร์มนี้เพื่อทำให้สตรีมข้อมูลทั้งหมด ตั้งแต่การคลิกบนเว็บไซต์ไปจนถึงตัววัดแบบรวม พร้อมใช้งานสำหรับโปรแกรมการจัดการข้อมูลภายในเวลาไม่กี่นาที อ่านกรณีศึกษา »

การวิเคราะห์บันทึก

ข้อมูลบันทึกจากแอปพลิเคชันและเซิร์ฟเวอร์ที่กำลังใช้งานในระบบคลาวด์และในพื้นที่สามารถช่วยคุณตรวจสอบติดตามแอปพลิเคชันและแก้ไขปัญหาได้อย่างรวดเร็ว ตัวอย่างเช่น คุณสามารถตรวจจับข้อผิดพลาดของแอปพลิเคชันขณะกำลังเกิดขึ้นและระบุสาเหตุรากได้โดยการเก็บรวบรวม การตรวจสอบ และการวิเคราะห์ข้อมูลบันทึก คุณสามารถติดตั้งและกำหนดค่า Amazon Kinesis Agent บนเซิร์ฟเวอร์ของคุณเพื่อให้ตรวจหาไฟล์บันทึกของแอปพลิเคชันและเซิร์ฟเวอร์โดยอัตโนมัติ จากนั้นส่งข้อมูลไปยัง Kinesis Data Firehose ได้อย่างง่ายดาย Kinesis Data Firehose จะสตรีมข้อมูลบันทึกอย่างต่อเนื่องไปยัง Amazon Elasticsearch Service เพื่อให้คุณใช้ Kibana ในการแสดงภาพและวิเคราะห์ข้อมูลได้

การตรวจสอบความปลอดภัย

Kinesis Data Firehose รองรับ Splunk เป็นปลายทาง นั่นหมายความว่า คุณสามารถบันทึกและส่งบันทึกปริมาณการใช้งานเครือข่ายไปยัง Kinesis Data Firehose ซึ่งสามารถแปลง ปรับแต่ง และโหลดข้อมูลไปยัง Splunk ได้ คุณสามารถใช้โซลูชันนี้ในการตรวจสอบความปลอดภัยของเครือข่ายแบบเรียลไทม์และแจ้งเตือนเมื่อมีภัยคุกคามเกิดขึ้น