特色 re:Invent 2017 會議
以 Amazon Kinesis 即時分析串流資料 (ABD301)
Amazon Kinesis 可輕鬆地收集、處理和分析即時串流資料,讓您及時取得深入的見解,並快速地對新資訊做出反應。在這場會議中,我們提供一個端對端串流資料解決方案,使用 Kinesis Streams 進行資料擷取、使用 Kinesis Analytics 進行即時處理,並將 Amazon Data Firehose 用於持久性。我們詳細介紹如何使用串流資料撰寫 SQL 查詢,並討論優化和監控 Kinesis Analytics 應用程式的最佳實務。最後,我們討論如何估算整個系統的成本。
研討會:Building Your First Big Data Application on AWS (ABD317)
想要提升 AWS 大數據 Web 服務的知識,並在雲端啟動您的第一個大數據應用程式? 我們引導您將大數據程序簡化成包含下列階段的資料匯流排:導入、存放、處理及視覺化。您可以使用 Amazon Athena、Amazon Kinesis、Amazon DynamoDB 和 Amazon S3 等 AWS Managed Services 建立大數據應用程式。整個過程中,我們會回顧大數據應用程式的架構設計模式,並讓您存取可在家操作的實驗室,方便您自行重建和自訂應用程式。您應自備筆記型電腦,並對 AWS 服務有一定程度的熟悉,才能在這次會議中獲得最多的收穫。
研討會:不必等到明天,現在就了解如何使用串流資料為您的業務深入獲取即時見解 (ABD321)
近年來,連線裝置和即時資料來源的數量已呈爆炸性的成長。正因為如此,資料不斷持續產生,而生產速度正在加快。企業不能再等待數小時或數天的時間之後,才能使用這些資料。為了獲得最有價值的洞見,他們必須立即使用這些資料,以便能夠對新資訊做出快速反應。在這個研討會中,您可了解如何利用串流資料來源,以近乎即時的速度進行分析和做出反應。您會看到真實世界串流資料場景中的一些需求,而且您要使用 Amazon Kinesis、AWS Lambda 和 Amazon SNS 等服務建立一個可順利滿足這些需求的解決方案。
How Amazon Flex Uses Real-time Analytics to Deliver Packages on Time (ABD217)
加快從資料獲得可行的洞見,對於使用批次資料分析工具探索串流分析優點的所有企業和客戶而言十分重要。了解最佳實務,將您的架構從資料倉庫和資料庫擴展到即時解決方案。了解如何使用 Amazon Kinesis 獲得即時資料洞見,並將其與 Amazon Aurora、Amazon RDS、Amazon Redshift 和 Amazon S3 整合在一起。Amazon Flex 團隊描述他們如何在 Amazon 送貨司機的 Amazon Flex 行動應用程式中使用串流分析,每個月都能按時送達數百萬件包裹。他們討論一種可以從批次處理系統轉移到即時系統的架構,克服了將現有批次資料遷移到串流資料的挑戰,以及如何從即時分析中獲益。
Real-Time Streaming Applications on AWS: Use Cases and Patterns (ABD203)
為了贏得市場並提供差異化的客戶體驗,企業需要能夠在第一時間使用剛出爐的即時資料,以加快決策的制定。在這場會議中,您將了解常見的串流資料處理使用案例和架構。首先,我們會簡單介紹串流資料和 AWS 串流資料功能。接下來,讓我們看看幾個客戶的例子和他們的即時串流應用程式。最後,則是介紹熱門串流資料使用案例的常見架構和設計模式。
Cox Automotive 藉由 Splunk Cloud 和 AWS 取得擴展能力 (ABD208)
錄製的網路研討會
使用 Amazon Data Firehose 的即時日誌分析 (2017 年 6 月)
日誌分析是常見的大數據使用案例,讓您為數位行銷、應用程式監控、詐欺偵測、廣告技術、遊戲和 IoT 等各式各樣的應用程式,分析取自網站、行動裝置、伺服器、感應器等等的日誌資料。以即時的方式提供日誌分析可加速獲得資料的時間,讓您在數秒或數分鐘內取得洞見,而不用等待數小時或數天。在這場會議中,您將了解如何使用 Amazon Data Firehose 在沒有基礎設施的情況下導入和交付日誌。我們將示範如何使用 Amazon Managed Service for Apache Flink 即時處理日誌資料,以建立回應式分析。最後,還會示範如何使用 Amazon Elasticsearch Service 以互動方式查詢和視覺化日誌資料。
學習目標:
- 了解如何輕鬆建立端對端的即時日誌分析解決方案。
- 取得使用 Amazon Kinesis 即時收集和處理資料的概觀。
- 了解如何使用 Amazon Elasticsearch Service 以互動的方式查詢和視覺化日誌資料。
使用 Amazon Data Firehose 為資料湖進行 ETL 串流 (2017 年 5 月)
組織中的所有員工都可透過資料湖存取和分析來自不同資料來源的大量非結構化和結構化資料,而且許多資料來源都會不斷地快速產生資料。若要及時提供此資料進行分析,必須採用具耐用性且以經濟實惠的方式將此資料導入資料湖的串流解決方案。 Amazon Data Firehose 是可輕鬆準備串流資料並將其載入 AWS 的全受管服務。在這場技術會談中,我們將提供 Firehose 的概觀,並深入探討如何使用此服務收集、轉換、批次處理、壓縮即時串流資料,並將其載入您的 Amazon S3 資料湖。
學習目標:
- 了解收集、準備串流資料以及將串流資料載入資料湖的主要需求。
- 取得使用 Firehose 傳輸資料的概觀。
- 了解如何使用 Firehose 執行資料轉換。
TrueCar 如何以 Splunk Cloud 獲取可行的洞見
將整個資料中心遷移到雲端並不容易! TrueCar 技術平台團隊被賦予這項任務 – 尋找擴展能力更好的監控和故障排除解決方案,以提升基礎設施和應用程式效能、增強其安全狀態,以及推動產品改進。該公司選擇在 AWS 上執行的 Splunk Cloud,並在一天內完成部署! 在這個網路研討會,您將了解 TrueCar 如何同時利用 AWS 和 Splunk 功能,即時從資料中獲得洞見。
觀賞網路研討會,了解 TrueCar 使用 Amazon Data Firehose 在 AWS 上執行 Splunk Cloud 的經驗,可協助您:
- 延長資料保留時間以獲得歷史洞見
- 更清楚地了解 AWS 帳單
- 取得安全洞見和威脅偵測
部落格文章
Amazon Data Firehose 現在支援動態分區到 Amazon S3
作者︰Jeremy Ber and Michael Greenshtein,2021 年 9 月 2 日
CloudWatch 指標串流 – 將 AWS 指標即時傳送至合作夥伴和您的應用程式
作者:Jeff Barr,2021 年 3 月 31 日
使用 Amazon Kinesis、AWS Lambda 和 Amazon Redshift 即時串流、轉換和分析 XML 資料
作者︰Sakti Mishra,2020 年 8 月 18 日
使用 AWS Lambda 進行 Amazon Data Firehose 資料轉換
作者︰Bryan Liston,2027 年 2 月 13 日
監看使用 AWS DMS 將 CDC 串流至 Parquet 格式的 Amazon S3 資料湖
作者︰Viral Shah,2020 年 9 月 8 日
Amazon S3 物件的 Amazon Data Firehose 自訂前綴
作者︰Rajeev Chakrabarti,2019 年 4 月 22 日
使用 Amazon Data Firehose 將資料串流至 HTTP 端點
作者︰Imtiaz Sayed 和 Masudur Rahaman Sayem,2020 年 6 月 29 日
使用 AWS Lambda 擷取 Amazon Aurora 中的資料變更
作者︰Re Alvarez-Parmar,2017 年 9 月 5 日
如何使用 AWS Lambda 和 Amazon Data Firehose 將資料從 Amazon DynamoDB 串流到 Amazon Aurora
作者︰Aravind Kodandaramaiah,2017 年 5 月 4 日
使用 Amazon Athena 和 Amazon QuickSight 來分析 VPC 流量日誌
作者︰Ian Robinson、Chaitanya Shah 和 Ben Snively,2017 年 3 月 9 日