什麼是大數據?
因為傳統的資料庫無法解決不斷增加的資料數量、速度以及多樣性,所以大家開始討論大數據以解決這樣的資料管理挑戰。然而大數據有眾多定義,其中多數包含眾所周知的大數據 “3 V”:
磁碟區:從 TB 到 PB 的資料範圍
多樣性:包括來自各種來源和格式的數據(例如網絡日誌,社交媒體互動,電子商務和在線交易,金融交易等)
速度:從數據產生的時間到可行的洞察交付給用戶的時間,企業越來越嚴格的要求。因此,需要在相當短的時間 (從每天到即時) 內收集、存放、處理和分析資料
為何可能需要大數據?
雖然經過不斷宣傳,但多數組織仍不了解他們有大數據問題,或是沒有認真思考過大數據為何。一般而言,當組織現有的資料庫與應用程式無法繼續擴展,以便在資料的數量、多樣性以及速度突然增加時提供支援,就有可能從大數據技術獲益。
無法正確地解決大數據挑戰可能導致成本增加,還有生產力和競爭力的降低。換言之,良好的大數據策略透過將沈重的現有工作負載遷移到大數據技術,可以協助組織減少成本和提高營運效率;還有部署新應用程式以從新商機獲利。
大數據如何運作?
有了可解決整個資料管理循環的新工具,大數據技術讓大數據在技術和經濟上都可行,不僅僅只是收集和存放較大型的資料集,也會分析它們以找出全新和寶貴的洞見。在多數案例中,大數據處理包含一般資料流程,也就是從收集原始資料到運用可行的資訊。
收集。收集原始資料 (交易、日誌、行動裝置等等) 是許多組織在處理大數據時要面臨的第一項挑戰。一個良好的大數據平台可以讓這個步驟變得更簡單,允許開發人員導入各式各樣的資料,從有結構到無結構、以各種速度即時或批次進行。
商店。任何大數據平台都需要安全、可擴展及耐用的儲存庫,以在處理任務前後存放資料。根據您特定的需求,可能需要為傳輸中的資料準備暫時的存放區。
處理與分析。這是將資料從原始狀態轉換成可用格式的步驟,通常會透過排序、彙總、合併等方式,有時甚至會執行更進階的函數與演算法。然後,會存放所產生的資料集以做進一步處理,或透過商業智慧與資料視覺化工具來提供運用。
使用和視覺化。大數據的主要目的就是從您的資料資產中取得高價值且可行的洞見。最理想的狀況是透過自助式商業智慧與靈活的資料視覺化工具將資料提供給相關人員,讓他們對資料集進行快速且簡單的探索。根據分析類型,最終使用者也可能以下列方式來運用所產生的資料:在預測分析案例中採用統計「預測」的形式,或在處方分析案例中則是建議的行動。
大數據處理的演變
大數據生態系統持續以驚人的速度演變。現今有各種不同的分析方式來支援組織內的多個功能。
描述性分析可幫助用戶回答這個問題:「發生了什麼以及為什麼?」範例包括帶有計分板和儀表板的傳統查詢和報表環境。
預測分析可協助使用者估算功能中指定事件的概率。相關範例包含早期預警系統、詐欺偵測、預防性維護應用程式以及預報。
規定式分析為使用者提供特定 (規範性) 建議。這類分析解決了這個問題:萬一發生 “x” 該怎麼辦?
起初,Hadoop 這類大數據框架只支援批次工作負載,在指定時段 (通常時間若非以天計,則以小時計) 期間會以批次方式處理大型資料集。然而,隨著洞察的時間變得越來越重要,大數據的「速度」促進了 Apache Spark、Apache Kafka 、亞馬遜 Kinesis 等新框架的演變,以支持即時和串流數據處理。
AWS 如何支援您的大數據需求?
Amazon Web Services 提供廣泛且完全整合的雲端運算服務組合,協助您建置、保護和部署大數據應用程式。使用 AWS,不需要採購硬體也不需要維護和擴展基礎設施,所以您可以將資源投注在找出新洞見。有了不斷加入的新能力與功能,您隨時都能夠利用最新的技術,而不需做長期投資承諾。
立即的可用性
多數大數據技術都需要大型的伺服器叢集,因此需要很長的佈建和設定週期。使用 AWS 可讓您以近乎即時的速度部署所需的基礎設施。這表示您的團隊可以更有效率、更輕鬆的嘗試新功能以及更快速的推出各種專案。
廣泛且深層的功能
大數據工作負載按照所要分析的資料資產而有所不同。廣泛且深層的平台表示不論資料的數量、速度和多樣性為何,您幾乎可以建置所有的大數據應用程式,並且支援任何工作負載。AWS 每年增加 50 個以上的服務和數百種功能,其中包含在雲端上收集、存放、處理、分析和視覺化大數據所需的任何功能。 進一步瞭解 AWS 大數據平台。
廣受信賴且安全
大數據是敏感的資料。因此,要保護資料資產與基礎設施卻不失靈活性至關重要。AWS 針對設備、網路、軟體及商業程序提供各種功能,以滿足最嚴苛的需求。對環境進行持續審核認證,例如 ISO 27001、FedRAMP、 DoD SRG 和 PCI DSS。保證計劃可協助驗證您是否符合包括 HIPAA、NCSC 在內的 20 多種標準。請造訪雲端安全中心以瞭解更多資訊。
數以百計的合作夥伴與解決方案
大型合作夥伴生態系統可協助您彌補技能上的差距,以更快的速度開始使用大數據。造訪 AWS 合作夥伴網路,取得諮詢合作夥伴的協助,或從整個資料管理堆疊中的許多工具和應用程式中進行選擇。
AWS 大數據解決方案
讓我們協助您克服大數據挑戰。把重擔交給我們,您就可以將更多時間與資源投注在商業或組織目標。
進一步了解 AWS 大數據解決方案」
立即建立帳戶,開始使用 AWS 上的大數據分析。
Browse all cloud computing concepts
Browse all cloud computing concepts content here:
Did you find what you were looking for today?
Let us know so we can improve the quality of the content on our pages