การย้ายข้อมูลไปยังระบบคลาวด์
ข้อมูลคือรากฐานสำคัญของการปรับใช้แอปพลิเคชัน เวิร์กโฟลว์การวิเคราะห์ และนวัตกรรมด้านแมชชีนเลิร์นนิ่งที่ประสบความสำเร็จ เมื่อย้ายข้อมูลไปยังระบบคลาวด์ คุณต้องรับทราบว่ากำลังย้ายข้อมูลไปยังที่ใดสำหรับกรณีใช้งานที่แตกต่างกัน ประเภทของข้อมูลที่คุณกำลังย้าย และทรัพยากรเครือข่ายที่พร้อมใช้งานในบรรดาข้อควรพิจารณาอื่นๆ AWS นำเสนอบริการและเครื่องมือสำหรับคู่ค้าที่หลากหลายเพื่อช่วยให้คุณย้ายชุดข้อมูลได้ ไม่ว่าจะเป็นไฟล์ ฐานข้อมูล อิมเมจเครื่อง ไดรฟ์ข้อมูลบล็อก หรือแม้แต่การสำรองข้อมูลด้วยเทป
บริการย้ายข้อมูลไปยัง AWS Cloud
AWS ให้รายละเอียดเกี่ยวกับบริการการถ่ายโอนข้อมูลเพื่อจัดหาโซลูชันที่เหมาะสมสำหรับโครงการย้ายข้อมูลต่างๆ ระดับการเชื่อมต่อเป็นปัจจัยสำคัญในการย้ายข้อมูล และ AWS มีข้อเสนอที่สามารถตอบสนองความต้องการพื้นที่จัดเก็บข้อมูลในระบบคลาวด์แบบไฮบริด การถ่ายโอนข้อมูลออนไลน์ และถ่ายโอนข้อมูลออฟไลน์ของคุณ
พื้นที่จัดเก็บบนระบบคลาวด์แบบไฮบริด
ลูกค้าจำนวนมากต้องการใช้ประโยชน์ของพื้นที่จัดเก็บข้อมูลในระบบคลาวด์ แต่มีแอปพลิเคชันที่ทำงานในองค์กร ซึ่งต้องการการเข้าถึงข้อมูลที่มีเวลาแฝงต่ำ หรือต้องการถ่ายโอนข้อมูลที่รวดเร็วไปยังระบบคลาวด์ สถาปัตยกรรมพื้นที่จัดเก็บบนระบบคลาวด์แบบไฮบริดของ AWS จะเชื่อมต่อกับแอปพลิเคชันและระบบในองค์กรของคุณเข้ากับพื้นที่จัดเก็บข้อมูลในระบบคลาวด์เพื่อช่วยคุณลดค่าใช้จ่าย ลดภาระในการจัดการ และสร้างสรรค์นวัตกรรมด้วยข้อมูลของคุณ
AWS Storage Gateway
AWS Storage Gateway ช่วยให้การปรับใช้พื้นที่จัดเก็บในองค์กรของ AWS ง่ายยิ่งขึ้น Storage Gateway ช่วยให้คุณเชื่อมต่อและขยายแอปพลิเคชันในองค์กรของคุณไปยังพื้นที่จัดเก็บบน AWS ได้อย่างราบรื่น ลูกค้าใช้ Storage Gateway เพื่อแทนที่ไลบรารีเทปด้วยพื้นที่จัดเก็บข้อมูลบนระบบคลาวด์ได้อย่างราบรื่น จัดหาการแชร์ไฟล์ที่สำรองข้อมูลบนระบบคลาวด์ หรือสร้างแคชที่มีเวลาแฝงต่ำในการเข้าถึงข้อมูลบน AWS สำหรับแอปพลิเคชันในองค์กร บริการนี้จะมีเกตเวย์ 3 ประเภท ได้แก่ เกตเวย์ไฟล์ เกตเวย์เทปและเกตเวย์ไดรฟ์ข้อมูล
- เกตเวย์ไฟล์ ข้อมูลไฟล์จะถูกเก็บไว้ใน Amazon S3 เป็นอ็อบเจกต์ที่ทนทานโดยใช้ Amazon S3 File Gateway หรือในการแชร์ไฟล์ที่มีการจัดการเต็มรูปแบบโดยใช้ Amazon FSx File Gateway
- การกำหนดค่าไลบรารีเทปเสมือน (VTL) ของ เกตเวย์เทป ผสานรวมกับซอฟต์แวร์สำรองข้อมูลที่มีอยู่ของคุณได้อย่างราบรื่นสำหรับการเปลี่ยนเทปที่ประหยัดคุ้มค่าใน Amazon S3 และการเก็บถาวรระยะยาวใน S3 Glacier และ S3 Glacier Deep Archive
- เกตเวย์ไดรฟ์ข้อมูล จัดเก็บหรือแคชไดรฟ์ข้อมูลบล็อกในระบบ พร้อมกับการสำรองข้อมูล ณ จุดใดจุดหนึ่งของเวลาเป็นสแน็ปช็อต EBS สแน็ปช็อตเหล่านี้สามารถกู้คืนในระบบคลาวด์ได้
AWS Direct Connect
ลูกค้าเลือกการเชื่อมต่อเฉพาะ Direct Connect เพื่อเร่งความเร็วของการถ่ายโอนข้อมูลผ่านเครือข่ายระหว่างศูนย์ข้อมูลของลูกค้าและของ AWS
AWS Direct Connect ช่วยให้คุณสามารถสร้างการเชื่อมต่อเครือข่ายเฉพาะระหว่างเครือข่ายของคุณกับหนึ่งในตำแหน่งของ AWS Direct Connect ด้วยการใช้ VLAN ตามมาตรฐานอุตสาหกรรม 802.1q การเชื่อมต่อเฉพาะนี้จึงสามารถแบ่งพาร์ติชั่นออกเป็นอินเทอร์เฟซเสมือนหลายอินเทอร์เฟซได้ นี่จะช่วยให้คุณสามารถใช้การเชื่อมต่อเดียวกันเพื่อเข้าถึงทรัพยากรสาธารณะ เช่น อ็อบเจ็กต์ที่เก็บไว้ใน Amazon S3 โดยใช้พื้นที่ที่อยู่ IP สาธารณะ และทรัพยากรส่วนตัว เช่น Amazon EC2 instance ที่ทำงานภายใน Amazon Virtual Private Cloud (VPC) โดยใช้พื้นที่ IP ส่วนตัว ขณะเดียวกันก็คงการแยกเครือข่ายระหว่างสภาพแวดล้อมสาธารณะกับสภาพแวดล้อมส่วนตัวไว้ อินเทอร์เฟซเสมือนสามารถกำหนดค่าใหม่ได้ตลอดเวลาเพื่อตอบสนองความต้องการที่เปลี่ยนแปลงของคุณ
ศึกษาชุดคู่ค้า AWS Direct Connect ของเราที่ช่วยขยายเทคโนโลยีในองค์กรที่มีไปยังระบบคลาวด์
การถ่ายโอนข้อมูลออนไลน์
บริการเหล่านี้ช่วยลดความยุ่งยากและง่ายต่อการถ่ายโอนข้อมูลของคุณเข้าและออกจาก AWS ด้วยวิธีการผ่านระบบออนไลน์
AWS DataSync
AWS DataSync เป็นบริการถ่ายโอนข้อมูลที่ทำให้คุณย้ายข้อมูลระหว่างพื้นที่จัดเก็บข้อมูลในองค์กรและ Amazon S3, Amazon Elastic File System (Amazon EFS) หรือ Amazon FSx for Windows File Server ได้โดยอัตโนมัติอย่างง่ายดาย DataSync จะจัดการงานมากมายที่เกี่ยวข้องกับการถ่ายโอนข้อมูลซึ่งอาจชะลอการย้ายข้อมูลหรือเป็นภาระในการดำเนินงานด้านไอทีของคุณโดยอัตโนมัติ รวมถึงการใช้งานอินสแตนซ์ของคุณเอง การจัดการการเข้ารหัส การจัดการสคริปต์ การเพิ่มประสิทธิภาพเครือข่าย และการตรวจสอบความถูกต้องของข้อมูล คุณสามารถใช้ DataSync เพื่อถ่ายโอนข้อมูลด้วยความเร็วสูงกว่าเครื่องมือแบบโอเพนซอร์สถึง 10 เท่า คุณสามารถใช้ DataSync เพื่อคัดลอกข้อมูลผ่าน AWS Direct Connect หรือลิงก์อินเทอร์เน็ตไปยัง AWS สำหรับการย้ายข้อมูลแบบครั้งเดียว เวิร์กโฟลว์การประมวลผลข้อมูลที่เกิดซ้ำ และการจำลองแบบอัตโนมัติสำหรับการปกป้องและกู้คืนข้อมูล
AWS Transfer Family
AWS Transfer Family มอบการสนับสนุนที่มีการจัดการอย่างเต็มรูปแบบสำหรับการถ่ายโอนไฟล์เข้าและออกจาก Amazon S3 ได้โดยตรง เมื่อมีการรองรับ Secure File Transfer Protocol (SFTP), File Transfer Protocol over SSL (FTPS) และ File Transfer Protocol (FTP) แล้ว AWS Transfer Family จะช่วยคุณย้ายเวิร์กโฟลว์การถ่ายโอนไฟล์ไปยัง AWS โดยการรวมกับระบบตรวจสอบที่มีอยู่ และให้เส้นทาง DNS ด้วย Amazon Route 53 ดังนั้นจึงไม่มีการเปลี่ยนแปลงใดๆ สำหรับลูกค้าและคู่ค้าของคุณ หรือแอปพลิเคชัน เมื่อข้อมูลของคุณอยู่ใน Amazon S3 คุณจะสามารถใช้ข้อมูลกับบริการของ AWS เพื่อการประมวลผล การวิเคราะห์ แมชชีนเลิร์นนิ่ง และการเก็บถาวร เริ่มต้น AWS Transfer Family ได้ง่ายๆ โดยไม่ต้องซื้อและตั้งค่าโครงสร้างพื้นฐาน
Amazon S3 Transfer Acceleration
Amazon S3 Transfer Acceleration ช่วยให้ถ่ายโอนอินเทอร์เน็ตแบบสาธารณะไปยัง Amazon S3 ได้รวดเร็วขึ้น คุณสามารถเพิ่มแบนด์วิธสูงสุดของคุณได้โดยต้องไม่คำนึงถึงระยะทางหรือสภาพอินเทอร์เน็ต และไม่มีไคลเอ็นต์พิเศษหรือโปรโตคอลเครือข่ายที่เป็นกรรมสิทธิ์ จะมีการเร่งความเร็วโดยอัตโนมัติเพียงเปลี่ยนตำแหน่งข้อมูลที่คุณใช้กับบัคเก็ต S3 ของคุณ
ซึ่งเหมาะสำหรับงานที่ดำเนินการต่อเนื่องทั่วโลก เช่น การอัปโหลดสื่อ การสำรองข้อมูล และการประมวลผลข้อมูลบนเครื่องที่มักจะได้รับการส่งไปยังพื้นที่ส่วนกลาง
AWS Snowcone
AWS Snowcone คือสมาชิกขนาดเล็กที่สุดของ AWS Snow Family ซึ่งเป็นอุปกรณ์ประมวลผล Edge และถ่ายโอนข้อมูล Snowcone สามารถพกพาได้ ทนทาน และปลอดภัย คุณสามารถใช้ Snowcone ในการรวบรวม ประมวลผล และย้ายข้อมูลไปยัง AWS แบบออนไลน์ได้ด้วย AWS DataSync การเรียกใช้แอปพลิเคชันในสภาพแวดล้อมที่ขาดการเชื่อมต่อและ Edge Location ที่มีการเชื่อมต่อนั้นอาจเป็นเรื่องยาก เนื่องจากตำแหน่งที่ตั้งเหล่านี้มักจะขาดพื้นที่ พลังงาน และระบบทำความเย็นที่จำเป็นสำหรับอุปกรณ์ไอทีของศูนย์ข้อมูล AWS Snowcone จัดเก็บข้อมูลไว้อย่างปลอดภัยใน Edge Location และสามารถเรียกใช้ปริมาณงานในการประมวลผล Edge ที่ใช้อินสแตนซ์ AWS IoT Greengrass หรือ Amazon EC2 instance ได้ อุปกรณ์ Snowcone นั้นมีขนาดเล็กและหนักเพียง 4.5 ปอนด์ (2.1 กก.) คุณจึงสามารถพกไว้ในกระเป๋าสะพายหรือใส่ลงในพื้นที่แคบสำหรับกรณีการใช้งานของ IoT, ยานพาหนะ หรือแม้กระทั่งโดรนได้
Amazon Kinesis Data Firehose
Amazon Kinesis Data Firehose คือวิธีที่ง่ายที่สุดในการโหลดข้อมูลการสตรีมไปยัง AWS บริการนี้สามารถบันทึกและโหลดข้อมูลการสตรีมเข้าไปใน Amazon S3 และ Amazon Redshift ได้โดยอัตโนมัติ ส่งผลให้วิเคราะห์ข้อมูลแบบเกือบจะเรียลไทม์ด้วยเครื่องมือวิเคราะห์ข้อมูลทางธุรกิจและแดชบอร์ดที่คุณใช้งานอยู่ทุกวันนี้ได้ นี่เป็นบริการที่ได้รับการจัดการอย่างครบครันที่สามารถปรับขนาดเพื่อให้เข้ากับปริมาณการประมวลผลของข้อมูลของคุณได้โดยอัตโนมัติและไม่จำเป็นต้องคอยจัดการอยู่ตลอดเวลา อีกทั้งยังสามารถจัดกลุ่ม บีบอัด และเข้ารหัสข้อมูลก่อนโหลดได้ ซึ่งช่วยลดปริมาณการใช้งานพื้นที่จัดเก็บ ณ ปลายทางได้และช่วยเพิ่มความปลอดภัยอีกด้วย คุณสามารถสร้างสตรีมการส่งมอบ Firehose จาก AWS Management Console กำหนดค่าด้วยการคลิกเพียงไม่กี่ครั้ง และเริ่มส่งข้อมูลไปยังสตรีมจากแหล่งข้อมูลหลายแสนแห่งที่จะโหลดไปยัง AWS อย่างต่อเนื่อง ทั้งหมดนี้ในเวลาเพียงไม่กี่นาที
ผลิตภัณฑ์ของคู่ค้า APN
AWS ร่วมมือกับผู้จัดจำหน่ายในอุตสาหกรรมหลากหลายรายด้านอุปกรณ์เกตเวย์ที่ลดช่องว่างระหว่างการสำรองข้อมูลแบบเดิมและระบบคลาวด์ เชื่อมโยงข้อมูลภายในองค์กรที่มีอยู่เข้ากับระบบคลาวด์ของ Amazon เพื่อย้ายข้อมูลโดยไม่สร้างผลกระทบต่อประสิทธิภาพและช่วยเก็บรักษาแคตตาล็อกข้อมูลสำรองที่มีอยู่
- ผสานรวมเข้ากับโครงสร้างพื้นฐานที่มีอยู่อย่างราบรื่น
- อาจมีการกำจัดข้อมูลซ้ำ การบีบอัดข้อมูล การเข้ารหัสข้อมูล หรือการเร่งความเร็ว WAN
- สร้างไฟล์แคชการสำรองข้อมูลล่าสุดบนเครื่อง จัดเก็บข้อมูลทั้งหมดไว้ใน AWS Cloud
เครื่องมือย้ายข้อมูลไปยังระบบคลาวด์ที่ไม่ได้รับการจัดการ
นอกจากนี้ AWS ยังมีเครื่องมือสคริปต์หรือ CLI ง่าย ๆ เพื่อย้ายข้อมูลจากเว็บไซต์ของคุณไปยังพื้นที่จัดเก็บบนระบบคลาวด์ของ AWS
rsync
ลูกค้าใช้ rsync ซึ่งเป็นเครื่องมือแบบโอเพนซอร์สนี้ร่วมกับเครื่องมือระบบไฟล์ของบริษัทอื่นในการคัดลอกข้อมูลไปยังบัคเก็ต S3 โดยตรง
อินเทอร์เฟซบรรทัดคำสั่งของ S3
ลูกค้าใช้ Amazon S3 CLI ในการเขียนคำสั่งเพื่อย้ายข้อมูลไปยังบัคเก็ต S3 โดยตรง
อินเทอร์เฟซบรรทัดคำสั่งของ S3 Glacier
ลูกค้าใช้ Amazon S3 Glacier CLI ในการย้ายข้อมูลไปยังชุดเก็บข้อมูล S3 Glacier
ความท้าทายทั่วไปในการย้ายข้อมูลไปยังระบบคลาวด์
ความเป็นจริงที่น่ากังวลใจในการย้ายข้อมูลมักเกิดขึ้นกับโปรเจกต์ส่วนใหญ่ คุณจะย้ายข้อมูลจากตำแหน่งเดิมไปยังระบบคลาวด์ใหม่โดยมีการหยุดชะงักน้อยที่สุด ใช้ต้นทุนต่ำ และใช้เวลาน้อยได้อย่างไร วิธีที่ดีที่สุดในการย้ายข้อมูลขนาด GB, TB หรือ PB คือวิธีใด
นี่คือปัญหาพื้นฐานทั่วไป นั่นคือ สามารถย้ายข้อมูลได้เท่าใด ไกลแค่ไหน และรวดเร็วเพียงใด สำหรับกรณีสถานการณ์ที่ดีที่สุด ให้ใช้สูตรนี้:
จำนวนวัน = (ไบต์รวม)/(เมกาบิตต่อวินาที * 125 * 1,000 * ระดับการใช้เครือข่าย * 60 วินาที * 60 นาที * 24 ชั่วโมง)
ตัวอย่างเช่น หากคุณมีการเชื่อมต่อ T1 (1.544 Mbps) และมีข้อมูลขนาด 1 TB (1,024 * 1,024 * 1,024 * 1,024 ไบต์) ที่จะย้ายเข้าหรือออกจาก AWS ดังนั้น เวลาขั้นต่ำทางทฤษฎีในการโหลดผ่านการเชื่อมต่อเครือข่ายที่ระดับการใช้เครือข่าย 80% จะเท่ากับ 82 วัน
ไม่ต้องกังวลไป เราเคยทำสิ่งนี้มาก่อนแล้ว เราพบว่าลูกค้าจะเลือกใช้วิธีการสองแบบ ได้แก่ การใช้เครื่องมือย้ายข้อมูลขั้นพื้นฐานที่ไม่ได้รับการจัดการเพื่อย้ายข้อมูล หรือเลือกใช้ชุดบริการต่างๆ ของ AWS ตามที่ระบุไว้ข้างต้น
เพื่อผลลัพธ์ที่ดีที่สุด เราขอแนะนำหลักทั่วไปดังนี้
| การเชื่อมต่อ | ขนาดข้อมูล | วิธีการ |
|---|---|---|
| น้อยกว่า 10 Mbps | น้อยกว่า 500 GB | ไม่ได้รับการจัดการ |
| มากกว่า 10 Mbps | มากกว่า 500 GB | บริการที่ได้รับการจัดการ |