AWS Lake Formation

Cree un lago de datos seguro en cuestión de días

AWS Lake Formation es un servicio que facilita la configuración de un lago de datos seguro en cuestión de días. Un lago de datos es un repositorio centralizado, seleccionado y seguro que almacena todos sus datos, tanto en su forma original como preparados para análisis. Los lagos de datos le permiten desglosar los silos de datos y combinar diferentes tipos de análisis para obtener información y tomar mejores decisiones empresariales.

Sin embargo, en la actualidad, la configuración y la administración de lagos de datos implican muchas tareas manuales complejas y que llevan mucho tiempo. Este trabajo incluye cargar datos de diversas fuentes, monitorizar esos flujos de datos, configurar particiones, activar el cifrado y la administración de claves, definir trabajos de transformación y monitorizar su operación, reorganizar los datos en un formato de columnas, configurar los ajustes de control de acceso, deduplicar datos redundantes, relacionar registros vinculados, obtener acceso a conjuntos de datos y auditar el acceso a lo largo del tiempo.

Crear un lago de datos con Lake Formation es tan simple como definir dónde residen los datos y qué políticas de seguridad y acceso desea aplicar. Luego, Lake Formation recopila y cataloga los datos de bases de datos y almacenamiento de objetos, los traslada al nuevo lago de datos de Amazon S3, los limpia y los clasifica mediante algoritmos de aprendizaje automático y aporta seguridad al acceso a su información confidencial. Sus usuarios pueden acceder a un catálogo de datos centralizado que describe los conjuntos de datos disponibles y su uso adecuado. Luego, los usuarios aprovechan estos conjuntos de datos con los servicios de análisis y aprendizaje automático que prefieran, como Amazon EMR para Apache Spark, Amazon Redshift, Amazon Athena, Amazon Sagemaker y Amazon QuickSight.

AWS re:Invent 2018 – Announcing AWS Lake Formation

Beneficios

Crear lagos de datos rápidamente

Con Lake Formation, puede trasladar, almacenar, catalogar y limpiar los datos más rápido. Solo tiene que dirigir a Lake Formation hacia sus orígenes de datos y Lake Formation los rastrea y traslada los datos en su nuevo lago de datos de Amazon S3. Lake Formation organiza datos en S3 en los términos de consulta frecuentes y en porciones de tamaño correcto para aumentar la eficacia. Lake Formation también cambia datos en formatos como Apache Parquet y ORC para realizar análisis con mayor rapidez. Además, Lake Formation tiene aprendizaje automático integrado para realizar la deduplicación y encontrar registros coincidentes (dos entradas que se refieren a lo mismo) a fin de aumentar la calidad de los datos.

Simplificar la administración de la seguridad

Puede utilizar Lake Formation a fin de definir la seguridad, gobernabilidad y políticas de auditoría de manera centralizada en un solo lugar, en comparación con realizar estas tareas por servicio y luego aplicar esas políticas para sus usuarios en las aplicaciones de análisis. Sus políticas se implementan de manera constante y se elimina la necesidad de configurarlas manualmente en los servicios de seguridad (AWS Identity and Access Management y AWS Key Management Service), servicios de almacenamiento (S3) y servicios de análisis y de aprendizaje automático (Redshift, Athena y EMR para Apache Spark). Esto reduce el esfuerzo en las políticas de configuración en los servicios y proporciona un cumplimiento y conformidad uniforme.

Lograr que el acceso de autoservicio a los datos sea fácil y seguro

Con Lake Formation, crea un catálogo de datos que describe los distintos conjuntos de datos que están disponibles junto a los grupos de usuarios que tienen acceso a cada uno. Esto hace que los usuarios sean más productivos al ayudarlos a encontrar el conjunto de datos correcto para analizar. Lake Formation facilita que los analistas y científicos de datos utilicen su servicio de análisis preferido al proporcionar un catálogo para sus datos con un cumplimiento de seguridad uniforme.
Pueden utilizar EMR para Apache Spark, Redshift, Athena, Sagemaker o Quicksight en varios conjuntos de datos que ahora se alojan en un lago de datos único. Los usuarios también pueden combinar estos servicios sin tener que trasladar los datos entre los silos.

Funcionamiento

AWS Lake Formation: Funcionamiento

Lake Formation ayuda a crear, asegurar y administrar su lago de datos. Primero, identifique los almacenes de datos existentes en S3 o bases de datos relacionales y NoSQL y traslade los datos en el lago de datos. Después, rastree, catalogue y prepare los datos para el análisis. Luego, proporcione un acceso de autoservicio seguro a los datos para los usuarios mediante los servicios de análisis que ellos elijan. Otros servicios de AWS y aplicaciones de terceros también pueden acceder a los datos mediante los servicios que se muestran. Lake Formation administra todas las tareas en el cuadro naranja y lo integran los almacenes de datos y los servicios que se muestran en los cuadros azules.

Casos de uso

Obtenga más información sobre “¿Qué es un lago de datos?” y casos de uso.

Clientes

change-healthcare-red-blue-logo

Change Healthcare es una importante empresa de tecnología sanitaria independiente que proporciona soluciones orientadas a datos y análisis que alcanzan las 2100 conexiones de pago comerciales y gubernamentales, 5500 hospitales, 900 000 médicos y 33 000 farmacias.

“Administramos datos de millones de transacciones todos los días, al mismo tiempo que mantenemos la conformidad con las regulaciones del sector sanitario, incluso la HIPAA”, dijo Aaron Symanski, Director técnico de Change Healthcare. “Estamos muy contentos con el lanzamiento de AWS Lake Formation, que proporciona un punto de control central para cargar, limpiar, asegurar y catalogar fácilmente los datos de miles de nuestros clientes a nuestro lago de datos basado en AWS, lo que reduce de manera drástica nuestra carga operacional. Los controles de acceso de datos en Lake Formation facilitan la definición de nuestras políticas una vez y hacen que se cumplan en todos los servicios de análisis y de aprendizaje automático que utilicemos, con registros de auditoría para demostrar la conformidad. Además, Lake Formation cumplirá con la HIPAA desde el primer día, así cumplimos con nuestros requisitos de seguridad y ofrecemos una manera más atractiva para construir y administrar nuestro lago de datos”.

Fender_digital

Fender Digital forma parte de Fender, la famosa marca de guitarras, que realiza aplicaciones, sitios web, plataformas y herramientas para complementar las guitarras, amplificadores y equipos de sonido que fabrica Fender.

“Generamos toneladas de datos del usuario y de uso de nuestras aplicaciones digitales y los dispositivos. Estamos planificando construir un lago de datos en AWS para operar junto a nuestro almacén de datos basado en Amazon Redshift”, dijo Joshua Couch, vicepresidente de ingeniería en Fender Digital. “No puedo esperar a que nuestro equipo comience a trabajar con AWS Lake Formation. Lake Formation facilitará la carga, transformación y catalogación de nuestros datos y hará que esté disponible de manera segura en nuestra organización, en una cartera amplia de servicios de AWS. Con una opción preparada para el mercado como Lake Formation, podremos invertir más tiempo a fin de obtener valores de nuestros datos, en vez de realizar el arduo trabajo relacionado con la configuración manual y la administración de nuestro lago de datos.

Product-Page_Standard-Icons_01_Product-Features_SqInk
Más información sobre las características de AWS Lake Formation
Más información 
Product-Page_Standard-Icons_02_Sign-Up_SqInk
Regístrese para obtener una cuenta
Registrarse 
Product-Page_Standard-Icons_03_Start-Building_SqInk
Comience a crear en la consola
Iniciar sesión