AWS Lake Formation

Cree un lago de datos seguro en cuestión de días

AWS Lake Formation es un servicio que facilita la configuración de un lago de datos seguro en cuestión de días. Un lago de datos es un repositorio centralizado, seleccionado y seguro que almacena todos sus datos, tanto en su forma original como preparados para análisis. Los lagos de datos le permiten desglosar los silos de datos y combinar diferentes tipos de análisis para obtener información y tomar mejores decisiones empresariales.

Sin embargo, en la actualidad, la configuración y la administración de lagos de datos implican muchas tareas manuales complejas y que llevan mucho tiempo. Este trabajo incluye cargar datos de diversas fuentes, monitorizar esos flujos de datos, configurar particiones, activar el cifrado y la administración de claves, definir trabajos de transformación y monitorizar su operación, reorganizar los datos en un formato de columnas, configurar los ajustes de control de acceso, desduplicar datos redundantes, relacionar registros vinculados, obtener acceso a conjuntos de datos y auditar el acceso a lo largo del tiempo.

Crear un lago de datos con Lake Formation es tan simple como definir el origen de los datos y qué políticas de seguridad y acceso desea aplicar. Luego, Lake Formation recopila y cataloga los datos de bases de datos y almacenamiento de objetos, los traslada al nuevo lago de datos de Amazon S3, los limpia y los clasifica mediante algoritmos de aprendizaje automático y aporta seguridad al acceso a su información confidencial. Sus usuarios pueden acceder a un catálogo de datos centralizado que describe los conjuntos de datos disponibles y su uso adecuado. Luego, los usuarios aprovechan estos conjuntos de datos con los servicios de análisis y aprendizaje automático que prefieran, como Amazon Redshift, Amazon Athena y Amazon EMR (en beta) para Apache Spark. Lake Formation se basa en las capacidades disponibles en AWS Glue.

AWS re:Invent 2018 – Presentación de AWS Lake Formation

Beneficios

Crear lagos de datos rápidamente

Con Lake Formation, puede trasladar, almacenar, catalogar y limpiar los datos más rápido. Solo tiene que dirigir a Lake Formation hacia sus orígenes de datos y Lake Formation los rastrea y traslada los datos en su nuevo lago de datos de Amazon S3. Lake Formation organiza datos en S3 en los términos de consulta frecuentes y en porciones de tamaño correcto para aumentar la eficacia. Lake Formation también cambia datos en formatos como Apache Parquet y ORC para realizar análisis con mayor rapidez. Además, Lake Formation tiene aprendizaje automático integrado para realizar la deduplicación y encontrar registros coincidentes (dos entradas que se refieren a lo mismo) a fin de aumentar la calidad de los datos.

Simplificar la administración de la seguridad

Puede utilizar Lake Formation a fin de definir la seguridad, el gobierno y las políticas de auditoría en un solo lugar, en vez de realizar estas tareas por servicio, y luego aplicar esas políticas para sus usuarios en sus aplicaciones de análisis. Sus políticas se implementan de manera consistente y se elimina la necesidad de configurarlas manualmente en los servicios de seguridad (AWS Identity and Access Management y AWS Key Management Service), servicios de almacenamiento (S3) y servicios de análisis y de aprendizaje automático (Redshift, Athena y EMR [en Beta] para Apache Spark). Esto reduce el esfuerzo en las políticas de configuración en los servicios y proporciona un cumplimiento y conformidad uniforme.

Proporcionar acceso de autoservicio a los datos

Con Lake Formation, crea un catálogo de datos que describe los distintos conjuntos de datos que están disponibles junto a los grupos de usuarios que tienen acceso a cada uno. Esto hace que los usuarios sean más productivos al ayudarlos a encontrar el conjunto de datos correcto para analizar. Lake Formation facilita que los analistas y científicos de datos utilicen su servicio de análisis preferido al proporcionar un catálogo para sus datos con un cumplimiento de seguridad uniforme.
Pueden utilizar EMR (en Beta) para Apache Spark, Redshift o Athena en varios conjuntos de datos que ahora se alojan en un lago de datos único. Los usuarios también pueden combinar estos servicios sin tener que trasladar los datos entre los silos.

Funcionamiento

AWS Lake Formation: Funcionamiento

Lake Formation ayuda a crear, asegurar y administrar su lago de datos. Primero, identifique los almacenes de datos existentes en S3 o bases de datos relacionales y NoSQL y traslade los datos en el lago de datos. Después, rastree, catalogue y prepare los datos para el análisis. Luego, proporcione un acceso de autoservicio seguro a los datos para los usuarios mediante los servicios de análisis que ellos elijan. Otros servicios de AWS y aplicaciones de terceros también pueden acceder a los datos mediante los servicios que se muestran. Lake Formation administra todas las tareas en el cuadro naranja y lo integran los almacenes de datos y los servicios que se muestran en los cuadros azules.

Casos de uso

Obtenga más información sobre “¿Qué es un lago de datos?” y casos de uso.

Clientes

panasonic_logo

Panasonic Avionics Corporation es el proveedor líder mundial de sistemas de entretenimiento y comunicación durante el vuelo.

“Queríamos crear una plataforma de datos con la capacidad de administrar la configuración de seguridad para todas las diferentes aplicaciones en nuestro entorno. Con AWS Lake Formation, ahora podemos definir políticas una vez y aplicarlas de la misma manera, en todas partes, para los múltiples servicios que utilizamos, incluidos AWS Glue y Amazon Athena”, señaló Anand Desikan, Director de servicios en la nube y datos en Panasonic Avionics. “El nivel mejorado de control nos brinda un acceso seguro a los datos y metadatos para columnas y tablas, no solo para objetos en masa, que es una parte importante de nuestro estándar de seguridad y gobierno de datos”.

Accenture_Logo_Black_Purple_RGB

Accenture es una empresa internacional líder de servicios profesionales que proporciona una amplia variedad de servicios y soluciones en las áreas de consultoría, estrategia, digital, tecnología y operaciones.

“Me concentro en ayudar a los clientes en su experiencia de ‘datos en la nube’. Específicamente, hemos visto que las organizaciones están lidiando con la falta de datos confiables cuando necesitan realizar análisis sobre datos provenientes de múltiples fuentes", dijo Namrata Maheshwary, arquitecta sénior del Grupo de negocios de datos, Accenture. “La limpieza de datos es un paso crítico en el análisis de datos y puede afectar en gran medida al resultado del negocio y a la toma de decisiones. Las nuevas características de AWS Lake Formation han sido enormemente beneficiosas para abordar el desafío de la veracidad de los datos y asegurar el acceso al lago de datos. Nos pareció realmente útil usar las técnicas avanzadas de aprendizaje automático para la preparación de datos a fin de encontrar registros que coincidan, limpiar y desduplicar datos de diferentes orígenes de datos. Esto ayudará a reducir el tiempo, el esfuerzo y el costo, mientras que mejora la calidad y la precisión de los datos en los lagos de datos de un cliente”.

Zalando

Zalando es la plataforma en línea líder en Europa para la moda y el estilo de vida.

“Como la compañía de tecnología más moderna de Europa, trabajamos para encontrar soluciones digitales para cada aspecto del viaje de la moda”, señaló Alberto Miorin, Director de Ingeniería, Zalando SE. “AWS Lake Formation nos dio un punto central de control escalable para el acceso a datos a través de Amazon Redshift que no solo simplificó el proceso, sino que lo mejoró a través del control granular sobre cómo se utilizan nuestros datos. Ahora podemos descubrir, acceder y analizar datos en nuestro lago de datos con nuestras herramientas preferidas, y aprovecharlo para la inteligencia empresarial y la ciencia de datos. Este flujo de trabajo simplificado ayuda a nuestros ejecutivos a tomar las decisiones correctas a tiempo y fomenta la innovación a través del aprendizaje automático”.

Logo_for_Life360_App

Life360 es el servicio líder mundial de tranquilidad para las familias. La aplicación de Life360 acerca a las familias con funciones inteligentes diseñadas para proteger y conectar a las personas que más importan.

“Queríamos usar AWS Lake Formation para construir nuestro lago de datos y así admitir datos de series de tiempo basadas en la ubicación, y hacer que sea mucho más fácil cargar datos. Los proyectos prefabricados ayudaron a introducir datos en el lago de datos sin que nuestro equipo de ingeniería de datos tuviera que escribir códigos desde cero y así poder centrarse en la ingesta operativa, sin tener que reinventar la rueda”, dijo Richard Chennault, Jefe de Servicios de Nube y Datos, Life360, Inc. “Con AWS Lake Formation pudimos desbloquear rápidamente los datos disponibles en Amazon S3 y ponerlos a disposición para analizar en un amplio espectro de servicios de datos de AWS. Los datos permanecen en su lugar en Amazon S3, podemos analizarlos de muchas maneras diferentes y mantenemos un control total sobre ellos”.

change-healthcare-red-blue-logo

Change Healthcare es una importante empresa de tecnología sanitaria independiente que proporciona soluciones orientadas a datos y análisis que alcanzan las 2100 conexiones de pago comerciales y gubernamentales, 5500 hospitales, 900 000 médicos y 33 000 farmacias.

“Administramos datos de millones de transacciones todos los días, al mismo tiempo que mantenemos la conformidad con las regulaciones del sector sanitario, incluso la HIPAA”, dijo Aaron Symanski, Director técnico de Change Healthcare. “Estamos muy entusiasmados por el lanzamiento de AWS Lake Formation, que ofrece un punto de control central para cargar, limpiar, asegurar y catalogar fácilmente los datos de miles de nuestros clientes a nuestro lago de datos basado en AWS. De esta forma, se reduce de manera drástica nuestra carga operacional. Los controles de acceso de datos en Lake Formation facilitan la definición de nuestras políticas una sola vez y hacen que se cumplan en todos los servicios de análisis y de aprendizaje automático que utilicemos, con registros de auditoría para demostrar la conformidad”.

Fender_digital

Fender Digital forma parte de Fender, la famosa marca de guitarras, que realiza aplicaciones, sitios web, plataformas y herramientas para complementar las guitarras, amplificadores y equipos de sonido que fabrica Fender.

“Generamos toneladas de datos del usuario y de uso de nuestras aplicaciones digitales y los dispositivos. Estamos planificando construir un lago de datos en AWS para operar junto a nuestro almacén de datos basado en Amazon Redshift”, dijo Joshua Couch, vicepresidente de ingeniería en Fender Digital. “No puedo esperar a que nuestro equipo comience a trabajar con AWS Lake Formation. Lake Formation facilitará la carga, transformación y catalogación de nuestros datos y hará que esté disponible de manera segura en nuestra organización, en una cartera amplia de servicios de AWS. Con una opción preparada para el mercado como Lake Formation, podremos invertir más tiempo a fin de obtener valores de nuestros datos, en vez de realizar el arduo trabajo relacionado con la configuración manual y la administración de nuestro lago de datos”.

cloudreach-logo

Sobrealimentado por la plataforma de software de gestión y migración, Cloudamize, Cloudreach aporta simplicidad y absoluta confianza a la toma de decisiones basada en datos.

“AWS Lake Formation está democratizando el lago de datos y creando un punto de aceleración para la estrategia de datos empresariales”, dijo Kevin Davis, CTO de AWS Practice, Cloudreach. “AWS Lake Formation centraliza la seguridad y el gobierno de los servicios, agiliza la administración y reduce la sobrecarga operativa. Mediante la aceleración del proceso de eliminación de datos en toda la empresa, otras iniciativas de datos, como el aprendizaje automático, comienzan a generar un mayor valor comercial”.

Amgen-logo

Amgen es la compañía de biotecnología independiente más grande del mundo.

“En Amgen, hemos hecho un uso importante de los clústeres de Amazon RedShift y Amazon EMR durante más de tres años. Configurar controles de seguridad y acceso para cada cuenta, servicio, usuario y conjunto de datos de AWS al nivel de detalle requerido podría ser muy complicado”, señaló Kerby Johnson, propietario del producto Enterprise Data Lake, Amgen. “AWS Lake Formation agiliza el proceso con un punto central de control y, al mismo tiempo, nos permite controlar quién está utilizando nuestros datos y cómo con más detalle. AWS Lake Formation nos permite administrar permisos en objetos de Amazon S3 como lo haríamos con permisos de datos en una base de datos. Nuestros usuarios podrán encontrar, acceder y analizar los datos que necesitan con las herramientas que prefieran. Este nuevo flujo de trabajo puede hacer que todos sean más productivos al usar los datos de Amgen”.

Alcon-logo

Alcon es líder en innovación y desarrollo de productos para el cuidado de la vista y la transformación de la visión.

“Al igual que muchas empresas, comenzamos nuestra iniciativa de lago de datos para evitar tener silos de datos inaccesibles”, señaló Srinivas Ravilisetty, líder de análisis de TI, Alcon. “Con AWS Lake Formation podemos agregar rápidamente acceso a los buckets existentes de Amazon S3 y definir qué hay en ellos y cómo se puede usar. Los datos permanecen en su lugar en S3, pero tenemos control total sobre ellos para otros usos”.

quantiphi-logo

Quantiphi es una compañía de servicios y software basados en big data e inteligencia artificial impulsada por el deseo de resolver problemas empresariales complejos. Quantiphi se especializa en la creación de lagos de datos y soluciones de inteligencia artificial para que los clientes brinden un valor cuantificable.

“AWS Lake Formation nos permite entregar un lago de datos seguro con acceso a datos relevantes en días”, dijo Arnav Gupta, Líder de AWS Practice, Quantiphi. “Ahora tenemos la capacidad de ofrecer lo mejor de ambos mundos para nuestros clientes: seguridad total, además de acceso simplificado a datos relevantes para que sus usuarios tomen decisiones fácilmente. Nuestros clientes pueden enfocarse en tomar decisiones comerciales más inteligentes y basadas en análisis aprovechando un origen de datos poderoso y centralizado”.

Product-Page_Standard-Icons_01_Product-Features_SqInk
Más información sobre las características de AWS Lake Formation
Más información 
Product-Page_Standard-Icons_02_Sign-Up_SqInk
Regístrese para obtener una cuenta
Registrarse 
Product-Page_Standard-Icons_03_Start-Building_SqInk
Comience a crear en la consola
Iniciar sesión