Возможности AWS Clean Rooms

С помощью AWS Clean Rooms можно легко сотрудничать с сотнями тысяч компаний, уже использующих AWS. При этом не нужно хранить копии данных за пределами среды AWS или загружать их на другую платформу. После создания среды для совместной работы или присоединения к ней можно настроить одну или больше таблиц данных из Каталога данных AWS Glue. Запуская запросы, обучая модель машинного обучения или генерируя прогнозирующую аналитику, AWS Clean Rooms считывает данные там, где они находятся. При использовании анализа SQL-запросов можно указать правила и ограничения SQL-запросов, допустимые для данных, которые автоматически применяются для защиты базовых данных каждого участника. Кроме того, можно настроить ограничения выходных данных, например минимальные пороги для объединений. При использовании AWS Clean Rooms ML базовые данные, используемые для обучения модели или генерирования аналогичного сегмента, никогда не передаются сотрудникам и не используются AWS для обучения моделей.

Помимо Консоли управления AWS, все функциональные возможности AWS Clean Rooms доступны через API. Вы сможете использовать пакеты средств разработки (SDK) AWS или интерфейс командной строки (CLI), чтобы автоматизировать операции AWS Clean Rooms, интегрировать функциональные возможности AWS Clean Rooms в имеющиеся рабочие процессы и продукты либо создать собственную версию предложений пустой комнаты для своих клиентов.

Правила анализа – эти ограничения предоставляют вам встроенные способы контроля использования данных. Участники совместной работы, создающие или присоединяющиеся к ней в качестве назначенных исполнителей запросов, могут писать запросы для пересечения и анализа таблиц данных в соответствии с установленными правилами анализа. AWS Clean Rooms поддерживает три типа правил анализа: объединение, список и настройка.

Правило анализа «объединение»: правило анализа «объединение» позволяет выполнять запросы, генерирующие объединенную статистику, например размер пересечения двух наборов данных. Используя правило анализа «объединение», можно обеспечить выполнение только объединенных запросов к данным и наложить ограничения на определенные части выполняемых запросов, например на то, какие столбцы должны использоваться только в слепом совпадении и какие столбцы могут быть использованы в объединениях, таких как суммы, подсчеты или средние значения. Вы также управляете минимальным ограничением объединения в выходных данных.  Кроме того, можно установить минимальные ограничения для объединений, которые дают возможность устанавливать условия для возвратов строк выходных данных. Эти ограничения устанавливаются в форме COUNT DISTINCT (Столбец) ≥ Порог. Если строка выходных данных в результатах запроса не соответствует ни одному из ограничений, она удаляется из набора результатов. Это помогает обеспечить автоматическое применение минимальных пороговых значений для объединения, а также обеспечивает гибкость для участников совместной работы с данными, которые могут писать запросы по своему усмотрению.

Правило анализа «списки»: правило анализа «списки» позволяет выполнять запросы, извлекающие список пересечения нескольких наборов данных на уровне строк, например перекрытия двух наборов данных. Используя правило анализа «списки», можно обеспечить выполнение только запросов списков к данным и наложить ограничения на выполняемые запросы, например на то, какие столбцы должны использоваться только в слепом совпадении, а какие можно выводить в виде списка в выходных данных.

Правило «настраиваемый анализ»: правило «настраиваемый анализ» позволяет создавать собственные запросы, используя большинство стандартных SQL-запросов ANSI, таких как общие табличные выражения (CTE) и оконные функции. Кроме того, можно просматривать и разрешать запросы до того, как участники совместной работы их запустят, и проверять запросы других участников, прежде чем им будет разрешено выполнять их в ваших таблицах. При использовании правила анализа «настройка» вы можете использовать встроенные средства управления, чтобы заранее определить или ограничить способы анализа базовых данных вместо того, чтобы полагаться на журналы запросов после завершения анализа. При использовании настраиваемых SQL-запросов вы также можете создавать или использовать шаблоны анализа для хранения настраиваемых запросов с параметрами при совместной работе. Это позволяет клиентам легче помогать друг другу в совместной работе. Например, участник, обладающий большим опытом работы с SQL, может создавать шаблоны, которые другие участники могут просматривать и, возможно, запускать. Это также упрощает повторный анализ в ходе совместной работы. Можно также использовать дифференциальную конфиденциальность AWS Clean Rooms, выбрав собственное правило анализа, а затем настроив параметры дифференциальной конфиденциальности.

Дифференциальная конфиденциальность AWS Clean Rooms помогает защитить конфиденциальность пользователей с помощью удобных средств управления на основе математических алгоритмов. Дифференциальная конфиденциальность – это строгое математическое определение защиты конфиденциальности данных. Однако, настройка этого метода сложна и требует глубокого понимания теории и математически строгих формул для ее эффективного применения. Дифференциальная конфиденциальность AWS Clean Rooms – это интуитивно понятная и полностью управляемая функция AWS Clean Rooms, которая помогает предотвратить повторную идентификацию пользователей. Чтобы использовать эту функцию, не обязательно иметь опыт работы с дифференциальной конфиденциальностью. Дифференциальная конфиденциальность AWS Clean Rooms скрывает вклад данных любого человека в объединенные выходные данные совместной работы AWS Clean Rooms и помогает выполнять широкий спектр SQL-запросов для получения информации о рекламных кампаниях, инвестиционных решениях, клинических исследованиях и многом другом. Вы можете настроить дифференциальную конфиденциальность AWS Clean Rooms, применив собственное правило анализа при совместной работе с AWS Clean Rooms. Затем вы можете настроить дифференциальную конфиденциальность AWS Clean Rooms с помощью элементов управления, гибко подстраиваемых под конкретные бизнес-сценарии использования и применяемых всего за несколько шагов. Дифференциальная конфиденциальность AWS Clean Rooms упрощает реализацию дифференциальной конфиденциальности при совместной работе с AWS Clean Rooms с помощью нескольких простых вариантов, и все это без дополнительных знаний или настроек со стороны партнеров.

Настраивая совместную работу в AWS Clean Rooms, можно указать разные возможности для каждого участника совместной работы в соответствии с конкретными сценариями использования SQL-запросов. Например, если вы хотите, чтобы выходные данные запроса перешли к другому участнику, вы можете назначить одного участника исполнителем SQL-запросов, который может писать запросы, а другого участника – получателем результатов SQL-запроса, который может получать результаты. Это дает автору совместной работы возможность убедиться в том, что участник, который может отправить запрос, не имеет доступа к результатам запроса. Настраивая совместную работу, вы также можете настроить обязанности по оплате SQL-запросов и назначить выбранного участника, которому будет выставляться счет за расходы на вычисления запросов при совместной работе вместо того, чтобы выставлять счета автоматически исполнителю запроса. Это позволяет более гибко работать вместе с партнерами и распределять обязанности SQL вместо того, чтобы привязывать их к исполнителю запросов.

С помощью Analysis Builder бизнес-пользователи могут получать аналитические сведения за несколько простых шагов без необходимости писать или понимать SQL. В управляемом пользовательском интерфейсе вы можете создавать запросы, соответствующие ограничениям данных, установленным каждым сотрудником в своих таблицах, на основе автоматически предложенных критериев, таких как метрики, сегменты и фильтры, относящиеся к вашим коллективным наборам данных. Используйте Analysis Builder в совместной работе, в которой есть одна или две таблицы, настроенные на правило объединения или анализа списков.

Сервис машинного обучения AWS Clean Rooms ML помогает вам и вашим партнерам применять машинное обучение в соответствии с правилами защиты конфиденциальности, чтобы выполнять прогнозную аналитику без необходимости обмена необработанными данными. Первая модель этой возможности предназначена для оказания помощи компаниям в создании аналогичных сегментов. При использовании моделирования по сходным признакам в рамках AWS Clean Rooms ML можно обучить собственную модель на основе ваших данных и предложить партнерам предоставить в ходе совместной работы небольшой образец записей, чтобы создать расширенный набор аналогичных записей и защитить себя и базовые данные вашего партнера. Моделирование в сфере здравоохранения будет доступно в ближайшие месяцы.

Благодаря AWS Clean Rooms ML вы сохраняете полный контроль и право собственности на свои обученные модели, в том числе на то, когда использовать их для создания аналогичных сегментов совместно с партнерами или удалять их. Ваши данные будут применяться только для обучения вашей модели, а не модели AWS. Вы можете использовать интуитивно понятные элементы управления, которые помогут вам и вашим партнерам настроить прогнозные результаты модели. Например, авиакомпания может оперировать данными о своих клиентах, сотрудничать со службой онлайн-бронирования и выявлять потенциальных путешественников со схожими характеристиками, при этом ни одна из компаний не будет передавать друг другу свои базовые данные. AWS Clean Rooms ML устраняет необходимость делиться данными для создания, обучения и развертывания моделей машинного обучения с партнерами.

Сервис AWS Clean Rooms ML был создан и протестирован на широком спектре наборов данных, таких как электронная коммерция и потоковое видео, и может помочь вам повысить точность моделирования двойников до 36 % по сравнению с репрезентативными отраслевыми базовыми показателями. В реальных приложениях, таких как поиск новых клиентов, такое повышение точности может привести к экономии миллионов долларов.

Можно выполнять запросы AWS Clean Rooms для данных, имеющих криптографическую защиту. Если у вас есть политики обработки данных, требующие шифрования конфиденциальных данных, вы можете предварительно зашифровать свои данные с помощью общего ключа, предназначенного для конкретной совместной работы, чтобы данные оставались зашифрованными даже при выполнении запросов. Криптографические вычисления сохраняют шифрование данных, используемых для совместных вычислений: в месте хранения, при передаче и при использовании (обработке).

Криптографические вычисления для Clean Rooms (C3R) – это Java SDK с открытым исходным кодом и интерфейс командной строки, который доступен на GitHub. Эта функция доступна без дополнительной оплаты. Если у вас есть большие данные, вы можете ознакомиться с документацией, чтобы узнать, как можно интегрировать C3R в Apache Spark.

Эта функция является последней из широкого спектра инструментов для криптографических вычислений AWS, разработанной для того, чтобы помочь вам достичь целей безопасности и соответствия нормативным требованиям, позволяя при этом воспользоваться гибкостью, масштабируемостью, производительностью и простотой использования, которые предлагает AWS.