Представляем файловый кэш KNFSD – теперь в предварительной версии
Сегодня AWS объявляет о выпуске KNFSD File Cache, лицензированного решения Apache 2.0 с открытым исходным кодом для развертывания масштабируемого высокоскоростного кэша сетевой файловой системы (NFS) на AWS. Файловый кэш KNFSD монтирует экспорт из одного или нескольких исходных серверов NFS (локально, в другой зоне доступности или регионе AWS или в другом облаке через мультиоблако Межсоединения AWS) и реэкспортирует их клиентам NFS в AWS. Можно использовать несколько локальных файловых систем, облачных файловых систем, таких как Amazon FSx для OpenZFS и Amazon FSx для NetApp ONTAP, а также любых других файловых систем, совместимых с NFS v3, v4.1 или v4.2. Часто прочитанные данные кэшируются в памяти и в локальном хранилище NVMe, поэтому файлы один раз пересекают канал с высокой задержкой к источнику, а затем передаются крупным вычислительным паркам со скоростью локального VPC. Решение предназначено для пакетных вычислительных рабочих нагрузок с большим количеством операций чтения и резкими всплесками активности, таких как рендеринг визуальных эффектов, моделирование, финансовые услуги, медико-биологические разработки, проектирование микропроцессоров, прогнозирование погоды и энергетика.
Файловый кэш KNFSD основан на стандартной технологии ядра Linux: nfs-kernel-server обеспечивает реэкспорт NFS, а FS-Cache предоставляет постоянный дисковый кэш. Поскольку он использует собственный стек NFS, он полностью поддерживает клиент-серверный протокол NFS, включая чтение и запись в диапазонах байтов, синхронную и асинхронную запись, а также режимы сквозной и обходной записи. Вы создаете кэш Образа машины Amazon (AMI) с помощью Packer, а затем развертываете кластер с помощью включенного модуля Terraform. Узлы кэша работают в Группе «Автомасштабирование» Amazon Elastic Compute Cloud (Amazon EC2) на инстансах AMD, Intel или AWS Graviton, при этом клиентский трафик распределяется циклическим методом через DNS или Балансировщиком сетевой нагрузки, а при необходимости включается автоматическое масштабирование в зависимости от количества активных клиентских подключений NFS. Панель мониторинга Amazon CloudWatch предоставляет более 70 метрик с помощью агента на основе OpenTelemetry, который также может публиковать данные в сторонних инструментах, таких как Prometheus и Grafana.
Файловый кэш KNFSD (предварительная версия) доступен во всех регионах AWS. Плата за лицензирование не взимается; вы платите только за используемые ресурсы AWS.
Для начала работы посетите репозиторий кэша файлов KNFSD на GitHub, прочтите блог о запуске и Руководство по решениям AWS. Подробное руководство по развертыванию и настройке см. в документации на GitHub.