Alojando code-server en Amazon SageMaker

Los equipos de aprendizaje automático (ML) necesitan flexibilidad para elegir su entorno de desarrollo integrado (IDE) cuando trabajan en un proyecto. Lo que permite tener una experiencia de desarrollador mas productiva e innovar a gran velocidad. Incluso se puede usar varios IDE dentro de un proyecto. Amazon SageMaker permite que los equipos de aprendizaje automático elijan trabajar desde entornos basados en la nube totalmente administrados dentro de Amazon SageMaker Studio , SageMaker Notebook Instances o desde su máquina local usando el modo local .

SageMaker proporciona una experiencia de uso de un solo clic a Jupyter y RStudio para crear, entrenar, depurar, implementar y monitorear modelos de ML. En esta publicación, también compartiremos una solución para alojar un code-server en SageMaker.

Con Code-Server, los usuarios pueden ejecutar VS Code en máquinas remotas y acceder a él en un navegador web. Para los equipos de aprendizaje automático, alojar el servidor de código en SageMaker proporciona cambios mínimos a una experiencia de desarrollo local y le permite codificar desde cualquier lugar, usando computación en la nube que permite escalar. Con VS Code, también puede usar entornos Conda integrados con TensorFlow y PyTorch optimizados para AWS, repositorios Git administrados, modo local y otras funciones proporcionadas por SageMaker para acelerar su entrega. Para los administradores de TI, les permite estandarizar y acelerar el aprovisionamiento de IDE seguros y administrados en la nube, para incorporar rápidamente y habilitar equipos de ML en sus proyectos.

Descripción general de la solución

En esta publicación, cubrimos la instalación tanto para entornos de Sagemaker Studio (Opción A) como para instancias de Sagemaker Notebook (Opción B). Para cada opción, recorremos un proceso de instalación manual que los equipos de ML pueden ejecutar en su entorno y una instalación automatizada que los administradores de TI pueden configurar para ellos a través de la interfaz de línea de comandos de AWS (AWS CLI).

El siguiente diagrama ilustra la descripción general de la arquitectura para alojar un code-server en SageMaker.

Nuestra solución acelera la instalación y configuración del code-server en su entorno. Funciona tanto para JupyterLab 3 (recomendado) como para JupyterLab 1 que se ejecutan en instancias de notebook de Studio y SageMaker. Está hecho de scripts de shell que hacen lo siguiente según la opción.

Para Studio (Opción A), el script de shell hace lo siguiente:

• Instala el code-server en el servidor de Jupyter para un perfil de usuario. Para obtener más detalles, consulte Profundice en la arquitectura de los portátiles de Amazon SageMaker Studio .
• Agrega un acceso directo al code-server en el launcher de Studio para un acceso rápido al IDE.
• Crea un entorno Conda dedicado para administrar dependencias.
• Instale la extensión de Python en el IDE.

Para instancias de notebooks de SageMaker (Opción B), el script de shell hace lo siguiente:

• Instala el servidor de códigos.
• Agrega un acceso directo al code-server en el menú del archivo del Notebook de Jupyter y el iniciador de JupyterLab para un acceso rápido al IDE.
• Crea un entorno Conda dedicado para administrar dependencias.
• Instale las extensiones de Python y Docker en el IDE.

En las siguientes secciones, explicamos el proceso de instalación de la solución para la Opción A y la Opción B. Asegúrese de tener acceso a Studio o una instancia de notebook.

Opción A: Servidor de código alojado en Studio

Para alojar Code-Server en Studio, complete los siguientes pasos:

Elija el “Terminal del sistema” en su launcher de Studio.

2. Para instalar la solución del servidor de códigos, ejecute los siguientes comandos en la terminal de su sistema:

curl -LO https://github.com/aws-samples/amazon-sagemaker-codeserver/releases/download/v0.1.5/amazon-sagemaker-codeserver-0.1.5.tar.gz
tar -xvzf amazon-sagemaker-codeserver-0.1.5.tar.gz

cd amazon-sagemaker-codeserver/install-scripts/studio
 
chmod +x install-codeserver.sh
./install-codeserver.sh

# Nota: al instalar en JL1, anteponga el comando nohup al comando de instalación anterior y ejecútelo de la siguiente manera:
	# nohup ./install-codeserver.sh

Automate the code-server install for users in a StudiAutomatice la instalación del code-server para usuarios en un dominio de Studio

curl -LO https://github.com/aws-samples/amazon-sagemaker-codeserver/releases/download/v0.1.5/amazon-sagemaker-codeserver-0.1.5.tar.gz
tar -xvzf amazon-sagemaker-codeserver-0.1.5.tar.gz

cd amazon-sagemaker-codeserver/install-scripts/studio

LCC_CONTENT=`openssl base64 -A -in install-codeserver.sh`

aws sagemaker create-studio-lifecycle-config \
--studio-lifecycle-config-name install-codeserver-on-jupyterserver \
--studio-lifecycle-config-content $LCC_CONTENT \
--studio-lifecycle-config-app-tipo JupyterServer \
--query 'StudioLifecycleConfigArn'

dominio de actualización de aws sagemaker \
--region < su_región > \
--domain-id < su_dominio_id > \
--configuración de usuario predeterminada \
    '{
"JupyterServerAppSettings": {
"Especificación de recurso predeterminada": {
"LifecycleConfigArn": "arn:aws:sagemaker: <su_región> : <su_id_de_cuenta> :studio-lifecycle-config/install-codeserver-on-jupyterserver",
"Tipo de instancia": "sistema"
},
"LifecycleConfigArns": [
"arn:aws:sagemaker: <su_región> : <su_id_de_cuenta> :studio-lifecycle-config/install-codeserver-on-jupyterserver"
]
}}'

# Asegúrese de reemplazar <your_domain_id> , <your_region> y <your_account_id> en los comandos anteriores con
# el ID de dominio de Studio, la región de AWS y el ID de la cuenta de AWS que está utilizando, respectivamente.

Opción B: Hospede el code-server en una instancia de notebook de SageMaker

curl -LO https://github.com/aws-samples/amazon-sagemaker-codeserver/releases/download/v0.1.5/amazon-sagemaker-codeserver-0.1.5.tar.gz
tar -xvzf amazon-sagemaker-codeserver-0.1.5.tar.gz

cd amazon-sagemaker-codeserver/install-scripts/notebook-instances
 
chmod +x install-codeserver.sh
chmod +x setup-codeserver.sh
sudo ./install-codeserver.sh
sudo ./setup-codeserver.sh

Las instalaciones del code-server y las extensiones son persistentes en la instancia del Notebook. Sin embargo, si detiene o reinicia la instancia, debe ejecutar el siguiente comando para reconfigurar el servidor de códigos:

sudo ./setup-codeserver.sh

Los comandos deberían tardar unos segundos en ejecutarse. Puede cerrar la pestaña del terminal cuando vea lo siguiente.

1. Ahora vuelva a cargar la página de Jupyter y vuelva a comprobar el menú Nuevo.
   • La opción “Code Server” ahora debería estar disponible.
     

También puede iniciar el “code-server” desde JupyterLab mediante un botón de inicio dedicado, como se muestra en la siguiente captura de pantalla.

Elige “Code-server” , se abrirá una nueva pestaña del navegador, lo que le permitirá acceder al code-server desde su navegador. Las extensiones de Python y Docker ya están instaladas y puede comenzar a trabajar en su proyecto de ML.

Automatice la instalación del code-server en una instancia de notebook

Como administrador de TI, puede automatizar la instalación del code-server con una configuración de ciclo de vida que se ejecuta en la creación de la instancia y automatiza la configuración con una que se ejecuta en el inicio de la instancia.

Aquí, creamos una instancia de notebook de ejemplo y una configuración de ciclo de vida utilizando la CLI de AWS . La configuración de creación ejecuta install-codeserver y la configuración de inicio ejecuta setup-codeserver .

Desde un terminal configurado con la CLI de AWS y los permisos apropiados, ejecute los siguientes comandos:

curl -LO https://github.com/aws-samples/amazon-sagemaker-codeserver/releases/download/v0.1.5/amazon-sagemaker-codeserver-0.1.5.tar.gz
tar -xvzf amazon-sagemaker-codeserver-0.1.5.tar.gz

cd amazon-sagemaker-codeserver/install-scripts/notebook-instances

aws sagemaker create-notebook-instance-lifecycle-config \
--notebook-instance-lifecycle-config-name install-codeserver \
--on-start Content=$( ( cat setup-codeserver.sh || echo "" ) | base64) \
--on-create Content=$( ( cat install-codeserver.sh || echo "" ) | base64)

aws sagemaker create-notebook-instancia \
--notebook-instance-name < your_notebook_instance_name > \
--tipo-de-instancia < su_tipo_de_instancia > \
--role-arn < su_rol_arn > \
--lifecycle-config-name install-codeserver

# Asegúrese de reemplazar <your_notebook_instance_name> , <your_instance_type> ,
# y <your_role_arn> en los comandos anteriores con los valores apropiados.

Conclusión

Con el code-server alojado en SageMaker, los equipos de ML pueden ejecutar VS Code en computación en la nube escalable, codificar desde cualquier lugar y acelerar la entrega de sus proyectos de ML. Para los administradores de TI, les permite estandarizar y acelerar el aprovisionamiento de IDE seguros y administrados en la nube, para incorporar rápidamente y habilitar equipos de ML en sus proyectos.

En esta publicación, compartimos una solución que puede usar para instalar rápidamente Code-Server en las instancias de Studio y Notebook. Compartimos un proceso de instalación manual que los equipos de ML pueden ejecutar por su cuenta y una instalación automatizada que los administradores de TI pueden configurar para ellos.

Para profundizar en su aprendizaje, visite AWSome SageMaker en GitHub para encontrar todos los recursos relevantes y actualizados necesarios para trabajar con SageMaker.

Acerca de los autores

Giuseppe Angelo Porcelli es Principal Machine Learning Specialist Solutions Architect en Amazon Web Services.

Sofian Hamiti es AI/ML specialist Solutions Architect en AWS.

Eric Pena es Senior Technical Product Manager en AWS Artificial Intelligence