Comment lier un bloc-notes Amazon EMR à un référentiel Git ?

Date de la dernière mise à jour : 30/12/2020

Je souhaite lier un bloc-notes Amazon EMR à un référentiel Git. Comment dois-je procéder ?

Résolution

L'association de référentiels Git aux blocs-notes Amazon EMR vous permet d'enregistrer vos blocs-notes dans un environnement contrôlé par version. Vous pouvez associer jusqu'à trois référentiels à un bloc-notes.

Pour créer un nouveau bloc-notes EMR et l'associer à un référentiel Git existant :

1.    Créez un sous-réseau privé dans un Virtual Private Cloud (VPC).

2.    Créez une passerelle NAT

3.    Mettez à jour la table de routage pour pointer vers la passerelle NAT.

4.    Lancez un cluster Amazon EMR dans le sous-réseau privé. Dans la section de configuration du logiciel assurez-vous de sélectionner une configuration comprenant Apache Spark, Apache Hadoop et Apache Livy.

5.    Pendant que vous attendez que le cluster EMR passe à l'état EN ATTENTE, ajoutez le référentiel Git. Pour les informations d'identification Git, choisissez Créer un nouveau secret. Assurez-vous que le Nom d'utilisateur est l'alias du compte Git, et non l'adresse e-mail. Pour plus d'informations, consultez la section Utilisation des alias.

6.    Créez un groupe de sécurité avec les deux règles sortantes suivantes :
Règle n°1
Type : règle TCP personnalisée
Protocol : TCP
Plage de ports : 18888
Destination : ElasticmapReduceEditors-Livy

Règle n°2
Type : HTTPS
Protocol : TCP
Plage de ports : 443
Destination :0.0.0.0/0

Cela permet au bloc-notes d'accéder à Internet en utilisant le cluster. Pour plus d'informations, consultez la section Spécification des groupes de sécurité EC2 pour les blocs-notes EMR lors de l'association de blocs-notes à des référentiels Git.

7.    Ajoutez une règle entrante au groupe de sécurité ElasticMapReduceEditors-Livy :
Type : règle TCP personnalisée
Protocol : TCP
Plage de ports : 18888
Destination : saisissez le nom du groupe de sécurité que vous avez créé à l'étape précédente.

8.    Modifiez le rôle de service pour les blocs-notes EMR (EMR_Notebooks_DefaultRole) pour autoriser l'action SecretsManager:GetSecretValue.

9.    Créez un bloc-notes EMR avec les paramètres de groupe de sécurité suivants :
Dans la Groupes de sécurité section, sélectionnez Choisir les groupes de sécurité.
Pour les groupes de sécurité pour l'instance principale, choisissez ElasticMapReduceEditors-LIVY.
Pour Groupes de sécurité pour l'instance de bloc-notes, choisissez le groupe de sécurité que vous avez créé à l'étape 6.

L'état du référentiel Git passe à Lié. Vous pouvez maintenant utiliser le référentiel Git dans le bloc-notes.


Cet article vous a-t-il été utile ?


Besoin d'aide pour une question technique ou de facturation ?