Comment lier un bloc-notes Amazon EMR à un référentiel Git ?

Dernière mise à jour : 19/07/2022

Je veux lier mon bloc-notes Amazon EMR à un référentiel Git.

Solution

L'association de référentiels Git aux blocs-notes Amazon EMR vous permet d'enregistrer vos blocs-notes dans un environnement contrôlé par version. Vous pouvez associer jusqu'à trois référentiels à un bloc-notes.

Pour créer un nouveau bloc-notes EMR, puis l'associer à un référentiel Git existant, procédez comme suit :

1.    Créez un sous-réseau privé dans un cloud privé virtuel (VPC).

2.    Créez une passerelle NAT.

3.    Mettez à jour la table de routage pour pointer vers la passerelle NAT.

4.    Lancez un cluster Amazon EMR dans le sous-réseau privé. Dans la section Software configuration (Configuration du logiciel) assurez-vous de sélectionner une configuration comprenant Apache Spark, Apache Hadoop et Apache Livy.

5.    Lorsque vous attendez que le cluster EMR atteigne l'état WAITING (EN ATTENTE), ajoutez le référentiel Git. Pour Git credentials (informations d'identification Git), choisissez Create a new secret (Créer un nouveau secret). Assurez-vous que Username (Nom d'utilisateur) est l'alias du compte Git, et non l'adresse e-mail. Pour plus d'informations, consultez Utilisation des alias.

6.    Créez un groupe de sécurité avec les règles sortantes suivantes :
Règle n°1
Type : Règle TCP personnalisée
Protocole : TCP
Plage de ports : 18888
Destination : ElasticMapReduceEditors-Livy

Règle n°2
Type : HTTPS
Protocole : TCP
Plage de ports : 443
Destination : 0.0.0.0/0

Cela permet au bloc-notes d'accéder à Internet en utilisant le cluster. Pour plus d'informations, consultez la section Spécification des groupes de sécurité EC2 pour les blocs-notes EMR lors de l'association de blocs-notes à des référentiels Git.

7.    Ajoutez une règle entrante au groupe de sécurité ElasticMapReduceEditors-Livy :
Type : Règle TCP personnalisée
Protocole : TCP
Plage de ports : 18888
Destination : Saisissez le nom du groupe de sécurité que vous avez créé à l'étape précédente.

8.    Modifiez le rôle de service pour les blocs-notes EMR (EMR_Notebooks_DefaultRole) pour autoriser l'action SecretsManager:GetSecretValue.

9.    Créez un bloc-notes EMR avec les paramètres de groupe de sécurité suivants :
Dans la Groupes de sécurité section, sélectionnez Choisir les groupes de sécurité.
Pour les groupes de sécurité pour l'instance principale, choisissez ElasticMapReduceEditors-LIVY.
Pour Groupes de sécurité pour l'instance de bloc-notes, choisissez le groupe de sécurité que vous avez créé à l'étape 6.

L'état du référentiel Git passe à Lié. Vous pouvez maintenant utiliser le référentiel Git dans le bloc-notes.


Cet article vous a-t-il été utile ?


Avez-vous besoin d'aide pour une question technique ou de facturation ?