Comment lier un bloc-notes Amazon EMR à un référentiel Git ?

Dernière mise à jour : 03/09/2020

Je souhaite lier un bloc-notes Amazon EMR à un référentiel Git.

Résolution

L'association de référentiels Git aux blocs-notes Amazon EMR vous permet d'enregistrer vos blocs-notes dans un environnement contrôlé par version. Vous pouvez associer jusqu'à trois référentiels à un bloc-notes.

Pour créer un nouveau bloc-notes EMR et l'associer à un référentiel Git existant :

  1. Créez un sous-réseau privé dans un cloud privé virtuel (VPC).
  2. Créez une passerelle NAT
  3. Mettez à jour la table de routage pour pointer vers la passerelle NAT.
  4. Lancez un cluster Amazon EMR dans le sous-réseau privé. Dans la section Configuration du logiciel assurez-vous de sélectionner une configuration comprenant Apache Spark, Apache Hadoop et Apache Livy.
  5. Pendant que vous attendez que le cluster EMR passe à l'état EN ATTENTE, ajoutez le référentiel Git. Pour les informations d'identification Git, choisissez Créer un nouveau secret. Assurez-vous que le Nom d'utilisateur est l'alias du compte Git, et non l'adresse e-mail. Pour plus d'informations, consultez Utilisation des alias.
  6. Créez un groupe de sécurité avec les deux règles sortantes suivantes :
    Règle n°1
    Type : règle TCP personnalisée
    Protocol : TCP
    Plage de ports : 18888
    Destination : ElasticmapReduceEditors-Livy
    Règle n°2
    Type : HTTPS
    Protocol : TCP
    Plage de ports : 443
    Destination :0.0.0.0/0
    Cela permet au bloc-notes d'accéder à Internet en utilisant le cluster. Pour plus d'informations, consultez Spécification des groupes de sécurité EC2 pour les blocs-notes EMR lors de l'association de blocs-notes à des référentiels Git.
  7. Ajoutez une règle entrante au ElasticMapReduceEditors-Livygroupe de sécurité :
    Type : règle TCP personnalisée
    Protocol : TCP
    Plage de ports : 18888
    Destination : entrez le nom du groupe de sécurité que vous avez créé à l'étape précédente.
  8. Modifiez le rôle de service pour les blocs-notes EMR (EMR_Notebooks_DefaultRole) pour autoriser l' SecretsManager:GetSecretValue action.
  9. Créez un bloc-notes EMR avec les paramètres de groupe de sécurité suivants :
    Dans la Groupes de sécurité section, sélectionnez Choisir les groupes de sécurité.
    Pour les groupes de sécurité pour l'instance principale, choisissez ElasticMapReduceEditors-LIVY.
    Pour Groupes de sécurité pour l'instance de bloc-notes, choisissez le groupe de sécurité que vous avez créé à l'étape 6.

L'état du référentiel Git passe à Lié. Vous pouvez maintenant utiliser le référentiel Git dans le bloc-notes.


Cet article vous a-t-il été utile ?


Besoin d'aide pour une question technique ou de facturation ?