Comment puis-je créer et hiérarchiser les files d'attente de requêtes dans un cluster Amazon Redshift ?

Brève description

Dans Amazon Redshift, vous pouvez créer des requêtes ETL (extract transform load), puis les répartir dans différentes files d'attente en fonction de leur priorité. Vous pouvez hiérarchiser les requêtes en fonction du groupe d'utilisateurs, groupe de requêtes et des règles d'attribution des requêtes.

Pour hiérarchiser les requêtes, utilisez la gestion de la charge de travail (WLM) Amazon Redshift. Amazon Redshift prend en charge les configurations de WLM automatique et de WLM manuelle.

Contrairement à la gestion WLM manuelle, la gestion WLM automatique vous permet de définir une valeur de priorité de requête pour indiquer la priorité relative des charges de travail. Pour la gestion WLM automatique et manuelle, vous pouvez créer des files d'attente de requêtes distinctes. Pour hiérarchiser les requêtes, choisissez la configuration WLM qui correspond le mieux à votre cas d'utilisation.

Résolution

Gestion automatique de la charge de travail

Remarque : avant de passer la configuration en production, il est recommandé de tester la gestion WLM automatique sur des requêtes ou des charges de travail existantes.

Pour utiliser la gestion WLM automatique afin de hiérarchiser les charges de travail dans Amazon Redshift, procédez comme suit :

1. Connectez-vous à la console de gestion AWS.
2. Ouvrez la console Amazon Redshift.
3. Dans le volet de navigation, choisissez Configurations.
4. Choisissez Gestion de la charge de travail.
5. Choisissez le groupe de paramètres que vous souhaitez modifier.
6. Choisissez l'onglet Gestion de la charge de travail pour afficher la configuration WLM actuelle.
7. (Facultatif) Mettez à jour le groupe de paramètres WLM. Si le groupe de paramètres WLM est réglé sur le mode WLM automatique, aucune mise à jour n'est nécessaire. Si le groupe de paramètres WLM est réglé sur le mode WLM manuelle, modifiez la configuration WLM pour le groupe de paramètres. Choisissez Modifier les files d'attente de charge de travail pour modifier la configuration WLM. Choisissez ensuite Changer le mode de gestion de la charge de travail, puis basculez sur le mode Gestion WLM automatique.
8. Choisissez Ajouter une file d'attente pour ajouter des files d'attente de charge de travail supplémentaires. Vous pouvez créer jusqu'à huit files d'attente pour chaque charge de travail et les associer à des groupes d'utilisateurs ou de requêtes.
9. Configurez le statut de priorité de la file d'attente. Par défaut, chaque file d'attente se voit attribuer un statut de priorité « Normal ».
   Remarque : les super utilisateurs peuvent appliquer le niveau de priorité le plus élevé, « Critique ». Si une charge de travail est marquée comme étant de priorité « Critique », vous ne pouvez exécuter qu'une seule de ses requêtes à la fois.
10. (Facultatif) Créez une règle de surveillance des requêtes WLM pour définir les limites de performances pour des requêtes et des files d'attente, telles que les limites de temps ou les niveaux de simultanéité. Par exemple, vous pouvez définir la règle de surveillance de manière à modifier le statut de priorité d'une requête en cours d'exécution qui dépasse 40 secondes.
11. Choisissez Enregistrer.
12. Créez et définissez une règle d'attribution de files d'attente et attribuez des requêtes aux files d'attente.
    Remarque : les requêtes sont attribuées en fonction de l'utilisateur ou du groupe de requêtes. Les requêtes qui ne sont pas attribuées s'exécutent dans la file d'attente par défaut.

Gestion manuelle de la charge de travail

Si vous gérez plusieurs files d'attente WLM, vous pouvez configurer des files d'attente de gestion de la charge de travail (WLM) pour améliorer le traitement des requêtes.

Pour utiliser la gestion WLM manuelle afin de hiérarchiser les charges de travail dans Amazon Redshift, procédez comme suit :

1. Connectez-vous à la console de gestion AWS.
2. Ouvrez la console Amazon Redshift.
3. Dans le menu de navigation, choisissez Configurations.
4. Choisissez Gestion de la charge de travail.
5. Choisissez le groupe de paramètres que vous souhaitez modifier.
6. Choisissez l'onglet Gestion de la charge de travail pour afficher la configuration WLM actuelle.
7. (Facultatif) Mettez à jour le groupe de paramètres WLM. Si le groupe de paramètres WLM est réglé sur le mode Gestion WLM manuelle, aucune mise à jour n'est requise. Si le groupe de paramètres WLM est réglé sur le mode Gestion WLM automatique, modifiez la configuration WLM du groupe de paramètres. Choisissez Modifier les files d'attente de charge de travail pour modifier la configuration WLM. Choisissez ensuite Changer le mode de gestion de la charge de travail, puis basculez sur le mode Gestion WLM manuelle.
8. Choisissez Ajouter une file d'attente pour ajouter des files d'attente de charge de travail. Vous pouvez créer jusqu'à huit files d'attente pour chaque charge de travail et les associer à des groupes d'utilisateurs ou de requêtes.
9. Utilisez Allocation de mémoire dynamique WLM pour configurer la quantité de mémoire allouée à chaque file d'attente. La configuration de mémoire dynamique WLM vous aide à hiérarchiser les charges de travail en fonction de l'utilisation de la mémoire.
10. (Facultatif) Créez et définissez une règle de surveillance des requêtes pour gérer les requêtes qui atteignent les limites des métriques. Par exemple, vous pouvez utiliser une règle de surveillance des requêtes pour sauter ou annuler une requête de longue durée.
11. Choisissez Enregistrer.
12. Créez et définissez une règle d'attribution de files d'attente et attribuez des requêtes aux files d'attente.
    Remarque : les requêtes sont attribuées en fonction de l'utilisateur ou du groupe de requêtes. Les requêtes qui ne sont pas attribuées s'exécutent dans la file d'attente par défaut.

Informations connexes

Tableaux et vues du système de gestion WLM

STV_WLM_QUERY_QUEUE_STATE

STV_WLM_QUERY_STATE

STV_WLM_SERVICE_CLASS_CONFIG