Fonction étape de travail AWS Glue

1. Quelle est la différence entre les fonctions de colle et d'étape?
2. Quelle est la différence entre les fonctions SWF et Step?
3. Pouvons-nous exécuter du travail de colle sans robot?
4. Comment les travaux de colle sont-ils déclenchés?
5. Pourquoi la fonction de pas est utilisée?
6. Quelles sont les fonctions de pas AWS?
7. Peut S3 déclencher une fonction de pas?
8. Quelles sont les limites des fonctions de pas?
9. Quels sont les différents types de flux de travail de colle?
10. Combien de travaux de colle peuvent fonctionner simultanément?
11. Pourquoi les travaux de colle sont-ils si lents?
12. Pouvons-nous déclencher un travail de colle?

Quelle est la différence entre les fonctions de colle et d'étape?

AWS Glue est sans serveur, il n'y a donc pas d'infrastructure à configurer ou à gérer. Step Functions est un service d'orchestration sans serveur qui facilite la création d'un flux de travail d'application en combinant de nombreux services AWS différents comme AWS Glue, Databrew, AWS Lambda, Amazon EMR, et plus encore.

Quelle est la différence entre les fonctions SWF et Step?

Step Functions est un service géré, donc les utilisateurs n'ont pas à déployer ou à maintenir une infrastructure pour la gestion du flux de travail ou les tâches elles-mêmes. SWF gère également l'état du flux de travail dans le cloud. Cependant, contrairement aux fonctions d'étape, un utilisateur doit gérer l'infrastructure qui exécute la logique et les tâches de workflow.

Pouvons-nous exécuter du travail de colle sans robot?

Non. Vous n'avez pas besoin de créer un robot pour exécuter du travail de colle.

Comment les travaux de colle sont-ils déclenchés?

Vous pouvez avoir un déclencheur planifié qui invoque périodiquement les travaux, un déclencheur à la demande ou un déclencheur d'achèvement du travail. Plusieurs travaux peuvent être déclenchés en parallèle ou séquentiellement en les déclenchant lors d'un événement de réalisation de l'emploi. Vous pouvez également déclencher un ou plusieurs travaux de colle d'une source externe comme une fonction AWS Lambda.

Pourquoi la fonction de pas est utilisée?

Vous pouvez utiliser des fonctions d'étape pour exécuter plusieurs travaux ETL en parallèle où vos ensembles de données source peuvent être disponibles à différents moments, et chaque travail ETL n'est déclenché que lorsque son ensemble de données correspondant devient disponible.

Quelles sont les fonctions de pas AWS?

AWS Step Functions est un service de flux de travail visuel qui aide les développeurs à utiliser les services AWS pour créer des applications distribuées, automatiser les processus, orchestrer les microservices et créer des pipelines de données et d'apprentissage automatique (ML).

Peut S3 déclencher une fonction de pas?

Ce modèle crée une fonction lambda qui met un objet à S3, qui déclenche un flux de travail Express Functions Express. Ceci est utile lors du traitement des fichiers téléchargés supérieurs aux limites d'exécution de la tâche actuelles.

Quelles sont les limites des fonctions de pas?

Step Functions a une limite de taille de demande maximale de 256 Ko. Cela signifie que toutes les données que vous chargez dans votre machine d'État et passez à travers les transitions doivent être inférieures à 256 Ko en tout temps. Si vous chargez trop de données en cours de route, vous obtiendrez une exception et l'exécution abandonnera.

Quels sont les différents types de flux de travail de colle?

Il existe trois types de déclencheurs de démarrage: le calendrier - le workflow est lancé selon un calendrier que vous définissez. Le calendrier peut être quotidien, hebdomadaire, mensuel, etc., ou peut être un horaire personnalisé basé sur une expression cron. À la demande - le flux de travail est démarré manuellement à partir de la console, de l'API ou de la CLI AWS AWS Glue.

Combien de travaux de colle peuvent fonctionner simultanément?

Nombre de travaux simultanés par emploi: 3. Cela signifie que vous pouvez atteindre jusqu'à trois des mêmes travaux de colle en parallèle et ces tâches ne peuvent pas dépasser la limite de 100 DPU au total. @Gorski J'ai testé avec Max Concurrence 4 et DPU 20 sur le même travail, il a bien fonctionné et a également créé plus de 4 travaux de travail à la fois.

Pourquoi les travaux de colle sont-ils si lents?

Certaines raisons courantes pour lesquelles vos emplois AWS Glue prennent beaucoup de temps sont les suivants: grands ensembles de données. Distribution non uniforme des données dans les ensembles de données. Distribution inégale des tâches entre les exécuteurs.

Pouvons-nous déclencher un travail de colle?

Dans AWS Glue, vous pouvez créer des objets de catalogue de données appelés déclencheurs, que vous pouvez utiliser pour démarrer manuellement ou automatiquement un ou plusieurs robots ou extraire, transformer et charger (ETL). En utilisant des déclencheurs, vous pouvez concevoir une chaîne d'emplois dépendants et de chenilles. Vous pouvez accomplir la même chose en définissant des workflows.