IA & Data

Formation Data Engineering - Débutant

5 jour(s) • 35h

Éligible OPCO

8,8/10 avis apprenants

Description

Objectif général de la formation : Apporter les connaissances fondamentales sur les outils et technologies essentielles du Data Engineering pour permettre aux participants de construire et de gérer des pipelines de données.

Naviguer dans un environnement Linux et utiliser les commandes essentielles.
Utiliser Git pour le suivi des versions et le travail collaboratif.
Manipuler des conteneurs Docker pour déployer des applications.
Automatiser des workflows de données avec dbt et Airflow.
Écrire des scripts Python pour réaliser des étapes clés du pipeline de données.

Débutants en Data Engineering.
Collaborateurs techniques ou non techniques souhaitant s’initier aux pratiques du Data Engineering.

Aucun

1
Introduction au Data Engineering (3 h)
- Concepts clés du Data Engineering : définition, rôle, et importance des pipelines de données.
- Les principaux outils et leur positionnement dans le cycle de vie des données.
- Travaux pratiques : Identifier les étapes d’un pipeline à partir d’un cas concret simplifié.
- Travaux pratiques : Défis communs rencontrés dans la gestion des pipelines.
2
Git (3 h)
- Introduction à Git : gestion de versions, travail collaboratif.
- Travaux pratiques : Initialiser un dépôt, gérer des branches, résoudre un conflit simple.
- Bonnes pratiques pour travailler en équipe avec Git.
3
Linux & Bash (5 h)
- Navigation dans un système Linux : commandes de base, structure des fichiers.
- Travaux pratiques : Manipuler des fichiers, gérer les permissions, utiliser des commandes avancées comme grep et sed.
- Création de scripts pour automatiser des tâches courantes (ex : nettoyage de données, gestion de logs).
- Travaux pratiques : Écrire un script qui automatise la sauvegarde de fichiers.
4
Conteneurisation avec Docker (6 h)
- Introduction aux conteneurs : concepts de base et terminologie.
- Création d’images Docker personnalisées.
- Travaux pratiques : Construire et exécuter une image Docker pour une application Python.
- Réseautage et gestion des volumes avec Docker.
- Travaux pratiques : Déployer une application multi-conteneurs avec Docker Compose.
5
Automatisation avec dbt et Airflow (9 h)
- Concepts clés : modélisation des données et transformations.
- Travaux pratiques : Créer un modèle simple avec dbt et le valider.
- Configuration d’un projet dbt : fichiers de configuration, tests, et documentation.
- Comprendre les DAGs (Directed Acyclic Graphs) : structure et mise en œuvre.
- Exercice pratique : Créer un DAG pour orchestrer un workflow.
- Gestion des dépendances entre tâches et suivi des exécutions.
- Déploiement d’Airflow dans un environnement Docker.
6
Python pour le Data Engineering (9 h)
- Introduction aux structures de données (listes, dictionnaires).
- Travaux pratiques : Manipuler des fichiers CSV et JSON avec Python.
- Écriture de scripts pour automatiser les transformations de données.
- Travaux pratiques : Automatiser l’intégration de fichiers de données dans une base SQL.
- Développement de modules personnalisés pour les workflows.
- Travaux pratiques : Intégrer un script Python dans un pipeline orchestré avec Airflow.

Ils nous font Confiance

Nos partenaires de confiance

Questions fréquentes

FAQ : Formation Data Engineering - Débutant

Oui, mais la prise en charge d'une formation professionnelle par un OPCO dépend de votre opérateur de compétences, de votre branche d'activité et des critères de financement applicables. Ascent Formation vous accompagne dans l'identification des possibilités de financement adaptées à votre entreprise.
Une formation inter-entreprises réunit des participants issus de différentes organisations, tandis qu'une formation intra-entreprise est organisée pour les collaborateurs d'une même entreprise. Le format intra permet notamment d'adapter le contenu et les modalités aux besoins spécifiques de vos équipes.
Selon la formation proposée, il est possible de suivre une formation professionnelle à distance, en présentiel ou selon d'autres modalités disponibles. Consultez les informations de la session concernée ou contactez-nous pour connaître les formats possibles.
Oui, une formation professionnelle peut être adaptée aux objectifs, au niveau des participants et aux besoins opérationnels de votre entreprise. Ascent Formation vous propose des parcours personnalisés pour accompagner le développement des compétences de vos équipes.