IA & Data

BigData : intégration SQL, Hive, SparkDataFrames

2 jour(s) • 14h

Description

Objectif de la formation : La formation vise à doter les participants de compétences pratiques pour manipuler, analyser et traiter de grands volumes de données en utilisant SQL, Hive et Spark DataFrames. L'apprenant aura les connaissances nécessaires pour intégrer ces technologies afin d'optimiser l'extraction, la transformation et le chargement (ETL) des données dans des environnements Big Data.

Objectifs pédagogiques

Comprendre les rôles de SQL, Hive, et Spark dans l'écosystème Big Data.
Être capable de réaliser des manipulations de données complexes et des analyses avec Hive.
Maîtriser l'utilisation des Spark DataFrames pour le traitement de données à grande échelle.
Intégrer SQL, Hive et Spark pour optimiser les processus ETL dans des projets Big Data.

Public concerné

Développeurs

Ingénieurs Big Data

Data analysts

Prérequis

Connaissances de base en programmation SQL.

Familiarité avec les concepts de base du traitement de données et des systèmes de gestion de bases de données.

Une expérience préalable avec des outils de traitement de données comme Hive ou Spark est un plus, mais pas obligatoire.

Déroulé du programme

SQL et Hive pour le Big Data

Principes de base du SQL
Introduction à Hive et son architecture
Création de tables et requêtes Hives
Importation et exportation de données
Travaux pratiques : Cas d'utilisation réel de requêtes et d'analyse de données avec Hive

Spark DataFrames et intégration des technologies

Architecture de Spark
Principes de base des DataFrames dans Spark
Traitement avancé des données avec Spark DataFrames (filtrage, agrégation, jointures...)
Optimisations des requêtes et performances
Travaux pratiques : réalisation d'un projet d'ETL en utilisant SQL, Hive et Spark DataFrames