Big data
Traiter de très grands volumes de données avec Spark et le lakehouse.
Votre projet fil rouge
Suivre les prix des marchés d'un pays
- Le besoin
- Réunir des années de relevés et répondre vite à : où et quand les prix montent-ils ?
- Les données
- Relevés de prix publics, comme ceux du Programme alimentaire mondial.
- Les outils externes
- SparkDatabricksSQLGitHub
Atelier
Établir les besoins
Qui s'en sert, quel problème ça résout, comment savoir que c'est réussi.
Ce que vous apprendrez
- Python et SQL appliqués aux gros volumes
- Apache Spark : traitements par lots et en continu
- Stockage distribué et architecture lakehouse
- Fiabilité, coût et supervision des chaînes de données
Certifications visées à la fin du parcours
Aucune certification ne porte le titre « big data » : celles-ci, sur Spark et le lakehouse, en sont les plus proches.
- Premier niveauDatabricks Certified Associate Developer for Apache SparkDatabricks
- IntermédiaireDatabricks Certified Data Engineer AssociateDatabricks
- AvancéDatabricks Certified Data Engineer ProfessionalDatabricks
Ces certifications sont délivrées par leurs organismes, pas par Nangmo, et leurs examens se paient auprès d'eux. Vérifiées le 3 novembre 2026 : confirmez la langue, le tarif et le lieu d'examen sur leur site avant de vous inscrire. Ces examens se passent en général sans IA : il faudra savoir lire et raisonner seul.
Pour débuter une carrière dans ce domaine
- 1Apprenez à lire Python et SQL, puis faites traiter un vrai jeu de données par Spark avec le guide, en comprenant chaque étape.
- 2Publiez une chaîne de données complète et documentée sur GitHub.
- 3Passez la certification Spark, puis Data Engineer Associate.
- 4Visez un premier poste de data engineer junior ou de développeur ETL, dans une banque, un opérateur télécom ou un cabinet de conseil.
Premiers postes à viser
- Data engineer junior
- Développeur ETL
- Développeur Spark
L'atelier est ouvert, mais les leçons de ce parcours ne sont pas encore en ligne. Dites-nous qu'il vous intéresse : cela nous aide à choisir lesquelles écrire d'abord.