Dernière mise à jour le 26/03/2023

Spark Java, développer des applications pour le Big Data

Informations générales

Type de formation : Formation continue
Domaine : Bases de données & Big Data
Filière : Big Data
Rubrique : Fondamenteaux
Formation éligible au CPF : Non
Formation Action collective : Non

Objectifs & compétences

À l’issue de la formation, le participant sera en mesure de :
Maîtriser les concepts fondamentaux de Spark
Développer des applications avec Spark Streaming
Mettre en œuvre un cluster Spark
Exploiter des données avec Spark SQL
Avoir une première approche du Machine Learning

Public visé

Développeurs, architectes.

Pré-requis

Bonnes connaissances du langage Java. Connaissances en Big Data.
Vérifiez que vous avez les prérequis nécessaires pour profiter pleinement de cette formation en faisant

Programme

Programme de la formation
Présentation d'Apache Spark
Historique du Framework.
Les différentes versions de Spark (Scala, Python et Java).
Comparaison avec l'environnement Apache Hadoop.
Les différents modules de Spark.
Travaux pratiques
Installation et configuration de Spark. Exécution d'un premier exemple avec le comptage de mots.

Programmer avec les Resilient Distributed Dataset (RDD)
Présentation des RDD.
Créer, manipuler et réutiliser des RDD.
Accumulateurs et variables broadcastées.
Utiliser des partitions.
Travaux pratiques
Manipulation de différents Datasets à l'aide de RDD et utilisation de l'API fournie par Spark.

Manipuler des données structurées avec Spark SQL
SQL, DataFrames et Datasets.
Les différents types de sources de données.
Interopérabilité avec les RDD.
Performance de Spark SQL.
JDBC/ODBC server et Spark SQL CLI.
Travaux pratiques
Manipulation de Datasets via des requêtes SQL. Connexion avec une base externe via JDBC.

Spark sur un cluster
Les différents types d'architecture : Standalone, Apache Mesos ou Hadoop YARN.
Configurer un cluster en mode Standalone.
Packager une application avec ses dépendances.
Déployer des applications avec Spark-submit.
Dimensionner un cluster .
Travaux pratiques
Mise en place d'un cluster Spark.

Analyser en temps réel avec Spark Streaming
Principe de fonctionnement.
Présentation des Discretized Streams (DStreams).
Les différents types de sources.
Manipulation de l'API.
Comparaison avec Apache Storm.
Travaux pratiques
Consommation de logs avec Spark Streaming.

Manipuler des graphes avec GraphX
Présentation de GraphX.
Les différentes opérations.
Créer des graphes.
Vertex and Edge RDD.
Présentation de différents algorithmes.
Travaux pratiques
Manipulation de l'API GraphX à travers différents exemples.

Machine Learning avec Spark
Introduction au Machine Learning.
Les différentes classes d'algorithmes.
Présentation de SparkML et MLlib.
Implémentations des différents algorithmes dans MLlib.
Travaux pratiques
Utilisation de SparkML et MLlib.

Modalités

Modalités : en présentiel, distanciel ou mixte – Horaires de 9H à 12H30 et de 14H à 17H30 soit 7H – Intra et Inter entreprise
Pédagogie : essentiellement participative et ludique, centrée sur l’expérience, l’immersion et la mise en pratique. Alternance d’apports théoriques et d’outils pratiques.
Ressources techniques et pédagogiques : Support de formation au format PDF ou PPT Ordinateur, vidéoprojecteur, Tableau blanc, Visioconférence : Cisco Webex / Teams / Zoom
Pendant la formation : mises en situation, autodiagnostics, travail individuel ou en sous-groupe sur des cas réels

Méthodes

Fin de formation : entretien individuel
Satisfaction des participants : questionnaire de satisfaction réalisé en fin de formation
Assiduité : certificat de réalisation (validation des acquis)
Contact : contact@astonbysqli.com
Code de formation : BD021

Tarifs

Tarif & financement :
Nous vous accompagnons pour trouver la meilleure solution de financement parmi les suivantes :
  • Le plan de développement des compétences de votre entreprise : rapprochez-vous de votre service RH.
  • Le dispositif FNE-Formation.
  • L’OPCO (opérateurs de compétences) de votre entreprise.
  • Pôle Emploi sous réserve de l’acceptation de votre dossier par votre conseiller Pôle Emploi.
  • CPF -MonCompteFormation
Contactez nous pour plus d’information

Lieux & Horaires

Durée : 21 heures
Délai d'accès : 8 Jours

Prochaines sessions

Handi-accueillante Accessible aux personnes en situations de handicap. Pour toutes demandes, contactez notre référente, Mme Rizlene Zumaglini Mail : rzumaglini@aston-ecole.com

à voir aussi dans le même domaine...

Formation continue

Big Data

BD007

Big Data – Les fondamentaux de l’analyse des données

Comprendre le rôle stratégique de la gestion des données pour l'entreprise
Identifier ce qu'est la donnée, et en quoi consiste le fait d'assurer la qualité de données
Synthétiser le cycle de vie de la donnée
Assurer l'alignement des usages métiers avec le cycle de vie de la donnée
Découvrir les bonnes pratiques en matière de contrôle de qualité des données
Assurer la mise en œuvre de la gouvernance de la donnée

21 heures de formations sur 3 Jours
En savoir plus

Formation continue

Big Data

NSQL

Les fondamentaux du NoSQL

#actioncollective #NoSQL  

A l’issue de la formation, le stagiaire sera capable d’appréhender de façon opérationnelle les principales caractéristiques des bases de données NoSQL. Identifier les différences entre SGBD SQL et SGBD NoSQL Évaluer les apports et les inconvénients inhérents aux technologies NoSQL Identifier les principaux acteurs et solutions du marché pour chaque modèle de données Connaître les champs d'application des SGBD NoSQL en opérationnel et en analytique Comprendre les différentes architectures, modèles de données et implémentations techniques Identifier les critères de choix

sur 2 Jours
En savoir plus

Formation continue

Big Data

BD010

BigData avec Cassandra

Connaître les apports de Cassandra, savoir l'installer et le configurer.

21 heures de formations sur 3 Jours
En savoir plus

Formation continue

Big Data

NSQLCAA

NoSQL – Apache Cassandra, mise en œuvre et administration

#actioncollective #NoSQL  #Apache #Cassandra  

A l’issue de la formation, le stagiaire sera capable d’installer et d’administrer des bases de données sous la solution NoSQL Apache Cassandra. Découvrir l'architecture de NoSQL Apache Cassandra et ses apports par rapport aux autres solutions Installer et configurer le SGBD NoSQL Apache Cassandra Administrer et sécuriser un cluster Cassandra Appréhender le CQL (Cassandra Query Language) Créer une base de données et manipuler ses objets Connaitre la notion de grappe au sein de la base de données

sur 3 Jours
En savoir plus

Formation continue

Big Data

BD016

Hadoop Hortonworks : administration avec Ambari

Connaître les principes du framework Hadoop et savoir l'installer, le configurer et l'administrer avec Ambari (tableaux de bord, supervision, gestion des services, etc ...)

21 heures de formations sur 3 Jours
En savoir plus

Formation continue

Big Data

NSQLMDB

NoSQL – MongoDB, mise en œuvre et administration

#actioncollective #NoSQL  #MongoDB  

A l’issue de la formation, le stagiaire sera capable d’installer et d’administrer des bases de données sous la solution NoSQL MongoDB. Comprendre le fonctionnement de MongoDB Comprendre comment installer, configurer et administrer un serveur MongoDB Créer des requêtes d'interrogation Mettre en œuvre la réplication avec MongoDB Distribuer des données sur plusieurs instances d'une base MongoDB Sauvegarder les données d’une base MongoDB

sur 3 Jours
En savoir plus