Dernière mise à jour le 24/03/2023

AWS : BigData avec Hadoop EMR

Informations générales

Type de formation : Formation continue
Domaine : Systèmes et Réseaux
Filière : Cloud computing
Rubrique : AWS
Formation éligible au CPF : Non
Formation Action collective : Non

Objectifs & compétences

Savoir mettre en oeuvre les techniques de calcul distribué avec Hadoop EMR

Public visé

Architectes, chefs de projets souhaitant bénéficier des services offerts par la distribution Hadoop fournie par AWS

Pré-requis

Connaissance des fondamentaux du cloud

Programme

Présentation AWS Hadoop EMR
Rappels des services de base:
EC2 (Elastic Compute Cloud), VPC (Virtual Private Cloud), S3 (Simple Storage Service), EBS (Elastic Block Storage), RDS (Relational Database Service)
Caractéristiques du calcul distribué et du service EMR (Amazon Elactis MapReduce)

La distribution Hadoop EMR
Historique du projet hadoop
Les fonctionnalités : stockage, outils d'extraction, de conversion, ETL, analyse, ...
Exemples de cas d'utilisation sur des grands projets.
Les principaux composants :HDFS pour le stockage et YARN pour les calculs.
Les distributions et leurs caractéristiques. Composants de la distribution Hadoop EMR

Mise en oeuvre
Démonstrations sur une architecture Hadoop multi-noeuds.
TP : mise en place d'une configuration de base avec HBase. Cycle de fonctionnement. Transferts par s3. Envoi des travaux. Visualisation des résultats.
Suivi des travaux avec Hue. Interactivité avec les Notebooks : jupyter.
Configuration des composants de la distribution.

Exploitation
Gestion des évènements avec Events. Contrôle du réseau et des VPC.
Automatisation de l'exécution sur AWS depuis un poste local. Suivi distant des travaux.
Journalisation, visualisation des logs.Utilisation de la ferme aws en débordement d'une ferme locale.
Sécurité : mise en place d'une configuration de sécurité. Liens avec IAM.

Optimisation
Analyse des performances.Déploiement d'une configuration avec Spark. Evaluation des performances par rapport à une ferme locale. Comparaison des coûts.
Mise en place d'automates d'optimisation.

Modalités

Modalités : en présentiel, distanciel ou mixte – Horaires de 9H à 12H30 et de 14H à 17H30 soit 7H – Intra et Inter entreprise
Pédagogie : essentiellement participative et ludique, centrée sur l’expérience, l’immersion et la mise en pratique. Alternance d’apports théoriques et d’outils pratiques.
Ressources techniques et pédagogiques : Support de formation au format PDF ou PPT Ordinateur, vidéoprojecteur, Tableau blanc, Visioconférence : Cisco Webex / Teams / Zoom
Pendant la formation : mises en situation, autodiagnostics, travail individuel ou en sous-groupe sur des cas réels

Méthodes

Fin de formation : entretien individuel
Satisfaction des participants : questionnaire de satisfaction réalisé en fin de formation
Assiduité : certificat de réalisation (validation des acquis)
Contact : contact@astonbysqli.com
Code de formation : VC203

Tarifs

Prix public : 1900
Tarif & financement :
Nous vous accompagnons pour trouver la meilleure solution de financement parmi les suivantes :
  • Le plan de développement des compétences de votre entreprise : rapprochez-vous de votre service RH.
  • Le dispositif FNE-Formation.
  • L’OPCO (opérateurs de compétences) de votre entreprise.
  • Pôle Emploi sous réserve de l’acceptation de votre dossier par votre conseiller Pôle Emploi.
  • CPF -MonCompteFormation
Contactez nous pour plus d’information

Lieux & Horaires

Durée : 21 heures
Délai d'accès : 8 Jours

Prochaines sessions

Handi-accueillante Accessible aux personnes en situations de handicap. Pour toutes demandes, contactez notre référente, Mme Rizlene Zumaglini Mail : rzumaglini@aston-ecole.com

à voir aussi dans le même domaine...

Formation continue

Cloud computing

AZ220

Formation Microsoft Azure – Développeur IoT

Cette formation pratique permet aux participants d'acquérir les connaissances nécessaires pour réussir à créer et à maintenir les parties cloud et edge d’une solution IoT Azure.

28 heures de formations sur 4 Jours
En savoir plus

Formation continue

Cloud computing

AZ104ACO

Microsoft Azure – Administration

#Cloud #actioncollective #computing

A l’issue de la formation, le stagiaire sera capable d’administrer une infrastructure Microsoft Azure. --> La formation vise l’acquisition des connaissances et compétences rattachées au cours officiel sur l’administration de Microsoft Azure (AZ 104 ou équivalent en cas d’évolution décidée par l’éditeur). --> Ce cours s’inscrit dans le cursus de certification proposé par l’éditeur mais le passage de l’examen n’est pas compris dans la présente consultation. Savoir créer et dimensionner des machines virtuelles Être capable d’implémenter des solutions de stockage Savoir configurer les réseaux virtuels Être en mesure d’effectuer des sauvegardes et de partager des données Disposer des compétences nécessaires pour interconnecter Azure avec un site "On-Premise" Savoir implémenter Azure Active Directory Connaître les mécanismes de protection des données Azure et savoir les mettre en œuvre

sur 4 Jours
En savoir plus

Formation continue

Cloud computing

MSAI900

Microsoft Azure AI Les Fondamentaux

Cette formation présente les concepts fondamentaux liés à l’intelligence artificielle (AI) ainsi que les services de Microsoft Azure qui peuvent être utilisés pour créer des solutions d’intelligence artificielle.

7 heures de formations sur 1 Jours
En savoir plus

Formation continue

Cloud computing

AS751

VMware vSphere: Fast Track [V6.7]

Install and configure ESXi hosts
Deploy and configure VMware vCenter® Server Appliance™
Use VMware Host Client™, VMware vSphere® Web Client, and VMware vSphere® Client™ to manage the vCenter Server inventory and the vCenter Server configuration
Create virtual networks with vSphere standard switches
Describe the storage technologies supported by vSphere
Configure virtual storage using iSCSI and NFS storage
Create and manage VMware vSphere® VMFS datastores

35 heures de formations sur 5 Jours
En savoir plus

Formation continue

Cloud computing

VC111

OpenStack : configuration et administration

A l’issue de la formation, le stagiaire sera capable de mettre en oeuvre une infrastructure de Cloud privé avec la solution libre OpenStack. Comprendre les concepts clés et les bases techniques d'un Cloud privé Appréhender OpenStack et ses différentes composantes Concevoir un Cloud privé avec OpenStack Maîtriser les méthodes et bonnes pratiques de déploiement d'un Cloud privé Savoir administrer un Cloud privé

21 heures de formations sur 3 Jours
En savoir plus

Formation continue

Cloud computing

AZ303

Microsoft Azure – Technologies pour les architectes

Comprendre comment gérer les souscriptions et les ressources Azure Savoir implémenter et gérer le stockage dans Azure
Être capable de déployer et gérer des machines virtuelles
Comprendre comment configurer et gérer des réseaux virtuels
Savoir mettre en oeuvre la gestion des identités et en assurer la sécurité Connaître les différentes techniques et services propres à Azure (Service Fabric, Azure Kubernetes, …)

35 heures de formations sur 5 Jours
En savoir plus