Dernière mise à jour le 29/03/2024

AWS : BigData avec Hadoop EMR

Informations générales

Type de formation : Formation continue
Domaine : Systèmes et Réseaux
Filière : Cloud computing
Rubrique : AWS
Formation éligible au CPF : Non
Formation Action collective : Non

Objectifs & compétences

Savoir mettre en oeuvre les techniques de calcul distribué avec Hadoop EMR

Public visé

Architectes, chefs de projets souhaitant bénéficier des services offerts par la distribution Hadoop fournie par AWS

Pré-requis

Connaissance des fondamentaux du cloud

Programme

Présentation AWS Hadoop EMR Rappels des services de base: EC2 (Elastic Compute Cloud), VPC (Virtual Private Cloud), S3 (Simple Storage Service), EBS (Elastic Block Storage), RDS (Relational Database Service) Caractéristiques du calcul distribué et du service EMR (Amazon Elactis MapReduce) La distribution Hadoop EMR Historique du projet hadoop Les fonctionnalités : stockage, outils d'extraction, de conversion, ETL, analyse, ... Exemples de cas d'utilisation sur des grands projets. Les principaux composants :HDFS pour le stockage et YARN pour les calculs. Les distributions et leurs caractéristiques. Composants de la distribution Hadoop EMR Mise en oeuvre Démonstrations sur une architecture Hadoop multi-noeuds. TP : mise en place d'une configuration de base avec HBase. Cycle de fonctionnement. Transferts par s3. Envoi des travaux. Visualisation des résultats. Suivi des travaux avec Hue. Interactivité avec les Notebooks : jupyter. Configuration des composants de la distribution. Exploitation Gestion des évènements avec Events. Contrôle du réseau et des VPC. Automatisation de l'exécution sur AWS depuis un poste local. Suivi distant des travaux. Journalisation, visualisation des logs.Utilisation de la ferme aws en débordement d'une ferme locale. Sécurité : mise en place d'une configuration de sécurité. Liens avec IAM. Optimisation Analyse des performances.Déploiement d'une configuration avec Spark. Evaluation des performances par rapport à une ferme locale. Comparaison des coûts. Mise en place d'automates d'optimisation.

Modalités

Modalités : en présentiel, distanciel ou mixte – Horaires de 9H à 12H30 et de 14H à 17H30 soit 7H – Intra et Inter entreprise
Pédagogie : essentiellement participative et ludique, centrée sur l’expérience, l’immersion et la mise en pratique. Alternance d’apports théoriques et d’outils pratiques.
Ressources techniques et pédagogiques : Support de formation au format PDF ou PPT Ordinateur, vidéoprojecteur, Tableau blanc, Visioconférence : Cisco Webex / Teams / Zoom
Pendant la formation : mises en situation, autodiagnostics, travail individuel ou en sous-groupe sur des cas réels

Méthodes

Fin de formation : entretien individuel
Satisfaction des participants : questionnaire de satisfaction réalisé en fin de formation
Assiduité : certificat de réalisation (validation des acquis)
Contact : contact@astonbysqli.com
 
Code de formation : VC203

Tarifs

Prix public : 1900
Tarif & financement :
Nous vous accompagnons pour trouver la meilleure solution de financement parmi les suivantes :
  • Le plan de développement des compétences de votre entreprise : rapprochez-vous de votre service RH.
  • Le dispositif FNE-Formation.
  • L’OPCO (opérateurs de compétences) de votre entreprise.
  • Pôle Emploi sous réserve de l’acceptation de votre dossier par votre conseiller Pôle Emploi.
  • CPF -MonCompteFormation
Contactez nous pour plus d’information

Lieux & Horaires

Durée : 21 heures
Délai d'accès :
Jusqu’à 8 jours avant le début de la formation

Prochaines sessions

Handi-accueillante Accessible aux personnes en situations de handicap. Pour toutes demandes, contactez notre référente, Mme Rizlene Zumaglini Mail : rzumaglini@aston-ecole.com

à voir aussi dans le même domaine...

Formation continue

Cloud computing

MSDP900

Microsoft Azure Data Fondamentaux

Principes fondamentaux des concepts de bases de données dans un environnement cloud. Identifier et écrire les concepts des données de base telles que les relationnelles, les non relationnelles, les Big Data, et l’analytique, et explorer le moyen d’implémenter cette technologie

7 heures de formations sur 1 Jours
En savoir plus

Formation continue

Cloud computing

AWS003

AWS : Opérations système

#Cloud #actioncollective #computing

Comprendre comment gérer l'accès aux ressources AWS à l'aide d'AWS Accounts and Organizations et AWS Identity and Access Management (IAM) Savoir maintenir un inventaire des ressources AWS en cours d'utilisation à l'aide de services AWS tels qu'AWS Systems Manager, AWS CloudTrail et AWS Config Apprendre à développer une stratégie de déploiement de ressources utilisant des balises de métadonnées, des images machine Amazon et une tour de contrôle pour déployer et maintenir un environnement cloud AWS Savoir automatiser le déploiement des ressources à l'aide des services AWS tels qu'AWS CloudFormation et AWS Service Catalog Être capable d'utiliser les services AWS pour gérer les ressources AWS via les processus de cycle de vie SysOps tels que les déploiements et les correctifs Pouvoir configurer un environnement cloud hautement disponible qui tire parti des services AWS tels qu'Amazon Route 53 et Elastic Load Balancing pour acheminer le trafic pour une latence et des performances optimales Comprendre comment configurer AWS Auto Scaling et Amazon Elastic Compute Cloud auto scaling pour faire évoluer votre environnement cloud en fonction de la demande Apprendre à utiliser Amazon CloudWatch et les fonctionnalités associées telles que les alarmes, les tableaux de bord et les widgets pour surveiller votre environnement cloud Savoir gérer les autorisations et suivre l'activité dans votre environnement cloud à l'aide de services AWS tels qu'AWS CloudTrail et AWS Config Pouvoir déployer vos ressources sur un Amazon Virtual Private Cloud (Amazon VPC), établir la connectivité nécessaire à votre Amazon VPC et protéger vos ressources contre les interruptions de service Expliquer les caractéristiques opérationnelles du stockage d'objets dans le cloud AWS, y compris Amazon Simple Storage Service (Amazon S3) et Amazon S3 Glacier Apprendre à créer un modèle de calcul des coûts complet pour vous aider à collecter, optimiser et prévoir vos coûts cloud à l'aide de services tels qu'AWS Cost Explorer et AWS Cost et Usage Report

21 heures de formations sur 3 Jours
En savoir plus

Formation continue

Cloud computing

VM012

Veeam Availability Suite v11: Configuration and Management

Gérer efficacement la disponibilité des données dans des environnements sur site, hors site, cloud et hybrides. S'assurer que les objectifs de temps de récupération (RTO) et les objectifs de point de récupération (RPO) sont atteints. Configurer Veeam Availability Suite pour assurer une protection efficace des données. Fournir une visibilité des actifs de données de l'entreprise pour surveiller les performances et les risques.

21 heures de formations sur 3 Jours
En savoir plus

Formation continue

Cloud computing

AZ500

Microsoft Azure – Technologies de sécurité

Comprendre les classifications spécifiques des données sur Azure Identifier les mécanismes de protection des données dans Azure Implémenter des méthodes de chiffrement de données dans Azure Sécuriser les protocoles Internet et les implémenter dans Azure Connaitre les services et fonctionnalités de sécurité Azure

28 heures de formations sur 4 Jours
En savoir plus

Formation continue

Cloud computing

ACF100

Connaissance du Cloud

#Cloud #actioncollective #computing

A l'issue de la formation, le participant sera capable de comprendre : Les définitions et les principes fondateurs du Cloud Computing Les apports concrets de ces technologies pour les entreprises Les principaux enjeux et impacts de l'utilisation des outils Cloud

14 heures de formations sur 2 Jours
En savoir plus

Formation continue

Cloud computing

MSMS600

MICROSOFT 365 : Construction de solutions basées sur le socle MS365

Apprendre à implémenter Microsoft Identity Comprendre comment travailler avec Microsoft Graph. Être capable de déterminer les cibles de la plate-forme de charge de travail. Savoir quels sont les points d'intégration, y compris Microsoft Teams, les compléments Office et SharePoint Framework

35 heures de formations sur 5 Jours
En savoir plus