Dernière mise à jour le 29/03/2024

Hadoop, développer des applications pour le Big Data

Informations générales

Type de formation : Formation continue
Domaine : IA, Big Data et Bases de données
Filière : Big Data
Rubrique : NoSQL et Hadoop
Formation éligible au CPF : Non
Formation Action collective : Non

Objectifs & compétences

Construire un programme à base de Map Reduce Intégrer Hadoop HBase dans un workflow d'entreprise Travailler avec Apache Hive et Pig depuis HDFS Utiliser un graphe de tâches avec Hadoop

Public visé

Concepteurs, développeurs.

Pré-requis

Bonne expérience en développement Java. Des connaissances en architecture Web constituent un plus.

Programme

Le Big Data Définition du périmètre du Big Data. Le rôle du projet Hadoop. Les concepts de base des projets Big Data. Présentation du Cloud Computing. Différence entre Cloud Computing privé et public. Les architectures Big Data à base du projet Hadoop. Démonstration Usage d'Hadoop et de GoogleApp. Collecte de données et application de Map Reduce Analyse des flux de données dans l'entreprise. Données structurées et non-structurées. Les principes de l'analyse sémantique des données d'entreprise. Graphe des tâches à base de MapReduce. La granularité de cohérence des données. Transfert de données depuis un système de persistance dans Hadoop. Transfert de données d'un Cloud dans Hadoop. Travaux pratiques Gérer la collecte d'informations clientèles par Map Reduce. Configuration de l'implémentation YARN. Développement d'une tâche basée sur Map Reduce. Le stockage des données avec HBase Plusieurs types de base de données XML. Patterns d'usages et application au Cloud. Application de Hadoop database au sein d'un workflow. Utilisation des projets Hive/Pig. Utilisation du projet HCatalog. L'API Java HBase. Travaux pratiques Gérer les modifications d'un catalogue de données fournisseur. Le stockage des données sur HDFS Patterns d'usages et application au Cloud. Architecture et installation d'un système HDFS, journal, NameNode, DataNode. Opérations, commandes et gestion des commandes. L'API HDFS Java. Analyse de données avec Apache Pig. Le langage Pig Latin. Utiliser Apache Pig avec Java. Requêtage avec Apache Hive. Réplication de données. Partage de données sur une architecture HDFS. Travaux pratiques Administrer un référentiel client partagé sur Hadoop. Utilisation de la console de visualisation. Spring Data Hadoop Introduction à Spring et Spring Data. Le namespace Hadoop pour Spring. Utiliser Spring pour simplifier la configuration Hadoop. Configuration du cache distribué. Définition des Jobs et dépendance entre Jobs. Intégration des outils (Pig, Hive...).

Modalités

Modalités : en présentiel, distanciel ou mixte – Horaires de 9H à 12H30 et de 14H à 17H30 soit 7H – Intra et Inter entreprise
Pédagogie : essentiellement participative et ludique, centrée sur l’expérience, l’immersion et la mise en pratique. Alternance d’apports théoriques et d’outils pratiques.
Ressources techniques et pédagogiques : Support de formation au format PDF ou PPT Ordinateur, vidéoprojecteur, Tableau blanc, Visioconférence : Cisco Webex / Teams / Zoom
Pendant la formation : mises en situation, autodiagnostics, travail individuel ou en sous-groupe sur des cas réels

Méthodes

Fin de formation : entretien individuel
Satisfaction des participants : questionnaire de satisfaction réalisé en fin de formation
Assiduité : certificat de réalisation (validation des acquis)
Contact : contact@astonbysqli.com
 
Code de formation : DB014

Tarifs

Prix public : 2710
Tarif & financement :
Nous vous accompagnons pour trouver la meilleure solution de financement parmi les suivantes :
  • Le plan de développement des compétences de votre entreprise : rapprochez-vous de votre service RH.
  • Le dispositif FNE-Formation.
  • L’OPCO (opérateurs de compétences) de votre entreprise.
  • Pôle Emploi sous réserve de l’acceptation de votre dossier par votre conseiller Pôle Emploi.
  • CPF -MonCompteFormation
Contactez nous pour plus d’information

Lieux & Horaires

Campus : , Ensemble des sites

Durée : 28 heures
Délai d'accès :
Jusqu’à 8 jours avant le début de la formation

Distanciel possible : Oui

Prochaines sessions

Cliquez sur la date choisie pour vous inscrire :

  • Inscription au 12 / 11 / 2024
    : Ensemble des sites
    : Distanciel possible
    : 28 heures
    : 4 jours
Handi-accueillante Accessible aux personnes en situations de handicap. Pour toutes demandes, contactez notre référente, Mme Rizlene Zumaglini Mail : rzumaglini@aston-ecole.com

à voir aussi dans le même domaine...

Formation continue

Big Data

BDP05

Visualisation avancée de données avec Python

Savoir traiter les données scientifiques brutes pour leur visualisation Savoir utiliser les librairies graphiques de python pour visualiser des données Graphiques spécifiques : graphes dynamiques, cartographie

14 heures de formations sur 2 Jours
En savoir plus

Formation continue

Big Data

BD016

Hadoop Hortonworks : administration avec Ambari

Connaître les principes du framework Hadoop et savoir l'installer, le configurer et l'administrer avec Ambari (tableaux de bord, supervision, gestion des services, etc ...)

21 heures de formations sur 3 Jours
En savoir plus

Formation continue

Big Data

DB034

Dataiku DSS

Savoir installer, configurer, Dataiku DSS, l'utiliser depuis l'interface web ou des API. Présentation, concepts DSS Connexion aux données Préparation des données Graphiques et statistiques Machine learning Flow/Recipes Interfaces de programmation

14 heures de formations sur 2 Jours
En savoir plus

Formation continue

Big Data

BD018

Hadoop : l’écosystème

Chefs de projets, développeurs, et toute personne souhaitant comprendre les mécanismes Hadoop et le rôle de chaque composant.

7 heures de formations sur 1 Jours
En savoir plus

Formation continue

Big Data

NSQL

Les fondamentaux du NoSQL

#actioncollective #NoSQL  

A l’issue de la formation, le stagiaire sera capable d’appréhender de façon opérationnelle les principales caractéristiques des bases de données NoSQL. Identifier les différences entre SGBD SQL et SGBD NoSQL Évaluer les apports et les inconvénients inhérents aux technologies NoSQL Identifier les principaux acteurs et solutions du marché pour chaque modèle de données Connaître les champs d'application des SGBD NoSQL en opérationnel et en analytique Comprendre les différentes architectures, modèles de données et implémentations techniques Identifier les critères de choix   

14 heures de formations sur 2 Jours
En savoir plus

Formation continue

Big Data

BD019

Développer des applications pour Spark avec Hadoop Cloudera avec Certification

Identifier et utiliser les outils appropriés à chaque situation dans un écosystème hadoop Utiliser Apache Spark et l'intégrer dans l'écosystème hadoop Utiliser Sqoop, Kafka, Flume, Hive et Impala

28 heures de formations sur 4 Jours
En savoir plus