Dernière mise à jour le 29/03/2024

Hadoop, développer des applications pour le Big Data

Informations générales

Type de formation : Formation continue
Domaine : IA, Big Data et Bases de données
Filière : Big Data
Rubrique : NoSQL et Hadoop
Formation éligible au CPF : Non
Formation Action collective : Non

Objectifs & compétences

Construire un programme à base de Map Reduce Intégrer Hadoop HBase dans un workflow d'entreprise Travailler avec Apache Hive et Pig depuis HDFS Utiliser un graphe de tâches avec Hadoop

Public visé

Concepteurs, développeurs.

Pré-requis

Bonne expérience en développement Java. Des connaissances en architecture Web constituent un plus.

Programme

Le Big Data Définition du périmètre du Big Data. Le rôle du projet Hadoop. Les concepts de base des projets Big Data. Présentation du Cloud Computing. Différence entre Cloud Computing privé et public. Les architectures Big Data à base du projet Hadoop. Démonstration Usage d'Hadoop et de GoogleApp. Collecte de données et application de Map Reduce Analyse des flux de données dans l'entreprise. Données structurées et non-structurées. Les principes de l'analyse sémantique des données d'entreprise. Graphe des tâches à base de MapReduce. La granularité de cohérence des données. Transfert de données depuis un système de persistance dans Hadoop. Transfert de données d'un Cloud dans Hadoop. Travaux pratiques Gérer la collecte d'informations clientèles par Map Reduce. Configuration de l'implémentation YARN. Développement d'une tâche basée sur Map Reduce. Le stockage des données avec HBase Plusieurs types de base de données XML. Patterns d'usages et application au Cloud. Application de Hadoop database au sein d'un workflow. Utilisation des projets Hive/Pig. Utilisation du projet HCatalog. L'API Java HBase. Travaux pratiques Gérer les modifications d'un catalogue de données fournisseur. Le stockage des données sur HDFS Patterns d'usages et application au Cloud. Architecture et installation d'un système HDFS, journal, NameNode, DataNode. Opérations, commandes et gestion des commandes. L'API HDFS Java. Analyse de données avec Apache Pig. Le langage Pig Latin. Utiliser Apache Pig avec Java. Requêtage avec Apache Hive. Réplication de données. Partage de données sur une architecture HDFS. Travaux pratiques Administrer un référentiel client partagé sur Hadoop. Utilisation de la console de visualisation. Spring Data Hadoop Introduction à Spring et Spring Data. Le namespace Hadoop pour Spring. Utiliser Spring pour simplifier la configuration Hadoop. Configuration du cache distribué. Définition des Jobs et dépendance entre Jobs. Intégration des outils (Pig, Hive...).

Modalités

Modalités : en présentiel, distanciel ou mixte – Horaires de 9H à 12H30 et de 14H à 17H30 soit 7H – Intra et Inter entreprise
Pédagogie : essentiellement participative et ludique, centrée sur l’expérience, l’immersion et la mise en pratique. Alternance d’apports théoriques et d’outils pratiques.
Ressources techniques et pédagogiques : Support de formation au format PDF ou PPT Ordinateur, vidéoprojecteur, Tableau blanc, Visioconférence : Cisco Webex / Teams / Zoom
Pendant la formation : mises en situation, autodiagnostics, travail individuel ou en sous-groupe sur des cas réels

Méthodes

Fin de formation : entretien individuel
Satisfaction des participants : questionnaire de satisfaction réalisé en fin de formation
Assiduité : certificat de réalisation (validation des acquis)
Contact : contact@astonbysqli.com
 
Code de formation : DB014

Tarifs

Prix public : 2710
Tarif & financement :
Nous vous accompagnons pour trouver la meilleure solution de financement parmi les suivantes :
  • Le plan de développement des compétences de votre entreprise : rapprochez-vous de votre service RH.
  • Le dispositif FNE-Formation.
  • L’OPCO (opérateurs de compétences) de votre entreprise.
  • Pôle Emploi sous réserve de l’acceptation de votre dossier par votre conseiller Pôle Emploi.
  • CPF -MonCompteFormation
Contactez nous pour plus d’information

Lieux & Horaires

Campus : , Ensemble des sites

Durée : 28 heures
Délai d'accès :
Jusqu’à 8 jours avant le début de la formation

Distanciel possible : Oui

Prochaines sessions

Cliquez sur la date choisie pour vous inscrire :

  • Inscription au 12 / 11 / 2024
    : Ensemble des sites
    : Distanciel possible
    : 28 heures
    : 4 jours
Handi-accueillante Accessible aux personnes en situations de handicap. Pour toutes demandes, contactez notre référente, Mme Rizlene Zumaglini Mail : rzumaglini@aston-ecole.com

à voir aussi dans le même domaine...

Formation continue

Big Data

BDRN102

Hadoop Cloudera : administration

Connaître les principes du framework Hadoop et savoir l'installer et le configurer. Maitriser la configuration et la gestion des services avec Cloudera Manager   

21 heures de formations sur 3 Jours
En savoir plus

Formation continue

Big Data

BD001

Bigdata : architecture et technologies

Comprendre les concepts du BigData et savoir quelles sont les technologies implémentées.

14 heures de formations sur 2 Jours
En savoir plus

Formation continue

Big Data

BD021

Spark, développer des applications pour le Big Data

A l’issue de la formation, le stagiaire sera capable de maîtriser le framework Spark pour traiter des données hétérogènes et optimiser les calculs.   Maîtriser les concepts fondamentaux de Spark Savoir intégrer Spark dans un environnement Hadoop Développer des applications d’analyse en temps réel avec Spark Streaming Faire de la programmation parallèle avec Spark sur un cluster Manipuler des données avec Spark SQL Avoir une première approche du Machine Learning

21 heures de formations sur 3 Jours
En savoir plus

Formation continue

Big Data

BDRN103

Hadoop : Hbase mise en œuvre et administration

A l’issue de la formation, le stagiaire sera capable d’installer et de mettre en œuvre une configuration distribuée de données sous la solution HBase. Comprendre le fonctionnement de HBase, savoir mettre en place une configuration distribuée  

14 heures de formations sur 2 Jours
En savoir plus

Formation continue

Big Data

BD003

Big Data – L’essentiel

Comprendre le concept du Big Data Être capable d'identifier l’écosystème et comprendre les technologies associées Savoir anticiper son intégration dans les activités informatiques de l'entreprise Être en mesure de l'exploiter dans le respect des règles de sécurité et de confidentialité

14 heures de formations sur 2 Jours
En savoir plus

Formation continue

Big Data

BD022

Elastic Stack pour administrateurs

Comprendre le fonctionnement d'Elasticsearch, savoir l'installer et le configurer, gérer la sécurité avec X-Pack, et installer / configurer kibana pour le mapping sur les données Elasticsearch.

14 heures de formations sur 2 Jours
En savoir plus