Expert Big Data Engineer (MS)

RNCP36398BC01Analyser l'existant et proposer des solutions liées à la data

• Analyser les problématiques au sein de d’une organisation privée/publique en mettant en place un déploiement d’une architecture ou d’une structure, en interagissant avec des interlocuteurs différents et concernés par la problématique afin d’émettre des recommandations adaptées au contexte et au besoin de l’entreprise . Animer et mener une réunion avec tous les acteurs principaux et secondaires concernés par une problématique existante ou nouvelle afin de trouver les éventuelles solutions pour la résoudre en tenant compte de l’avis des différents acteurs et afin de s’immerger dans l’écosystème de la structure dans lequel on intervient. Formaliser le besoin émanant de la problématique au sein d’un cahier des charges dans le respect du budget alloué afin de proposer des solutions réalisables et réalistes avec les données et ressources propres possédées. Présenter un rapport détaillé de faisabilité en tenant compte des paramètres extérieurs tels que le développement durable, la réglementation en vigueur liée à la confidentialité des données, l’éthique afin de les rendre compatible avec les contraintes inhérentes à l’organisation.

Évaluation : Réalisation de Projets En équipe, les candidats devront répondre à une problématique client fictive. En relation avec des experts, ils doivent étudier un système d’informations donné, appréhender le volume de données et les risques afin d’apporter des recommandations. Un rapport détaillant les différentes étapes du processus de traitement de la problématique est attendu de chaque groupe, suivie d’une présentation orale. Contrôle continu sous forme d’évaluations écrites Ces évaluations se réalisent sous la forme de questionnaires ou d’exercices. Ils sont d’une durée d’une heure à deux heures au maximum. Il s’agit de questions portant sur la réglementation de la gestion de données massives et sur la méthodologie de l’analyse des besoins et des problématiques. Mise en situation professionnelle avec un jeu de données en équipe Il s’agit d’un travail en équipe sur des sites, afin de trouver des algorithmes. Ce travail se déroule en fil rouge. Les candidats sont dans une situation d’un travail en équipe, avec un chef d’équipe qui répartit les tâches au sein du groupe (vérification de la base, travail des algorithmes, rédaction d’un rapport…). Le candidat est mis en situation dans un groupe d’étudiants dont il anime une réunion en tant que chef de projet. Chaque équipe doit rendre une feuille de route de projet, détaillant les jalons définis, les acteurs et leur rôle, le tableau de bord de suivi du travail, et le reporting de la cartographie des données pour l’animation de la réunion. Réalisation de Projets Rédaction d’un cahier des charges présentant le besoin et les contraintes (budget, délai, technique) et le présenter à l’oral. En plus du rapport de projet, l’étudiant devra rendre un suivi écrit retraçant les éventuelles difficultés rencontrées et liées à la réalisation de l’objectif du projet. Étude de cas Il est remis à l’étudiant un scénario, dont il doit faire un rapport détaillé en tenant compte des différents aspects nécessaires au respect de la procédure réglementaire. L’étudiant doit rendre le rapport et faire une présentation orale devant les membres du jury composé de l’enseignant et 3 étudiants. Contrôle continu sous forme d’évaluations écrites Elles se réalisent sous la forme de questionnaires ou d’exercices. Elles sont d’une durée d’une heure à deux heures au maximum. Il s’agit de questions portant sur la réglementation de la gestion de données massive et sur les stratégies en matière de possession, gestion et transformation des données.

RNCP36398BC02Déployer des infrastructures informatiques pour stocker, extraire et analyser la data

• Identifier la façon dont l’organisation assure le stockage et le format des données internes, structurées ou non structurées, en tenant compte des données manquantes, erronées ou perdues, des différents processus en fonction des pays, des entités qui vont produire les flux de données et de la réglementation en vigueur sur la confidentialité des données (RGPD) afin d’avoir un jeu de données adaptées (ex : Data Frame Python, R/Tibble) Mettre en place les protocoles nécessaires à l’utilisation des web services au sein de la structure en réalisant des tests sur les services et rédigeant une documentation et en communiquant auprès des équipes pour leur permettre de les utiliser de façon optimale. Mettre en œuvre des techniques d’extraction d’information intrinsèque ou par recoupement d’interconnexion en utilisant des outils permettant la visualisation de tendances en grandes dimensions afin d’extraire des Data pertinentes dans les flux de données.

Évaluation : Réalisation de Projets : étude sur la mise en place d’un projet data en intégrant les contraintes techniques et législatives. Soutenance orale du projet. Chaque étudiant doit rendre sa feuille de route de projet définissant la charte du projet, le calendrier prévisionnel, la présentation des résultats en tenant compte des aspects législatifs. Réalisation de Projets : le projet porte sur la rédaction de protocoles / tutoriels. L’étudiant doit préparer des exemples types, et fournir des solutions adaptées à ces derniers. La mise en place d’un forum et wiki de discussion autour de l’outil mis en place est aussi requise. L’étudiant doit rendre son rapport avec les exemples types et les solutions sélectionnées Réalisation de Projets : mise en place d’outils de visualisation des données et de calculs d’indicateurs par exemple à l’aide des bibliothèques pandas de Python et tidyverse de R. L’étudiant doit rendre rapport et un script (une succession de commandes commentées soit sur Python/R).

RNCP36398BC03Traiter et visualiser de la data

• Programmer en utilisant des langages de programmation adaptés à la donnée récoltée au sein de l’organisation et de la donnée provenant de sources extérieures afin de mettre en place des algorithmes gérant le volume important des données. Utiliser des outils avancés pour la visualisation des données en choisissant les outils adaptés, en respectant les méthodes de représentation graphique afin d’obtenir une visualisation dynamique des données. Analyser les données représentées graphiquement en identifiant les tendances et les valeurs inhabituelles dans ces données afin de prendre des décisions en s’appuyant sur ces données et d’apporter ainsi une solution aux utilisateurs.

Évaluation : Réalisation de Projets : le projet est centré sur les aspects techniques de la résolution d’un ou plusieurs problèmes réels. Le projet se fait en petit groupe (chef de projet, programmeur et testeur). Les étudiants devront répondre à une problématique donnée à leur groupe. Un retour d’expérience des autres groupes est également proposé. Chaque groupe devra rendre son rapport de projet avant la soutenance devant le jury composé de l’enseignant expert et trois étudiants. Le retour d’expérience se fera à la fin des soutenances, chaque groupe choisira un orateur qui prendre la parole pendant 5 minutes pour donner leur impression par rapport à la vie de groupe. Réalisation de Projets : réalisation et présentation d’une visualisation dynamique dans le cadre de son projet. Les étudiants devront trouver par eux-mêmes une base de données qui nécessite la mise en place d’une visualisation approfondie et dynamique. Les étudiants en binôme devront rendre un rapport de projet lors de l’évaluation. Réalisation de Projets : une base de données issue de tous les domaines possibles est donnée aux étudiants avec une problématique bien définie et des questions ouvertes. Des groupes d’étudiants procèdent à l’analyse des données. Il est attendu une présentation orale des résultats obtenus. Cette présentation est suivie d’échanges et de questions avec le professeur et deux rapporteurs choisis parmi les étudiants. Le reporting de présentation est requis.

RNCP36398BC04Analyser et modéliser la data

• Utiliser des outils permettant l’analyse et la classification de données sous différents angles afin d’identifier les liaisons ou les patterns (motifs) entre les nombreuses bases de données relationnelles Déployer un modèle d’apprentissage profond (Deep Learning) en développant des modèles, des algorithmes via une interface de programmation/graphique, en réalisant un document méthodologique/technique et en communiquant oralement sur ce modèle afin de favoriser l’intégration sa démarche de modélisation auprès de ses utilisateurs Assurer le traitement de volumes variés (gros ou non) de données avec un langage de programmation/logiciel dédié gérant des algorithmes afin de permettre à la structure d’opérer plus vite.

Évaluation : Réalisation de Projets : le projet demande dans un premier temps d’expliquer pourquoi nous sommes dans une problématique de grande dimension. La deuxième partie réclame la mise en application des techniques de grande dimension. La problématique est tournée soit vers un problème de classification, soit vers un problème de prédiction. Le rendu du projet se fera sous forme d’une présentation orale, devant un jury composé du professeur et de deux étudiants. Réalisation de Projets : le projet est tourné vers deux axes. Le premier axe concerne la prédiction. Pour qualifier cette prédiction, des indicateurs seront précisés et discutés (leur pertinence). Un deuxième axe est orienté vers la consommation de ressources et l’impact environnemental. L’étudiant devra rendre un rapport écrit en ne négligeant pas l’impact environnemental. En effet, il devra convaincre le lecteur au déploiement de son algorithme de Deep Learning Réalisation de Projets : le projet est axé principalement sur l’explication détaillée et argumentée par l’étudiant du traitement de la masse des données. Il ne négligera pas la prise en compte de l'énergie dépensée pour traiter la masse de données. Il devra mettre en concurrence plusieurs prestataires pour résoudre son problème d’énergie. Un rapport écrit est demandé avec la mise en pratique du traitement de la masse des données et les bons arguments. Il expliquera comment il a choisi et motivera ses décisions. La présentation se fera à l’oral devant un jury composé du professeur et deux professionnels extérieurs.