Traitement de données massives

John Samuel
CPE Lyon

Année: 2023-2024
Courriel: john(dot)samuel(at)cpe(dot)fr

Objectifs

1. Histoire scientifique (Big Data)
2. Répresentation, manipulation et prétraitement de données
3. Traitement de données
4. Construction des modèles de traitement: apprentissage machine
5. Données ouvertes liées
6. Analyse des données: Hadoop, Hive et Spark

Environnement de programmation:

• Système d'exploitation: Linux
• Ubuntu
• Machine virtuelle (VirtualBox) + Ubuntu
• Éditeur: Jupyter
• Logiciels:
  • Python: pandas, numpy, matplotlib, scikit-learn
  • Hadoop, Hive, Spark, Docker/Kubernetes

Cours:

• Interactifs
• Devoir surveillé: 60%

Travaux pratiques et Projet

• Projet: 40%
• 3 travaux pratiques et projet
• Programmation en binôme
• Soumission en ligne

Travaux pratiques

Soumission: Travaux pratiques et Projet

Travaux pratiques

Chaque exercice a un niveau de difficulté

• ★: Facile
• ★★: Difficulté moyenne
• ★★★: Difficile

Liste de contrôle

Avant de déposer votre projet, vérifiez si vous respectez la liste de contrôle suivante:

• ✅ Une seule soumission par binôme.
• ✅ Les noms (prénom et noms) de la binôme sont présents dans le fichier CONTRIBUTORS
• ✅ Votre rapport est complet avec toutes les sections requises.
• ✅ Votre code est bien commenté.
• ✅ Votre code peut être exécuté sans aucune erreur (et si possible, sans aucun avertissement).
• ✅ Contenu de votre soumission:
• Fichier(s) notebook (*.ipynb)
• Dockerfile et les fichiers de configuration
• CONTRIBUTORS
• rapport en format PDF (5 pages maximum, Arial 11pt)
• ⚠ Pas de fichiers Python (*.py)

Modèle de code

Vous pouvez consulter https://github.com/johnsamuelwrites/TDM en ligne
ou le cloner sur votre machine à l'aide du terminal en utilisant les commandes suivantes.

                	  $ git clone https://github.com/johnsamuelwrites/TDM

                	  $ cd TDM

                	  $ ls
                	 

Et pour les dernières modifications:

                	  $ git pull

                	 

Travaux pratiques: Notebooks Jupyter

Travaux pratiques: Notebooks Jupyter

Travaux pratiques: notebook Jupyter

Travaux pratiques: Visualisation et notebook Jupyter

Travaux pratiques: Visualisation et notebook Jupyter

Travaux pratiques: Wikidata (Open Data)

Cadran solaire

Système de numération

Systèmes

• Système distribué (a, b)
• Système parallèle (c)

Calcul distribué

Les projets suivants ont utilisé la puissance de traitement des ordinateurs personnels pour différents objectifs

• Genome@home: pour l'étude des génomes et des protéines
• Folding@home: simuler le repliement des protéines dans diverses configurations de température et de pression
• SETI@home: détecter de la vie intelligente non terrestre
• LHC@Home: simuler les collisions de particules élémentaires dans l’accélérateur de particules LHC

Le populisme de la base de données [Driscoll 2012]

• La surveillance et le contrôle
• La fonction sociale de la technologie des bases de données
  • fin du XIXe siècle: les systèmes de cartes perforées électromécaniques et le traitement de l'information à grande échelle
  • fin des années 1970: la disponibilité des micro-ordinateurs et la mise en œuvre du modèle de données relationnelles
  • début du 21ème siècle: le traçage des utilisateurs grâce à des systèmes de communication hautement centralisés

Big Data: 3V [Chen 2012, Kwon 2014, Gandomi 2015]

• Volume
  • Images et vidéos
• Variété
  • données structurées
  • données non-structurées
  • données semi-structurées
• Vélocité
  • la vitesse à laquelle les données sont générées
  • millions de transactions par heure

Big Data: 6V [Gandomi 2015]

• Volume
• Variété
• Vélocité
• Verité
  • traiter des données imprécises et incertaines
• Variabilité
  • la variation des flux de données
  • des pics et des dépressions
• Valeur
  • obtenir une valeur élevée en analysant de grands volumes de données

Big Data [Kitchin 2016]

• Exhaustif
  • capable de capturer un système entier
• Extension
  • de nouveaux éléments peuvent être facilement ajoutés

• https://fr.wikipedia.org/wiki/Big_data
• https://en.wikipedia.org/wiki/Genome@home
• https://fr.wikipedia.org/wiki/Folding@home
• https://fr.wikipedia.org/wiki/SETI@home
• https://fr.wikipedia.org/wiki/LHC@home

Crédits d'images

• Wikimedia Commons
• Pixabay