Big Data
Le fonctionnement du Big Data
John Samuel
CPE Lyon
Année
: 2017-2018
Courriel
: john(dot)samuel(at)cpe(dot)fr
Big Data
Objectifs
Histoire scientifique
Les phases macroscopiques du Big Data
Science de données
Histoire scientifique
Cadran solaire
Ancien cadran solaire egyptien (1500 av. J.-C. )
Histoire scientifique
Système de numération
Histoire scientifique
Bill of sale for a donkey, 126 AD, Houghton Library, Harvard University
Histoire scientifique
Comptabilité d'entreprise
Museum für Volkskultur in Württemberg, Waldenbuch
Histoire scientifique
Machine à écrire
Machine à écrire
Histoire scientifique
Machine à écrire électronique
Machine à écrire électronique
Histoire scientifique
Ordinateur: Pascaline
Machine à calculer de Blaise Pascal à six chiffres sans sous ni deniers
Histoire scientifique
Ordinateur: La machine à différences
Machine à différences de Charles Babbage
Histoire scientifique
Ordinateur: ENIAC
L'ENIAC (photo prise entre 1947 et 1955).
Histoire scientifique
Ordinateur: ENIAC
IBM PC 5150 en 1983
Histoire scientifique
Imprimante matricielle
Imprimante matricielle (Panasonic)
Histoire scientifique
Stockage: Disquette
Disquettes 8 pouces, 5,25 pouces et 3,5 pouces
Histoire scientifique
Stockage: Disque dur
L’intérieur d’un disque dur
Histoire scientifique
Stockage: Serveurs
Serveurs
Les phases macroscopiques
Acquisition
Integration
Extraction
Nettoyage
Stockage
Analysis
Visualisation
Croissance de la capacité mondiale de stockage de données et informations
L'acquisition de données
Caissier
L'acquisition de données
Capteurs (température)
L'acquisition de données
Caméras de surveillance
L'acquisition de données
Réseautage social
L'integration et l'extraction de données
Robot d'indexation
L'integration et l'extraction de données
Vie privée
L'integration et l'extraction de données
API (Interface de programmation)
L'integration et l'extraction de données
Donnée ouverte (Open Data)
L'integration et l'extraction de données
Web des données (Linked Open data cloud)
L'integration et l'extraction de données
Données archivées
Nettoyage de données
Erreurs de syntaxe
Erreurs sémantiques
Erreurs de couverture
Nettoyage de données: Erreurs de syntaxe
Erreurs lexicales
Erreurs de formatage
Erreurs d'irrégularité
Nettoyage de données: Erreurs sémantiques
Violation des contraintes d'intégrité
Erreurs de contradiction
Erreurs de duplication
Erreurs de donnée invalide
Nettoyage de données: Erreurs de couverture
Valeur manquante
Donnée manquante
Big Data
Volume
Variété
Vélocité
Verité
Valeur
Stockage de données
Bases de données relationnelles
Base de données orientée objet
NoSQL
NewSQL
Stockage de données: NoSQL
Base de données orientée colonnes
Base de données orientée documents
Base de données clé-valeur
Base de données orientée graphe
Base de données clé-valeur
Base de données orientée colonnes
Base de données orientée graphe
Analyse des données
Approche manuelle
Les outils et applications (e.g., Tableur, Hadoop)
Analyse des données: images
Biologie/médecine
Astronomie
Robotique industrielle
Securité
Analyse d'images en histologie
Analyse des données: Robotique industrielle
Un robot industriel Motoman SDA10, robot d'assemblage
Analyse des données: Véhicule autonome
Voiture autonome dont on distingue certains capteurs sur le toit.
Analyse des données: Détection d'objet
Détection d'objet
Detection des personnes
Visualisation
Oculométrie (Eye-tracking)
Visualisation
Enjeux du réchauffement climatique: 1880(à gauche)/ 1980 (à droite), (US EPA), 2012
Visualisation
Site archéologiques de monde
Visualisation
Artistes (Histropedia)
Projet: Système de recommandation
Système de recommandation pour une bibliothèque
Big Data
Références
https://fr.wikipedia.org/wiki/Big_data
Crédits d'images
Wikimedia Commons
Pixabay