Chimie et Numérique

Introduction à Big Data

John Samuel
CPE Lyon

Year: 2017-2018
Email: john(dot)samuel(at)cpe(dot)fr

Creative Commons License

Chimie et Numérique

Cours/TP Dates
1 mai 18
2 mai 25
3 mai 31

Chimie et Numérique

Travaux pratiques

Evaluation

Big Data

Objectifs

Histoire scientifique

Ancien cadran solaire egyptien (1500 av. J.-C. )
126 AD, Houghton Library, Harvard University

Comptabilité d'entreprise


Museum für Volkskultur in Württemberg, Waldenbuch
Machine à écrire
Machine à écrire électronique

Histoire scientifique

Imprimante matricielle (Panasonic)
Disquettes 8 pouces, 5,25 pouces et 3,5 pouces
L’intérieur d’un disque dur

Histoire scientifique

Machine à calculer de Blaise Pascal à six chiffres
Machine à différences de Charles Babbage
L'ENIAC (photo prise entre 1947 et 1955).

Stockage et Calcul

Serveurs
Croissance de la capacité mondiale de stockage de données et informations

Big Data (Masses de données): 5V

Les phases macroscopiques

  1. Acquisition
  2. Nettoyage
  3. Stockage
  4. Analysis
  5. Visualisation

L'acquisition de données

Caissier
Capteurs (température)
Caméras de surveillance
Réseautage social

L'acquisition de données

  1. Questionnaires
    • Questionnaires face à face
    • Questionnaires en ligne
  2. Capteurs1
    • Température, pression, humidité
    • Acoustique, navigation
    • Proximité, capteurs de présence
  3. Réseau sociaux
  4. Vidéo de surveillance
  5. Web
Different types of data acquistion techniques
  1. https://en.wikipedia.org/wiki/List_of_sensors

L'acquisition de données

API (Interface de programmation)
Web des données (Linked Open data cloud)
Données archivées

Nettoyage de données

  1. Erreurs de syntaxe
    • Erreurs lexicales
    • Erreurs de formatage
    • Erreurs d'irrégularité
  2. Erreurs sémantiques
    • Erreurs de contradiction
    • Erreurs de duplication
    • Erreurs de donnée invalide
  3. Erreurs de couverture
    • Valeur manquante
    • Donnée manquante

Stockage de données

OpenOffice

2. Stockage de données

2.1. Formats

2. Stockage de données

2.2 Types de données

  1. Données structurées
  2. Données non-structurées
  3. Données semi-structurées
Unstructured vs. Structured vs. Semi-structured

2. Stockage de données

  1. Fichiers
  2. Base de données (Rélationnels et NoSQL)
  3. Blockchain

Analyse et Visualisation des données

Analyse d'images en histologie
Oculométrie (Eye-tracking)
Enjeux du réchauffement climatique

Analyse des données en temps-réel

Détection d'objet
Un robot industriel Motoman SDA10
Voiture autonome

Cycle de vie des données

  1. Données
  2. Connaissances
  3. Perspectives
  4. Actions
Data Lifecycle

Usine 4.0

Industrie 4.0

References

References

Colors

Images