Data Mining

John Samuel
CPE Lyon

Year: 2020-2021
Email: john(dot)samuel(at)cpe(dot)fr

Creative Commons License

Data Mining | John Samuel
1

Data Mining

Objectifs

Data Mining | John Samuel
2

1. Cycle de vie des données

Cycle de vie des données

  1. Données
  2. Connaissances
  3. Perspectives
  4. Actions
Cycle de vie des données
Data Mining | John Samuel
3

1. Cycle de vie des données

1.1. Des données à la connaissance

  1. Acquisition de données
  2. Extraction de données
  3. Nettoyage de données
  4. Transformation de données
  5. Stockage de données
  6. Modélisation de l'analyse des données
  7. Analyses de données
  8. Visualisation de données
Des données à la connaissance
Data Mining | John Samuel
4

1. Cycle de vie des données

1.1.1. Acquisition de données

Data Mining | John Samuel
5

1. Cycle de vie des données

1.1.2. ETL (Extraction Transformation, Loading)

  1. Extraction de données
  2. Nettoyage de données
  3. Transformation de données
  4. Chargement des données dans les entrepôts de données
ETL (Extraction, Transformation and Loading)
Data Mining | John Samuel
6

1. Cycle de vie des données

1.1.3. Analyses de données

1.1.3. Analyses de données
Data Mining | John Samuel
7

1. Cycle de vie des données

1.1.4. Visualisation de données

Data Mining | John Samuel
8

1. Cycle de vie des données

1.1.4. Visualisation de données

Data Mining | John Samuel
9

2. Acquisition et stockage des données

L'acquisition de données [Lenzerini 2002][Dong 2013]

  1. Questionnaires
    • Questionnaires face à face
    • Questionnaires en ligne
  2. Capteurs1
    • Température, pression, humidité
    • Acoustique, navigation
    • Proximité, capteurs de présence
  3. Réseau sociaux
  4. Vidéo de surveillance
  5. Web
  6. Enregistrement
  1. https://en.wikipedia.org/wiki/List_of_sensors
Data Mining | John Samuel
10

2. Acquisition et stockage des données

Formats de stockage de données

Data Mining | John Samuel
11

2. Acquisition et stockage des données

Formats de stockage de données: JSON

[
  {
    "languageLabel": "ENIAC coding system",
    "year": "1943"
  },
  {
    "languageLabel": "ENIAC Short Code",
    "year": "1946"
  },
  {
    "languageLabel": "Von Neumann and Goldstine graphing system",
    "year": "1946"
  }
]
Data Mining | John Samuel
12

2. Acquisition et stockage des données

Formats de stockage de données: XML

<?xml version="1.0" encoding="UTF-8"?>
<root>
   <element>
      <languageLabel>ENIAC coding system</languageLabel>
      <year>1943</year>
   </element>
   <element>
      <languageLabel>ENIAC Short Code</languageLabel>
      <year>1946</year>
   </element>
   <element>
      <languageLabel>Von Neumann and Goldstine graphing system</languageLabel>
      <year>1946</year>
   </element>
</root>
Data Mining | John Samuel
13

2. Acquisition et stockage des données

Formats de stockage de données: CSV

languageLabel,year
ENIAC coding system,1943
ENIAC Short Code,1946
Von Neumann and Goldstine graphing system,1946
Data Mining | John Samuel
14

2. Acquisition et stockage des données

2.2 Types de stockage des données

  1. Bases de données structurées
    • Bases de données relationnelles
    • Bases de données orientées objet
  2. Bases de données non-structurées
    • Systèmes de fichiers
    • Systèmes de gestion de contenu (CMS)
    • Collections de documents
  3. Bases de données semi-structurées
    • Systèmes de fichiers
    • Bases de données NoSQL
Unstructured vs. Structured vs. Semi-structured
Data Mining | John Samuel
15

2. Acquisition et stockage des données

2.3.1. Propriétés ACID1

  1. https://fr.wikipedia.org/wiki/Propri%C3%A9t%C3%A9s_ACID
Data Mining | John Samuel
16

2. Acquisition et stockage des données

2.3.1. Propriétés ACID

Data Mining | John Samuel
17

2. Acquisition et stockage des données

2.2 Types de bases de données

Data Mining | John Samuel
18

2. Acquisition et stockage des données

2.3.3. NoSQL

Théorème CAP1

Il est impossible sur un système informatique de calcul distribué de garantir en même temps (c'est-à-dire de manière synchrone) les trois contraintes suivantes

Data Mining | John Samuel
19

2. Acquisition et stockage des données

2.3.3. NoSQL

Data Mining | John Samuel
20

2. Acquisition et stockage des données

2.3.3. Types de bases de données NoSQL

Data Mining | John Samuel
21

2. Acquisition et stockage des données

Exemple: un tableau dans une base de données relationnelles

numlanguageLabelyear
1ENIAC coding system1943
2ENIAC Short Code1946
3Von Neumann and Goldstine graphing system1946
Data Mining | John Samuel
22

2. Acquisition et stockage des données

Exemple: base de données orientée colonnes

ENIAC coding system:1; ENIAC Short Code:2 Von Neumann and Goldstine graphing system:3

1943:1; 1946:2; 1946:3
Data Mining | John Samuel
23

2. Acquisition et stockage des données

Exemple: base de données orientée documents

  {
    "languageLabel": "ENIAC coding system",
    "year": "1943"
  }

  {
    "languageLabel": "ENIAC Short Code",
    "year": "1946"
  }

  {
    "languageLabel": "Von Neumann and Goldstine graphing system",
    "year": "1946"
  }
Data Mining | John Samuel
24

2. Acquisition et stockage des données

Exemple: base de données orientée clé-valeur

identifiantlanguageLabel,year
p1ENIAC coding system,1943
p2ENIAC Short Code,1946
p3Von Neumann and Goldstine graphing system,1946
Data Mining | John Samuel
25

2. Acquisition et stockage des données

Exemple: base de données orientée graphe

base de données orientée graphe
Data Mining | John Samuel
26

3. Extraction et intégration des données

3.1. Techniques d'extraction des données

Data Mining | John Samuel
27

3. Extraction et intégration des données

3.2. Interfaces d'interrogation

Data Mining | John Samuel
28

3. Extraction et intégration des données

3.3. Crawlers pour les pages web

Web crawlers : naviguer dans l'ensemble en utilisant des hyperliens
Data Mining | John Samuel
29

3. Extraction et intégration des données

3.4. Interface de programmation d'applications (API)

API (Interface de programmation)
Data Mining | John Samuel
30

3. Extraction et intégration des données

3.4. Interface de programmation d'applications (API)

import requests
url = "https://api.github.com/users/johnsamuelwrites"

response = requests.get(url)
print(response.json())
Data Mining | John Samuel
31

4. Prétraitement des données

4.1. Nettoyage de données

Data Mining | John Samuel
32

4. Prétraitement des données

4.1.1. Erreurs de syntaxe

Data Mining | John Samuel
33

4. Prétraitement des données

4.1.2. Erreurs sémantiques [Abedjan 2016]

Data Mining | John Samuel
34

4. Prétraitement des données

4.1.3. Erreurs de couverture

Exemple: Pandas
Data Mining | John Samuel
35

4. Prétraitement des données

4.2.1. Traitement des erreurs syntaxiques

Data Mining | John Samuel
36

4. Prétraitement des données

4.2.1. Traitement des erreurs syntaxiques: XSD

<xs:schema attributeFormDefault="unqualified"
      elementFormDefault="qualified" xmlns:xs="http://www.w3.org/2001/XMLSchema">
  <xs:element name="root" type="rootType"/>
  <xs:complexType name="elementType">
    <xs:sequence>
      <xs:element type="xs:string" name="languageLabel"/>
      <xs:element type="xs:short" name="year"/>
    </xs:sequence>
  </xs:complexType>
  <xs:complexType name="rootType">
    <xs:sequence>
      <xs:element type="elementType" name="element" maxOccurs="unbounded" minOccurs="0"/>
    </xs:sequence>
  </xs:complexType>
</xs:schema>
Data Mining | John Samuel
37

4. Prétraitement des données

4.2.2. Traitement des erreurs sémantiques

numlanguageLabelyear
1ENIAC coding system1943

\({num}\rightarrow{languageLabel}\)

\({languageLabel}\rightarrow{year}\)

\({num}\rightarrow{year}\)

Data Mining | John Samuel
38

4. Prétraitement des données

4.2.3. Traitement des erreurs de couverture

Data Mining | John Samuel
39

4. Prétraitement des données

4.2.4. Administrateurs et traitement des erreurs

Data Mining | John Samuel
40

5. Transformation des données

5.1 Langages de programmation

Data Mining | John Samuel
41

6. ETL

6.1. ETL (Extraction Transformation and Loading)

  1. Extraction des données
  2. Nettoyage des données
  3. Transformation des données
  4. Chargement des données dans les entrepôts de données
Data Mining | John Samuel
42

6. ETL

6.2.1. Analyse des données multidimensionnelles

Data Mining | John Samuel
43

6. ETL

6.2.1. Analyse des données multidimensionnelles

Data Mining | John Samuel
44

6. ETL

6.2.3. Modèle de données en étoile

Modèle de données en étoile
Data Mining | John Samuel
45

6. ETL

6.2.3. Cubes ou hypercube de données

Modèle de données en étoile
Data Mining | John Samuel
46

6. ETL

6.2.4. Modèle de données en flocon

Data Mining | John Samuel
47

6. ETL

6.2. ETL: d'une base de données à l'autre

Data Mining | John Samuel
48

7. Analyse des données

Activités d'analyse des données

  1. Récupération des valeurs
  2. Filtrer
  3. Calculer les valeurs dérivées
  4. Trouver l'extremum
  5. Trier
  6. Déterminer la limite
  7. Caractériser la distribution
  8. Trouver des anomalies
  9. Cluster
  10. Corréler
  11. Contextualisation
  1. https://en.wikipedia.org/wiki/Data_analysis
Data Mining | John Samuel
49

8. Visualisation des données

8.1.Les variables visuelles [Jacques Bertin]

  1. position
  2. taille
  3. forme
  4. valeur
  5. couleur
  6. orientation
  7. texture
  1. https://en.wikipedia.org/wiki/Visual_variable
Data Mining | John Samuel
50

8. Visualisation des données

8.1. Visualisation des données

  1. séries temporelles
  2. classement
  3. partie à l'ensemble
  4. écart
  5. triage
  6. distribution des fréquences
  7. corrélation
  8. comparaison nominale
  9. géographique ou géospatial
  1. https://en.wikipedia.org/wiki/Data_visualization
Data Mining | John Samuel
51

8. Visualisation des données

8.2. Visualisation des données: Exemples

  1. Diagramme en bâtons (comparaison nominale)
  2. Diagramme circulaire (partie à l'ensemble)
  3. Histogramme (distribution des fréquences)
  4. Nuage de points (corrélation)
  5. Réseaux
  6. Graphique linéaire (séries temporelles)
  7. Arborescence
  8. Diagramme de Gantt
  9. Carte thermique/heatmap
  1. https://fr.wikipedia.org/wiki/Repr%C3%A9sentation_graphique_de_donn%C3%A9es
Data Mining | John Samuel
52

8. Visualisation des données

Diagramme circulaire

Data Mining | John Samuel
53

8. Visualisation des données

Les paradigmes du langage de programmation (diagramme à bulles)
Data Mining | John Samuel
54

8. Visualisation des données

Historique des langages de programmation (Histropedia)
Data Mining | John Samuel
55

8. Visualisation des données

Diagramme d'influence des langages de programmation
Data Mining | John Samuel
56

8. Visualisation des données

k couleurs prédominantes

Data Mining | John Samuel
57

8. Visualisation des données

Diagrammes de dispersion RGB (Comparaison)

Data Mining | John Samuel
58

Références

Articles de recherche

Big Data | John Samuel
59

Références

Couleurs

Images

Data Mining | John Samuel
60