Data Mining

John Samuel
CPE Lyon

Year: 2023-2024
Email: john(dot)samuel(at)cpe(dot)fr

Creative Commons License

Data Mining | John Samuel
1

Data Mining

Objectifs

Data Mining | John Samuel
2

1.1. Cycle de vie des données

Cycle de vie des données

  1. Données
  2. Connaissances
  3. Perspectives
  4. Actions
Cycle de vie des données
Data Mining | John Samuel
3

1.1. Cycle de vie des données

1.1. Des données à la connaissance

Des données à la connaissance
Data Mining | John Samuel
4

1.1. Cycle de vie des données

1.1. Des données à la connaissance

  1. Acquisition de données
  2. Extraction de données
  3. Nettoyage de données
  4. Transformation de données
  5. Stockage de données
  6. Modélisation de l'analyse des données
  7. Analyses de données
  8. Visualisation de données
Data Mining | John Samuel
5

1.1. Cycle de vie des données

1.1.1.1. Acquisition de données

Data Mining | John Samuel
6

1.1. Cycle de vie des données

1.1.1.2. ETL (Extraction Transformation, Loading)

ETL (Extraction, Transformation and Loading)
Data Mining | John Samuel
7

1.1. Cycle de vie des données

1.1.1.2. ETL (Extraction Transformation, Loading)

  1. Extraction de données
  2. Nettoyage de données
  3. Transformation de données
  4. Chargement des données dans les entrepôts de données
Data Mining | John Samuel
8

1.1. Cycle de vie des données

1.1.1.3. Analyses de données

1.1.3. Analyses de données
Data Mining | John Samuel
9

1.1. Cycle de vie des données

1.1.1.3. Analyses de données (Tableur)

Data Mining | John Samuel
10

1.1. Cycle de vie des données

1.1.1.3. Analyses de données (Tableur: formules)

Data Mining | John Samuel
11

1.1. Cycle de vie des données

1.1.1.4. Visualisation de données

Data Mining | John Samuel
12

1.1. Cycle de vie des données

1.1.1.4. Visualisation de données

Data Mining | John Samuel
13

1.2. Acquisition et stockage des données

L'acquisition de données [Lenzerini 2002][Dong 2013]

  1. Questionnaires
    • Questionnaires face à face
    • Questionnaires en ligne
  2. Capteurs1
    • Température, pression, humidité
    • Acoustique, navigation
    • Proximité, capteurs de présence
  3. Réseau sociaux
  4. Vidéo de surveillance
  5. Web
  6. Enregistrement
  1. https://en.wikipedia.org/wiki/List_of_sensors
Data Mining | John Samuel
14

1.2. Acquisition et stockage des données

Formats de stockage de données

Data Mining | John Samuel
15

1.2. Acquisition et stockage des données

Formats de stockage de données: JSON

[
  {
    "languageLabel": "ENIAC coding system",
    "year": "1943"
  },
  {
    "languageLabel": "ENIAC Short Code",
    "year": "1946"
  },
  {
    "languageLabel": "Von Neumann and Goldstine graphing system",
    "year": "1946"
  }
]
Data Mining | John Samuel
16

1.2. Acquisition et stockage des données

Formats de stockage de données: XML

<?xml version="1.0" encoding="UTF-8"?>
<root>
   <element>
      <languageLabel>ENIAC coding system</languageLabel>
      <year>1943</year>
   </element>
   <element>
      <languageLabel>ENIAC Short Code</languageLabel>
      <year>1946</year>
   </element>
   <element>
      <languageLabel>Von Neumann and Goldstine graphing system</languageLabel>
      <year>1946</year>
   </element>
</root>
Data Mining | John Samuel
17

1.2. Acquisition et stockage des données

Formats de stockage de données: CSV

languageLabel,year
ENIAC coding system,1943
ENIAC Short Code,1946
Von Neumann and Goldstine graphing system,1946
Data Mining | John Samuel
18

1.2. Acquisition et stockage des données

1.2.2 Types de stockage des données

Unstructured vs. Structured vs. Semi-structured
Data Mining | John Samuel
19

1.2. Acquisition et stockage des données

1.2.2 Types de stockage des données

  1. Bases de données structurées
    • Bases de données relationnelles
    • Bases de données orientées objet
  2. Bases de données non-structurées
    • Systèmes de fichiers
    • Systèmes de gestion de contenu (CMS)
    • Collections de documents
  3. Bases de données semi-structurées
    • Systèmes de fichiers
    • Bases de données NoSQL
Data Mining | John Samuel
20

1.2. Acquisition et stockage des données

1.2.3.1. Propriétés ACID1

  1. https://fr.wikipedia.org/wiki/Propri%C3%A9t%C3%A9s_ACID
Data Mining | John Samuel
21

1.2. Acquisition et stockage des données

1.2.3.1. Propriétés ACID

Data Mining | John Samuel
22

1.2. Acquisition et stockage des données

1.2.2 Types de bases de données

Data Mining | John Samuel
23

1.2. Acquisition et stockage des données

1.2.3.3. NoSQL

Théorème CAP1

Il est impossible sur un système informatique de calcul distribué de garantir en même temps (c'est-à-dire de manière synchrone) les trois contraintes suivantes

Data Mining | John Samuel
24

1.2. Acquisition et stockage des données

1.2.3.3. NoSQL

Data Mining | John Samuel
25

1.2. Acquisition et stockage des données

1.2.3.3. NoSQL

BASE

Data Mining | John Samuel
26

1.2. Acquisition et stockage des données

1.2.3.3. Types de bases de données NoSQL

Data Mining | John Samuel
27

1.2. Acquisition et stockage des données

1.2.3.3. Types de bases de données NoSQL

Data Mining | John Samuel
28

1.2. Acquisition et stockage des données

1.2.3.3. Types de bases de données NoSQL

Data Mining | John Samuel
29

1.2. Acquisition et stockage des données

Exemple: un tableau dans une base de données relationnelles

num languageLabel year
1 ENIAC coding system 1943
2 ENIAC Short Code 1946
3 Von Neumann and Goldstine graphing system 1946
Data Mining | John Samuel
30

1.2. Acquisition et stockage des données

Exemple: base de données orientée colonnes

ENIAC coding system:1; ENIAC Short Code:2 Von Neumann and Goldstine graphing system:3

1943:1; 1946:2; 1946:3
Data Mining | John Samuel
31

1.2. Acquisition et stockage des données

Exemple: base de données orientée documents

  {
    "languageLabel": "ENIAC coding system",
    "year": "1943"
  }

  {
    "languageLabel": "ENIAC Short Code",
    "year": "1946"
  }

  {
    "languageLabel": "Von Neumann and Goldstine graphing system",
    "year": "1946"
  }
Data Mining | John Samuel
32

1.2. Acquisition et stockage des données

Exemple: base de données orientée clé-valeur

identifiant languageLabel,year
p1 ENIAC coding system,1943
p2 ENIAC Short Code,1946
p3 Von Neumann and Goldstine graphing system,1946
Data Mining | John Samuel
33

1.2. Acquisition et stockage des données

Exemple: base de données orientée graphe

base de données orientée graphe
Data Mining | John Samuel
34

1.3. Extraction et intégration des données

1.3.1. Techniques d'extraction des données

Data Mining | John Samuel
35

1.3. Extraction et intégration des données

1.3.2. Interfaces d'interrogation

Data Mining | John Samuel
36

1.3. Extraction et intégration des données

3.3. Crawlers pour les pages web

Web crawlers : naviguer dans l'ensemble en utilisant des hyperliens
Data Mining | John Samuel
37

1.3. Extraction et intégration des données

1.3.4. Interface de programmation d'applications (API)

API (Interface de programmation)
Data Mining | John Samuel
38

1.3. Extraction et intégration des données

1.3.4. Interface de programmation d'applications (API)

import requests
url = "https://api.github.com/users/johnsamuelwrites"

response = requests.get(url)
print(response.json())
Data Mining | John Samuel
39

1.4. Prétraitement des données

1.4.1. Nettoyage de données

Data Mining | John Samuel
40

1.4. Prétraitement des données

1.4.1.1. Erreurs de syntaxe

Data Mining | John Samuel
41

1.4. Prétraitement des données

1.4.1.2. Erreurs sémantiques [Abedjan 2016]

Data Mining | John Samuel
42

1.4. Prétraitement des données

1.4.1.3. Erreurs de couverture

Exemple: Pandas
Data Mining | John Samuel
43

1.4. Prétraitement des données

1.4.2.1. Traitement des erreurs syntaxiques

Data Mining | John Samuel
44

1.4. Prétraitement des données

1.4.2.1. Traitement des erreurs syntaxiques: XSD

<xs:schema attributeFormDefault="unqualified"
      elementFormDefault="qualified" xmlns:xs="http://www.w3.org/2001/XMLSchema">
  <xs:element name="root" type="rootType"/>
  <xs:complexType name="elementType">
    <xs:sequence>
      <xs:element type="xs:string" name="languageLabel"/>
      <xs:element type="xs:short" name="year"/>
    </xs:sequence>
  </xs:complexType>
  <xs:complexType name="rootType">
    <xs:sequence>
      <xs:element type="elementType" name="element" maxOccurs="unbounded" minOccurs="0"/>
    </xs:sequence>
  </xs:complexType>
</xs:schema>
Data Mining | John Samuel
45

1.4. Prétraitement des données

1.4.2.2. Traitement des erreurs sémantiques

num languageLabel year
1 ENIAC coding system 1943

\({num}\rightarrow{languageLabel}\)

\({languageLabel}\rightarrow{year}\)

\({num}\rightarrow{year}\)

Data Mining | John Samuel
46

1.4. Prétraitement des données

1.4.2.3. Traitement des erreurs de couverture

Data Mining | John Samuel
47

1.4. Prétraitement des données

1.4.2.4. Administrateurs et traitement des erreurs

Data Mining | John Samuel
48

1.5. Transformation des données

1.5.1 Langages de programmation

Data Mining | John Samuel
49

1.6. ETL

1.6.1. ETL (Extraction Transformation and Loading)

  1. Extraction des données
  2. Nettoyage des données
  3. Transformation des données
  4. Chargement des données dans les entrepôts de données
Data Mining | John Samuel
50

1.6. ETL

1.6.2.1. Analyse des données multidimensionnelles

Data Mining | John Samuel
51

1.6. ETL

1.6.2.1. Analyse des données multidimensionnelles

Data Mining | John Samuel
52

1.6. ETL

1.6.2.3. Modèle de données en étoile

Modèle de données en étoile
Data Mining | John Samuel
53

1.6. ETL

1.6.2.3. Cubes ou hypercube de données

Modèle de données en étoile
Data Mining | John Samuel
54

1.6. ETL

1.6.2.3. Cubes ou hypercube de données

Data Mining | John Samuel
55

1.6. ETL

1.6.2.4. Modèle de données en flocon

Data Mining | John Samuel
56

1.6. ETL

1.6.2. ETL: d'une base de données à l'autre

Data Mining | John Samuel
57

1.7. Analyse des données

Activités d'analyse des données

  1. Récupération des valeurs
  2. Filtrer
  3. Calculer les valeurs dérivées
  4. Trouver l'extremum
  5. Trier
  6. Déterminer la limite
  7. Caractériser la distribution
  8. Trouver des anomalies
  9. Cluster
  10. Corréler
  11. Contextualisation
  1. https://en.wikipedia.org/wiki/Data_analysis
Data Mining | John Samuel
58

1.8. Visualisation des données

8.1.Les variables visuelles [Jacques Bertin]

  1. position
  2. taille
  3. forme
  4. valeur
  5. couleur
  6. orientation
  7. texture
  1. https://en.wikipedia.org/wiki/Visual_variable
Data Mining | John Samuel
59

1.8. Visualisation des données

8.1. Visualisation des données

  1. séries temporelles
  2. classement
  3. partie à l'ensemble
  4. écart
  5. triage
  6. distribution des fréquences
  7. corrélation
  8. comparaison nominale
  9. géographique ou géospatial
  1. https://en.wikipedia.org/wiki/Data_visualization
Data Mining | John Samuel
60

1.8. Visualisation des données

1.8.2. Visualisation des données: Exemples

  1. Diagramme en bâtons (comparaison nominale)
  2. Diagramme circulaire (partie à l'ensemble)
  3. Histogramme (distribution des fréquences)
  4. Nuage de points (corrélation)
  5. Réseaux
  6. Graphique linéaire (séries temporelles)
  7. Arborescence
  8. Diagramme de Gantt
  9. Carte thermique/heatmap
  1. https://fr.wikipedia.org/wiki/Repr%C3%A9sentation_graphique_de_donn%C3%A9es
Data Mining | John Samuel
61

1.8. Visualisation des données

Diagramme circulaire

Data Mining | John Samuel
62

1.8. Visualisation des données

Les paradigmes du langage de programmation (diagramme à bulles)
Data Mining | John Samuel
63

1.8. Visualisation des données

Historique des langages de programmation (Histropedia)
Data Mining | John Samuel
64

1.8. Visualisation des données

Diagramme d'influence des langages de programmation
Data Mining | John Samuel
65

1.8. Visualisation des données

k couleurs prédominantes

Data Mining | John Samuel
66

1.8. Visualisation des données

Diagrammes de dispersion RGB (Comparaison)

Data Mining | John Samuel
67

Références

Articles de recherche

Big Data | John Samuel
68

Références

Wikipedia

Data Mining | John Samuel
69

Références

Couleurs

Images

Data Mining | John Samuel
70