Traitement de données massives

John Samuel
CPE Lyon

Year: 2020-2021
Email: john(dot)samuel(at)cpe(dot)fr

Objectifs

• Cycle de vie des données
• Acquistion, extraction, transformation de données
• Stockage de données
• ETL
• Analyses de données
• Visualisation de données

Cycle de vie des données

1. Données
2. Connaissances
3. Perspectives
4. Actions

1.1. Des données à la connaissance

1. Acquisition de données
2. Extraction de données
3. Nettoyage de données
4. Transformation de données
5. Stockage de données
6. Data analysis modeling
7. Analyses de données
8. Visualisation de données

1.1.1. Acquisition de données

1.1.2. ETL (Extraction Transformation, Loading)

1. Extraction de données
2. Nettoyage de données
3. Transformation de données
4. Chargement des données dans les entrepôts de données

1.1.3. Analyses de données

1.1.4. Visualisation de données

1.1.4. Visualisation de données

L'acquisition de données [Lenzerini 2002][Dong 2013]

1. Questionnaires
• Questionnaires face à face
• Questionnaires en ligne
2. Capteurs¹
• Température, pression, humidité
• Acoustique, navigation
• Proximité, capteurs de présence
3. Réseau sociaux
4. Vidéo de surveillance
5. Web
6. Enregistrement

1. https://en.wikipedia.org/wiki/List_of_sensors

Les super marchés et le shopping [Dennis 2001]

Les achats en ligne [Chen, Daqing 2012]

Les transactions financières [Kovalerchuk 2005]

Les capteurs [Shen Bin 2010]

Les vidéos [Brax 2008]

Les médias et réseaux sociaux [Aggarwal 2011]

Production participative [Gao 2011]

Production participative [Nakayama 2007]

Enregistrement de données [Alspaugh 2014]

                     $ tail /var/log/apache2/access.log
                   

127.0.0.1 - - [14/Nov/2018:14:46:49 +0100] "GET / HTTP/1.1" 200 3477 "-"
         "Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:63.0) Gecko/20100101 Firefox/63.0"
127.0.0.1 - - [14/Nov/2018:14:46:49 +0100] "GET /icons/ubuntu-logo.png HTTP/1.1" 304 180 "http://localhost/"
         "Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:63.0) Gecko/20100101 Firefox/63.0"
127.0.0.1 - - [14/Nov/2018:14:46:49 +0100] "GET /favicon.ico HTTP/1.1" 404 294 "-"
         "Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:63.0) Gecko/20100101 Firefox/63.0"
                   

Enregistrement de données [Alspaugh 2014]

                     $ tail /var/log/apache2/error.log
                   

[Wed Nov 14 09:53:39.563044 2018] [mpm_prefork:notice] [pid 849]
         AH00163: Apache/2.4.29 (Ubuntu) configured -- resuming normal operations
[Wed Nov 14 09:53:39.563066 2018] [core:notice] [pid 849]
         AH00094: Command line: '/usr/sbin/apache2'
[Wed Nov 14 11:35:35.060638 2018] [mpm_prefork:notice] [pid 849]
         AH00169: caught SIGTERM, shutting down
                   

Enregistrement de données

Enregistrement de données

Enregistrement de données

Enregistrement de données

                    $ cat /etc/apache2/apache2.conf
                   

LogFormat "%v:%p %h %l %u %t \"%r\" %>s %O \"%{Referer}i\" \"%{User-Agent}i\"" vhost_combined
LogFormat "%h %l %u %t \"%r\" %>s %O \"%{Referer}i\" \"%{User-Agent}i\"" combined
LogFormat "%h %l %u %t \"%r\" %>s %O" common
LogFormat "%{Referer}i -> %U" referer
LogFormat "%{User-agent}i" agent

                   

Formats de stockage de données

• Fichiers textuelles et binaires
• CSV/TSV
• XML
• JSON
• Média (Images/Audio/Vidéo)

Formats de stockage de données: JSON

[
  {
    "languageLabel": "ENIAC coding system",
    "year": "1943"
  },
  {
    "languageLabel": "ENIAC Short Code",
    "year": "1946"
  },
  {
    "languageLabel": "Von Neumann and Goldstine graphing system",
    "year": "1946"
  }
]			

Formats de stockage de données: XML

<?xml version="1.0" encoding="UTF-8"?>
<root>
   <element>
      <languageLabel>ENIAC coding system</languageLabel>
      <year>1943</year>
   </element>
   <element>
      <languageLabel>ENIAC Short Code</languageLabel>
      <year>1946</year>
   </element>
   <element>
      <languageLabel>Von Neumann and Goldstine graphing system</languageLabel>
      <year>1946</year>
   </element>
</root>
			

Formats de stockage de données: CSV

languageLabel,year
ENIAC coding system,1943
ENIAC Short Code,1946
Von Neumann and Goldstine graphing system,1946
			

2.2 Types de stockage des données

1. Bases de données structurées
   • Bases de données relationnelles
   • Bases de données orientées objet
2. Bases de données non-structurées
   • Systèmes de fichiers
   • Systèmes de gestion de contenu (CMS)
   • Collections de documents
3. Bases de données semi-structurées
   • Systèmes de fichiers
   • Bases de données NoSQL

2.3.1. Propriétés ACID¹

• Atomicité: chaque transaction se fait au complet ou pas du tout
• Cohérence: Toute transaction doit amener la base de données d'un état valide à un autre.
• Isolation: Toute transaction doit s'exécuter comme si elle était la seule sur le système.
• Durabilité: Indépendamment des pertes de puissance, des plantages, une transaction une fois engagée dans la base de données doit rester dans cet état.

1. https://fr.wikipedia.org/wiki/Propri%C3%A9t%C3%A9s_ACID

2.3.1. Propriétés ACID

• Assurer la validité des bases de données même en cas d'erreurs, de pannes de courant
• Important dans le secteur bancaire

2.2 Types de bases de données

• Bases de données relationnelles
• Base de données orientée objet
• NoSQL
• NewSQL

2.3.3. NoSQL

Théorème CAP¹

Il est impossible sur un système informatique de calcul distribué de garantir en même temps (c'est-à-dire de manière synchrone) les trois contraintes suivantes

• Cohérence: tous les nœuds du système voient exactement les mêmes données au même moment
• Disponibilité: garantie que toutes les requêtes reçoivent une réponse. Chaque requête reçoit une réponse (non erronée), sans la garantie qu'elle contient l'écriture la plus récente
• Tolérance au partitionnement: Le système continue à fonctionner malgré un nombre arbitraire de messages qui sont abandonnés (ou retardés) par le réseau entre les nœuds

• compromis sur la cohérence
• priorité à la disponibilité et à la rapidité

2.3.3. NoSQL

• compromis sur la cohérence
• priorité à la disponibilité et à la rapidité

2.3.3. Types de bases de données NoSQL

• Base de données orientée colonnes
• Base de données orientée documents
• Base de données clé-valeur
• Base de données orientée graphe

Exemple: un tableau dans une base de données relationnelles

Exemple: base de données orientée colonnes

ENIAC coding system:1; ENIAC Short Code:2 Von Neumann and Goldstine graphing system:3

1943:1; 1946:2; 1946:3
			

Exemple: base de données orientée documents

  {
    "languageLabel": "ENIAC coding system",
    "year": "1943"
  }

  {
    "languageLabel": "ENIAC Short Code",
    "year": "1946"
  }

  {
    "languageLabel": "Von Neumann and Goldstine graphing system",
    "year": "1946"
  }

			

Exemple: base de données orientée clé-valeur

Exemple: base de données orientée graphe

3.1. Techniques d'extraction des données

• Vidage de données (data dumps)
  • Téléchargement de données de vidange complètes
  • Téléchargement de vidanges sélectives de données
• Interrogation périodique des flux de données (par exemple, les blogs, les flux d'informations)
• Flux de données
  • Abonnement aux flux de données (notifications "push")

3.2. Interfaces d'interrogation

• Points terminaux de requête supportant les langues déclaratives
  • SQL
  • SPARQL
• Options de recherche (et de filtrage) manuelle automatisée

3.3. Crawlers pour les pages web

3.4. Interface de programmation d'applications (API)

• Opérations Web (CRUD) pour manipuler les ressources gérées en externe
  • Create: créer
  • Read: lire
  • Update: mettre à jour
  • Delete: supprimer
• Requiert que les programmeurs développent des wrappers pour l'intégration des services web

3.4. Interface de programmation d'applications (API)

import requests
url = "https://api.github.com/users/johnsamuelwrites"

response = requests.get(url)
print(response.json())

4.1. Nettoyage de données

• Erreurs de syntaxe
• Erreurs sémantiques
• Erreurs de couverture

4.1.1. Erreurs de syntaxe

• Les erreurs lexicales (par exemple, l'utilisateur a saisi une chaîne de caractères au lieu d'un chiffre)
• Erreurs de format des données (par exemple, ordre du nom de famille, du prénom)
• Erreurs de données irrégulières (par exemple, utilisation de mesures différentes)

4.1.2. Erreurs sémantiques [Abedjan 2016]

• Violation des contraintes d'intégrité
• Erreurs de contradiction
• Erreurs de duplication
• Erreurs de donnée invalide

4.1.3. Erreurs de couverture

• Valeur manquante
• Donnée manquante

4.2.1. Traitement des erreurs syntaxiques

• Validation à l'aide d'un schéma (par exemple, XSD, JSONP)
• Transformation de données

4.2.1. Traitement des erreurs syntaxiques: XSD

<xs:schema attributeFormDefault="unqualified"
      elementFormDefault="qualified" xmlns:xs="http://www.w3.org/2001/XMLSchema">
  <xs:element name="root" type="rootType"/>
  <xs:complexType name="elementType">
    <xs:sequence>
      <xs:element type="xs:string" name="languageLabel"/>
      <xs:element type="xs:short" name="year"/>
    </xs:sequence>
  </xs:complexType>
  <xs:complexType name="rootType">
    <xs:sequence>
      <xs:element type="elementType" name="element" maxOccurs="unbounded" minOccurs="0"/>
    </xs:sequence>
  </xs:complexType>
</xs:schema>
			

4.2.2. Traitement des erreurs sémantiques

• Élimination des doublons à l'aide de techniques telles que la spécification de contraintes d'intégrité comme les dépendances fonctionnelles

\({num}\rightarrow{languageLabel}\)

\({languageLabel}\rightarrow{year}\)

\({num}\rightarrow{year}\)

4.2.3. Traitement des erreurs de couverture

• Techniques d'interpolation
• Utilisation de sources de données externes pour les vérifications croisées

4.2.4. Administrateurs et traitement des erreurs

• Retour d'information des utilisateurs pour correction (par exemple, OpenStreetMap, Wikipedia, etc.)
• Alertes et déclencheurs en cas d'ajout d'informations incohérentes

5.1 Langages de programmation

• Langues des templates
• XSLT
• AWK
• Sed
• Langages de programmation comme PERL

6.1. ETL (Extraction Transformation and Loading)

1. Extraction des données
2. Nettoyage des données
3. Transformation des données
4. Chargement des données dans les entrepôts de données

6.2.1. Analyse des données multidimensionnelles

• Analyse des données multidimensionnelles
• dimensions
  • attributes
  • niveaux
  • hiérarchies
• faits
  • mesures

6.2.1. Analyse des données multidimensionnelles

• Analyse des données multidimensionnelles
• dimensions (par exemple,spatio-temporelles dimensions, produits)
  • attributes (par exemple, nom, fabricant, etc.)
  • niveaux (par exemple, jour, mois, trimestre, magasin, ville, pays, etc.)
  • hiérarchies (par exemple, jour-mois-trimestre-année, magasin-ville-pays, etc.)
• faits
  • mesures (par exemple, le nombre de produits vendus/non vendus)

6.2.3. Modèle de données en étoile

6.2.3. Cubes ou hypercube de données

• Cubes de données pour le traitement analytique en ligne (OLAP)
• Opérations du cube OLAP
  • Slice: extraction d'une tranche d'information
  • Dice: extraction d'un bloc de données (opération plus générale que le slicing),
  • Drill up: synthèse des informations en fonction d'une dimension
  • Drill down: opération inverse du drill-up
  • Pivot: sélection du couple de dimensions qui formera le résultat de la requête

6.2.4. Modèle de données en flocon

6.2. ETL: d'une base de données à l'autre

• De : Sources de données
  • Bases de données internes ou externes
  • Services web
• À : Entrepôts de données
  • Entrepôts de données d'entreprise
  • Entrepôts Web

Activités d'analyse des données

1. Récupération des valeurs
2. Filtrer
3. Calculer les valeurs dérivées
4. Trouver l'extremum
5. Trier
6. Déterminer la limite
7. Caractériser la distribution
8. Trouver des anomalies
9. Cluster
10. Corréler
11. Contextualisation

1. https://en.wikipedia.org/wiki/Data_analysis

8.1.Les variables visuelles [Jacques Bertin]

1. position
2. taille
3. forme
4. valeur
5. couleur
6. orientation
7. texture

1. https://en.wikipedia.org/wiki/Visual_variable

8.1. Visualisation des données

1. séries temporelles
2. classement
3. partie à l'ensemble
4. écart
5. triage
6. distribution des fréquences
7. corrélation
8. comparaison nominale
9. géographique ou géospatial

1. https://en.wikipedia.org/wiki/Data_visualization

8.2. Visualisation des données: Exemples

1. Diagramme en bâtons (comparaison nominale)
2. Diagramme circulaire (partie à l'ensemble)
3. Histogramme (distribution des fréquences)
4. Nuage de points (corrélation)
5. Réseaux
6. Graphique linéaire (séries temporelles)
7. Arborescence
8. Diagramme de Gantt
9. Carte thermique/heatmap

1. https://fr.wikipedia.org/wiki/Repr%C3%A9sentation_graphique_de_donn%C3%A9es

Diagramme circulaire

k couleurs prédominantes

Diagrammes de dispersion RGB (Comparaison)

Articles de recherche

• [Abedjan 2016] Abedjan, Ziawasch, et al. Detecting Data Errors: Where Are We and What Needs to Be Done? VLDB Endowment, 1 Aug. 2016.
• [Aggarwal 2011] Aggarwal, Charu C. “An Introduction to Social Network Data Analytics.” Social Network Data Analytics, edited by Charu C. Aggarwal, Springer US, 2011, pp. 1–15. Springer Link
• [AlNoamany 2014] AlNoamany, Yasmin, et al. “Who and What Links to the Internet Archive.” International Journal on Digital Libraries, vol. 14, no. 3, Aug. 2014, pp. 101–15. Springer Link
• [Alspaugh 2014] Alspaugh, S., et al. Analyzing Log Analysis: An Empirical Study of User Log Mining. 2014, pp. 62–77. www.usenix.org
• [Brax 2008] Brax, Christoffer, et al. “Finding Behavioural Anomalies in Public Areas Using Video Surveillance Data.” 2008 11th International Conference on Information Fusion, 2008, pp. 1–8
• [Bauer 2012] Bauer, Florian, and Martin Kaltenböck. Linked Open Data: The Essentials: A Quick Start Guide for Decision Makers. Ed. mono/monochrom, 2012
• [Chen 2012] Chen, Hsinchun, et al. “Business Intelligence and Analytics: From Big Data to Big Impact.” MIS Quarterly, vol. 36, no. 4, 2012, pp. 1165–88. JSTOR
• [Chen, Daqing 2012] Chen, Daqing, et al. “Data Mining for the Online Retail Industry: A Case Study of RFM Model-Based Customer Segmentation Using Data Mining.” Journal of Database Marketing & Customer Strategy Management, vol. 19, no. 3, Sept. 2012, pp. 197–208. Springer Link

Articles de recherche

• [Chen 2014] Chen, Min, et al. “Big Data: A Survey.” Mobile Networks and Applications, vol. 19, no. 2, Apr. 2014, pp. 171–209. Springer Link
• [Crosby 2016] Crosby M, Nachiappan Pattanayak P, Verma S, Kalyanaraman V(2016) Blockchain technology: Beyond bitcoin. Appl Innov Rev2:6–19
• [Dennis 2001] Dennis, Charles, et al. “Data Mining for Shopping Centres – Customer Knowledge‐management Framework.” Journal of Knowledge Management, vol. 5, no. 4, Jan. 2001, pp. 368–74. Emerald Insight
• [Driscoll 2012] Driscoll, Kevin. “From Punched Cards to ‘Big Data’: A Social History of Database Populism.” Communication 1, vol. 1, no. 1, Aug. 2012, pp. 1–33
• [Dong 2013] Dong, Xin Luna, and Divesh Srivastava. “Big Data Integration.” 2013 IEEE 29th International Conference on Data Engineering (ICDE), 2013, pp. 1245–48. IEEE Xplore
• [Gandomi 2015] Gandomi, Amir, and Murtaza Haider. “Beyond the Hype: Big Data Concepts, Methods, and Analytics.” International Journal of Information Management, vol. 35, no. 2, Apr. 2015, pp. 137–44.
• [Gao 2011] Gao, Huiji, et al. “Harnessing the Crowdsourcing Power of Social Media for Disaster Relief.” IEEE Intelligent Systems, vol. 26, no. 3, May 2011, pp. 10–14. IEEE Xplore
• [Halevy 2006] Halevy, Alon, et al. “Data Integration: The Teenage Years.” Proceedings of the 32nd International Conference on Very Large Data Bases, VLDB Endowment, 2006, pp. 9–16.

Articles de recherche

• [Jagadish 2014] Jagadish, H. V., et al. Big Data and Its Technical Challenges. Association for Computing Machinery, 1 July 2014.
• [Kitchin 2016] Kitchin, Rob. “Big Data.” International Encyclopedia of Geography, American Cancer Society, 2016, pp. 1–3. Wiley Online Library
• [Kovalerchuk 2005] Kovalerchuk, Boris, and Evgenii Vityaev. “Data Mining for Financial Applications.” Data Mining and Knowledge Discovery Handbook, edited by Oded Maimon and Lior Rokach, Springer US, 2005, pp. 1203–24. Springer Link
• [Kwon 2014] Kwon, Ohbyung, et al. “Data Quality Management, Data Usage Experience and Acquisition Intention of Big Data Analytics.” International Journal of Information Management, vol. 34, no. 3, June 2014, pp. 387–94.
• [Lenzerini 2002] Lenzerini, Maurizio. “Data Integration: A Theoretical Perspective.” Proceedings of the Twenty-First ACM SIGMOD-SIGACT-SIGART Symposium on Principles of Database Systems, Association for Computing Machinery, 2002, pp. 233–246. ACM Digital Library
• [Laender 2002] Laender, Alberto H. F., et al. A Brief Survey of Web Data Extraction Tools. Association for Computing Machinery, 1 June 2002. June 2002
• [Murray-Rust 2008] Murray-Rust, Peter. “Open Data in Science.” Nature Precedings, Jan. 2008, pp. 1–1. www.nature.com
• [Nakayama 2007] Nakayama, Kotaro, et al. “Wikipedia Mining for an Association Web Thesaurus Construction.” Web Information Systems Engineering – WISE 2007, edited by Boualem Benatallah et al., Springer, 2007, pp. 322–34. Springer Link

Articles de recherche

• [Nofer 2017] Nofer, Michael, et al. “Blockchain.” Business & Information Systems Engineering, vol. 59, no. 3, June 2017, pp. 183–87. Springer Link
• [Pouchard 2015] Pouchard, Line. “Revisiting the Data Lifecycle with Big Data Curation.” International Journal of Digital Curation, vol. 10, no. 2, June 2015, pp. 176–92.
• [Richards 2014] Richards, Neil M., and Jonathan H. King. “Big Data Ethics.” Wake Forest Law Review, vol. 49, 2014
• [Rizvi 2002] Rizvi, Shariq J., and Jayant R. Haritsa. “Chapter 59 - Maintaining Data Privacy in Association Rule Mining.” VLDB ’02: Proceedings of the 28th International Conference on Very Large Databases, edited by Philip A. Bernstein et al., Morgan Kaufmann, 2002, pp. 682–93. ScienceDirect
• [Shen Bin 2010] Shen Bin, et al. “Research on Data Mining Models for the Internet of Things.” 2010 International Conference on Image Analysis and Signal Processing, 2010, pp. 127–32. IEEE Xplore
• [van Wel 2004] van Wel, Lita, and Lambèr Royakkers. “Ethical Issues in Web Data Mining.” Ethics and Information Technology, vol. 6, no. 2, June 2004, pp. 129–40. Springer Link
• [Vrandečić 2014] Vrandečić, Denny, and Markus Krötzsch. “Wikidata: A Free Collaborative Knowledgebase.” Communications of the ACM, vol. 57, no. 10, Sept. 2014, pp. 78–85.
• [Xu 2014] Xu, Lei, et al. “Information Security in Big Data: Privacy and Data Mining.” IEEE Access, vol. 2, 2014, pp. 1149–76. IEEE Xplore
• [Zwitter 2014] Zwitter, Andrej. “Big Data Ethics.” Big Data & Society, vol. 1, no. 2, July 2014

Couleurs

• Color Tool - Material Design

Images

• Wikimedia Commons