Aller au contenu principal
🗄️ L3 • Data / Économétrie avancée Disponible

Exploiter des données massives sans confondre volume et validité

Bases de données, APIs, web scraping, NLP appliqué à l'économie, données alternatives et text mining.

1 QCM disponible 20 Questions dans les QCM

Banque publiée de la matière : 20 questions au total. Les compteurs ci-dessus concernent les QCM listés sur cette page. Explorer aussi les fiches notions et leurs entraînements.

Commencer à réviser

Choisis un QCM et tes scores s'enregistreront automatiquement.

← Toutes les matières L3
🤖 Auto Disponible

QCM big-data-economie L3 - Collecte, qualité et éthique des données économiques

QCM de 20 questions avec corrections détaillées sur Collecte, qualité et éthique des données économiques (big-data-economie). Révisez efficacement avec des explications pédagogiques pour le niveau L3.

20 questions Intermédiaire Jusqu'à 40 XP
Révision Challenge Examen
Voir ce QCM

Présentation de Big Data en économie

Le Big Data en économie aborde les sources de données massives et leur collecte : APIs, web scraping, NLP appliqué (analyse de sentiment, discours des banques centrales), text mining, données alternatives et enjeux de reproductibilité.

Objectifs pédagogiques

Comprendre les enjeux du Big Data pour l'analyse économique : exploiter de grands volumes de données hétérogènes, maîtriser les architectures de traitement distribué et mobiliser de nouvelles sources de données pour la recherche et la décision économique.

Auteurs de référence en Big Data en économie

Les penseurs et théoriciens incontournables abordés dans nos QCM et dans les programmes universitaires.

Viktor Mayer-Schönberger Hal Varian Susan Athey Matt Taddy

Notions et périmètre de Big Data en économie en Licence 3

Repères de cours pour situer la matière. Le contenu de chaque questionnaire est précisé sur sa page ; confrontez ce périmètre à votre propre cours.

Les 5 V du Big Data (volume, vélocité, variété, véracité, valeur)
Sources de données massives (web, capteurs, transactions)
Architectures distribuées (Hadoop, Spark, MapReduce)
Bases de données NoSQL
Traitement de données textuelles (NLP, web scraping)
Apprentissage à grande échelle
Enjeux éthiques, RGPD et gouvernance des données

Compétences visées en Big Data en économie

  • Diagnostiquer les biais d’une source numérique.
  • Décrire une collecte traçable et un calcul distribué.
  • Calculer une statistique pondérée sur des partitions.
  • Distinguer pseudonymisation, anonymisation et gouvernance.

De nouvelles traces, pas nécessairement une meilleure population

Les transactions, annonces en ligne, recherches et capteurs produisent des données à une granularité rarement disponible dans les enquêtes classiques. Leur intérêt économique tient à la rapidité, au détail territorial ou à la possibilité de suivre des comportements. Les cinq V résument volume, vélocité, variété, véracité et valeur, mais ne constituent pas un critère scientifique suffisant. Un fichier immense peut mesurer précisément une population très particulière, comme les clients d’une plateforme, sans représenter les consommateurs dans leur ensemble.

La distinction décisive est celle entre population observée et population cible. Un indice de prix fondé sur des annonces ne mesure pas automatiquement les prix des transactions conclues. Un comptage de visites mesure une activité numérique, pas nécessairement des personnes distinctes. Les comportements de publication, les algorithmes de recommandation et les changements de règles de la plateforme influencent les traces recueillies. Décrire le processus qui crée la donnée est donc aussi important que décrire son format. La taille réduit parfois la variance, mais ne supprime pas le biais de sélection.

Collecter avec un protocole observable

Une API permet de demander des observations selon des paramètres structurés ; le scraping extrait des informations depuis des pages. Dans les deux cas, il faut respecter les conditions d’accès applicables, limiter la charge et vérifier la possibilité de réutiliser les données. Un statut HTTP favorable n’assure pas que le contenu soit complet ; inversement, un corps JSON peut contenir un message d’erreur parfaitement décodable. Le programme contrôle donc statut, schéma, pagination, nombre attendu d’observations et date de référence avant de valider une collecte.

Les reprises après incident exigent des identifiants stables et des opérations idempotentes : réexécuter une étape ne doit pas dupliquer les observations. Enregistrer les paramètres, le moment de collecte et une empreinte des fichiers permet de comprendre les révisions ultérieures. Les clés d’accès restent hors des jeux diffusés et des journaux publics. Un échantillon de pages ou de réponses conservé légalement peut servir au contrôle de qualité. Une rupture de série doit être recherchée du côté du processus de collecte avant d’être interprétée comme un choc économique.

Répartir les calculs sans changer la statistique

Une architecture distribuée partage les données entre plusieurs machines ou partitions. Dans une logique MapReduce, une étape locale produit des résultats intermédiaires, puis une réduction les combine. Spark représente notamment des collections distribuées et construit des suites de transformations ; certaines opérations ne sont effectivement exécutées qu’au déclenchement d’une action. Une agrégation par clé peut provoquer un transfert de données entre machines, appelé shuffle, dont le coût dépasse parfois celui du calcul arithmétique. Le choix de la clé de partitionnement a donc des conséquences concrètes.

Distribuer un calcul suppose de savoir quelles quantités suffisent à sa recomposition. Pour une moyenne, il faut transmettre somme et effectif, pas seulement la moyenne locale. Pour une variance, il faut une méthode de combinaison tenant compte des différences entre moyennes de partitions ; soustraire deux grands nombres proches peut également poser un problème de précision numérique. Des clés très déséquilibrées concentrent la charge sur quelques machines. Ajouter des processeurs ne résout pas automatiquement cette asymétrie ni le coût des transferts ou des lectures de stockage.

Qualité, stockage et apprentissage sur des textes

Une base relationnelle privilégie un schéma explicite et des relations contrôlées ; une base documentaire ou clé-valeur répond à d’autres besoins d’accès. Le choix NoSQL ne signifie ni absence de structure ni dispense de validation. Il faut toujours définir les unités, les identifiants, les valeurs autorisées et les règles de mise à jour. Les doublons peuvent correspondre à des répétitions techniques ou à des événements réels. Les éliminer sans clé substantielle risque de supprimer de l’activité économique légitime.

Pour des offres d’emploi ou des avis, le texte devient une représentation numérique par comptage de termes, pondération ou plongements vectoriels. Une représentation TF-IDF augmente le poids de termes relativement spécifiques, mais ne comprend pas à elle seule négation, ironie ou contexte. La séparation entre apprentissage et évaluation doit précéder l’ajustement du vocabulaire si l’objectif est prédictif. Des annonces dupliquées chez plusieurs diffuseurs ne doivent pas se retrouver de part et d’autre de cette séparation. Une mesure de sentiment reste une mesure construite, à valider sur des annotations pertinentes pour le domaine étudié.

Exemple calculé : partitions et correction de couverture

Une plateforme fictive observe 900 achats urbains d’un montant moyen de 40 euros et 100 achats ruraux d’un montant moyen de 20 euros. Les sommes locales valent 36 000 et 2 000 euros. La moyenne de tous les achats observés est donc 38 000/1 000 = 38 euros. Faire la moyenne des deux moyennes donnerait 30 euros : ce résultat accorde le même poids à deux partitions de tailles différentes et ne correspond pas à la distribution observée.

Supposons maintenant que la population cible comporte autant d’achats urbains que ruraux. Une poststratification utilisant ces parts connues donne 0,5 × 40 + 0,5 × 20 = 30 euros. La même valeur numérique devient pertinente, mais pour une autre cible et sous une hypothèse forte : au sein de chaque zone, les achats observés doivent représenter ceux de la population. Si les ménages modestes utilisent moins la plateforme même à territoire donné, la pondération géographique ne corrige pas cette sélection résiduelle.

Cet exemple distingue une erreur informatique d’agrégation d’une correction statistique de couverture. Les deux calculs peuvent utiliser exactement les mêmes sommes, mais leurs dénominateurs et leurs interprétations diffèrent. Pour un indicateur publié, il faut donc conserver les effectifs par partition, les poids de référence et la définition de l’unité achat. Une pondération extrême peut aussi augmenter l’incertitude ; présenter seulement le nombre brut de lignes donnerait une image excessive de la précision disponible.

Méthode : documenter la gouvernance et les limites

Construire une fiche de source comprenant origine, population couverte, fréquence, droits de réutilisation, transformations et contrôles de qualité. Définir une finalité avant de collecter des données personnelles et limiter les informations aux besoins justifiés. Une personne peut rester identifiable par croisement de variables même sans nom : retirer une colonne nominative ne suffit pas à anonymiser un fichier. La pseudonymisation sépare certains identifiants, mais ne fait pas automatiquement sortir les données du champ de la protection des personnes.

Prévoir les droits d’accès, la durée de conservation, la sécurité et les responsabilités avec les personnes compétentes, plutôt que de considérer ces questions après l’analyse. Vérifier les résultats sur une source indépendante lorsque cela est possible et étudier leur stabilité face aux changements de plateforme. Pour un apprentissage à grande échelle, surveiller également la dérive des distributions et les performances par sous-population. La conclusion doit préciser ce que les données permettent d’observer, ce qu’elles excluent et quelles hypothèses relient la trace numérique au phénomène économique visé.

Questions de cours

Un milliard de lignes élimine-t-il le biais de sélection ?

Non. La taille peut réduire la variabilité d’une estimation dans la population observée, mais une sélection systématique peut subsister quelle que soit cette taille.

Pourquoi ne pas moyenner les moyennes des partitions ?

Leurs effectifs peuvent être différents. La moyenne globale des observations se calcule avec les sommes et les effectifs, ou avec des moyennes pondérées par ces effectifs.

Une donnée publique est-elle librement réutilisable ?

Sa visibilité ne suffit pas à établir tous les droits et obligations. Il faut vérifier les conditions de réutilisation et, pour les données personnelles, le cadre applicable au traitement envisagé.

Pseudonymiser signifie-t-il anonymiser ?

Non. Un identifiant de remplacement peut encore permettre une réidentification ou un rapprochement. L’anonymisation exige une évaluation plus exigeante du risque de réidentification.

Fiches pour approfondir Big Data en économie

Bibliographie recommandée en Big Data en économie

Ouvrages de référence utilisés dans les universités françaises pour Licence 3

Big Data : la révolution des données est en marche

• Robert Laffont •

ISBN : 978-2221145531

Business Data Science

• McGraw-Hill •

ISBN : 978-1260452778

Data Science for Business

• O'Reilly •

ISBN : 978-1449361327

Ces lectures éclairent le périmètre traité. Le contenu est à confronter au cours de votre établissement ; il ne constitue pas un programme officiel.

Comment réviser Big Data en économie efficacement ?

Relire le cours

Commencez par relire vos notes et le manuel de référence pour rafraîchir les concepts clés.

Mode Révision

Utilisez le mode Révision avec les indices et corrections détaillées pour tester vos connaissances.

Mode Examen

Une fois prêt, passez en mode Examen pour vous évaluer dans les conditions réelles.