Projet : Measure Net Neutrality

Measure Net Neutrality

Informations

Description du projet

Objet : Traitement et visualisation de données ouvertes de mesures de la neutralité du net

 » Measure Net Neutrality  » est un ensemble de scripts dont le but est de rendre accessible à tous et de manière visuelle (notamment via la cartographie), analytique et brute (données nettoyées sous format CSV) des mesures de la neutralité du net, calculées à partir d’un maximum d’outils et de bases de données existantes. L’ensemble de ces scripts est sous licence GPLv3.

L’objectif est ainsi de fournir un mini-site web, automatiquement mis à jour avec les nouvelles données, regroupant les visualisations et les analyses statistiques des différents aspects que le non-respect de la neutralité du net peut prendre. Les données seront mises à jour une fois par semaine.

Le projet se compose de trois phases :
1) écrire des scripts récupérant les nouveaux logs stockés des logiciels de mesure de la neutralité du net, et extrayant les données pour les rendre utilisables (parsing) afin de générer un fichier propre au format ouvert CSV.
2) Appliquer des traitements supplémentaires des données, comme la localisation des tests à partir de l’adresse IP, la qualification des données (enlever les valeurs aberrantes), etc.
3) Visualisation et analyse statistique des données sur une page Html générée automatiquement (paquet  » KnitR  » du logiciel libre de statistique R). Les visualisations se font sous forme de cartes mondiales et de graphiques divers. L’analyse statistique sera fonction des données et prendra la forme de statistiques descriptives classiques, de tests, d’analyse des erreurs de mesure, etc.

Développement actuel : Le parsing automatique et le post-traitement des données d’un logiciel de mesure du  » traffic shaping  » du nom de Shaperprobe sont déjà développés et tournent sur un serveur de la Quadrature du Net. Les scripts sont disponibles sur GitHub (https://github.com/Framartin/MeasureNetNeutrality). Les visualisations et les analyses statistiques sont en cours de finalisation, mais une version non-finale est disponible sur GitHub (https://github.com/Framartin/MeasureNetNeutrality/blob/master/MLab/ShaperProbe/example/statistical_analysis.html). Je recherche des personnes intéressées pour l’utilisation des données d’autres outils que Shaperprobe. Ce qui devrait être plus facile, car des scripts ont déjà été écrits pour parser les données d’autres logiciels.

Les données utilisées sont celles hébergées sur le Measurement Lab (http://measurementlab.net/) qui est une plateforme fournissant une infrastructure de serveurs et hébergeant les données récoltées de différents logiciels de mesure des performances ou de la neutralité d’une connexion à Internet (développés par des chercheurs). La quantité de données est énorme. Elle totalise une taille de 960 TB correspondant à 385 millions de tests en septembre 2014). Ces données sont toutes sous licence CC-0.

Ce projet a donc pour but, via des logiciels libres, de faciliter l’accès à l’information (graphiquement et analytiquement) fournit par de l’open data sur la neutralité du net, et d’inciter à la réutilisation (en fournissant les données enrichie directement utilisable en CSV, plutôt que de devoir les parser).

Ce projet est nouveau de ce qui se fait actuellement (notamment par netneutralitymap.org), car : certaines données n’avaient jamais été utilisées (celles issus du logiciel Shaperprobe), netneutralitymap retélécharge et retraite toutes les données à chaque mise à jour (ce qui impose des mises à jour moins régulières), netneutralitymap ne procède pas à un nettoyage des données (par exemple, il affiche sans différence les pays qui ont 1000 tests et ceux qui en ont 2).