L’ACP (Analyse en composantes principales et Principal Component Analysis en anglais) est une méthode d’analyse de données qui permet de résumer l’information d’un dataset. C’est un algorithme utilisé pour analyser les corrélations dans un dataset et pour réduire le nombre de dimensions d’un problème. L’ACP est utilisée surtout dans les phases d’exploration et de préparation …
90% des données seraient des données non structurées. Parmi ces données on retrouve évidemment les données textuelles : articles, compte rendus, descriptions, avis, réseaux sociaux,… Aujourd’hui on ne peut pas doit pas passer à côté de ces données en tant que Data Scientist. Mais comment les exploiter? C’est le NLP (Natural Language Processing) qui regroupe …
Détecter des valeurs atypiques ou extrêmes grâce aux forêts d’isolations (Isolation Forest une méthode de machine learning non supervisée)
Apprenez à créer un algorithme Random Forest avec Python grâce à ce tutoriel pas à pas
Dans mon article sur la performance des modèles je vous présentais la démarche à suivre pour mesurer la performance de vos algorithmes. Il est temps de voir plus en détail quelques uns des indicateurs qui peuvent être utilisés pour y parvenir. Dans cet article, je vais vous présenter 3 indicateurs, adaptés pour évaluer la performance …
Mesurer la performance d’un modèle : Accuracy, recall et precision Lire la suite »
Dans cet article j’ai envie de vous parler de la performance des modèles au sens large (classification ou régression). Il y a déjà pas mal d’articles pour comprendre les algorithmes (Arbre de décision, Random Forest, Gradient Boosting, …) mais je n’avais pas encore abordé leur évaluation. Pourtant c’est un sujet essentiel. Peu importe votre projet, …
Comment mesurer la performance d’un modèle ? Lire la suite »
Dans un projet de Data Science la data prep prend beaucoup de temps par rapport à l’ensemble du projet. Et soyons honnête ce n’est pas forcément la partie la plus intéressante. Mais avant même d’en arriver à cette étape de préparation des données il faut explorer le Data Set pour commencer à appréhender les données …
Avez-vous remarqué que les modèles « complexes » comme Random Forest, Gradient Boosting ou Neural Network sont de plus en plus accessibles? C’est une bonne chose puisque ces algorithmes donnent généralement de très bons résultats. En revanche, un de leur inconvénient c’est leur effet Black Box : impossible d’expliquer dans le détail les règles de calcul de …
Quand on parle de règles d’association on a souvent en tête l’exemple du panier de supermarché. Je suis sûre que vous avez déjà entendu qu’on avait mis en évidence que l’achat de couche pour bébé le week end impliquait aussi l’achat de bières. En bref les règles d’association sont des règles du type A implique …
Je vous propose de regarder comment utiliser les règles d’association avec R en utilisant l’algorithme apriori. Pour cet exemple, j’ai choisi le dataset movie, disponible sur Kaggle. On a un ensemble de films notés par les utilisateurs, comme ça pourrait être le cas par exemple sur Netflix ou sur une autre plateforme de VOD. Au …
Et si on s’intéressait à un nouvel algorithme de machine learning pour essayer de comprendre comment ça marche. Aujourd’hui ce sera la classification bayésienne naïve (Naive Bayes classifier), un modèle assez simple, robuste et rapide qui se base sur le théorème de Bayes. Cet algorithme est à utiliser pour les problématiques de classement avec des …
Classification bayésienne naïve comment ça marche? Lire la suite »
Dans une base de données, il arrive que des données soient manquantes : elles ne sont pas renseignées pour tous les individus. Ce qui rend les choses un peu plus complexes, c’est qu’il y a plusieurs manières de considérer et de traiter (on parle d’imputation des données) ces données manquantes selon les cas. La plus …
3 solutions pour faire des clusters avec de gros volumes de données
La plupart des modèles de machine learning doivent être paramétrés pour donner les meilleurs résultats. Par exemple pour un Random Forest, on doit choisir le nombre d’arbres à créer et le nombre de variables à utiliser à chaque division d’un noeud. Si on paramètre à la main, cela peut vite s’avérer très coûteux en temps …
Liens utiles pour Data Scientist
Ma participation à un challenge avec l’outil Orange
Apprenez à utiliser un Random Forest avec R
3 librairies R à connaitre
S’il y a un algorithme qui fait parler de lui en ce moment, un algorithme que tout le monde veut afficher fièrement sur son CV, c’est bien celui du réseau de neurones (Neural Network). C’est l’algorithme de base qui se cache derrière le Deep Learning et les intelligences artificielles. Il est souvent utilisé pour les …
S’il y a un algorithme qui fait parler de lui en ce moment, un algorithme que tout le monde veut afficher fièrement sur son CV, c’est bien celui des réseaux de neurones (Neural Network). C’est l’algorithme de base qui se cache derrière le Deep Learning et les intelligences artificielles. Il est souvent utilisé pour les …
On dit souvent que la préparation des données représente 75% du temps de travail d’un Data Scientist. Cela comprend le Data engineering qui consiste à transformer les données pour la création du modèle mais également une partie de data management plus classique. Pour préparer un dataset, souvent à partir de plusieurs sources de données, on …
Préparer ses données avec Talend : 6 composants indispensables Lire la suite »
Combien de fois par jours calculons nous une moyenne? Le salaire moyen, la rentabilité moyenne, l’ancienneté moyenne, … On calcule tellement de moyennes qu’on ne s’en rend plus compte et on va parfois même jusqu’à calculer des moyennes de moyennes (what the fuck?) Mais dans le fond on est bien naïfs de croire que l’on peut …
Apprenez à utiliser simplement une CAH en comprenant le fonctionnement de l’algorithme.
L’indice base 100 est mort, vive la valeur test
Et si on dépoussiérait l’analyse de segmentation client? Fini les vieilles matrices de passage. Vous voyez de quoi je parle? Quand vous faites une segmentation client, il faut suivre son évolution dans le temps pour vérifier que le plan d’actions que vous avez mis en place vous permet bien d’être plus performant. Pour cela vous …
Suivre sa segmentation client avec un diagramme de Sankey Lire la suite »
Aujourd’hui tout le monde veut devenir Data scientist et pourquoi? Parce que c’est le métier le plus sexy du XXIe siècle mais surtout, avouons le, parce que le salaire moyen d’un Data scientist est bien supérieur à celui des autres métiers de la Data. Sur internet on trouve plein de conseils pour devenir Data scientist, …
Peut-on devenir Data scientist en suivant des MOOC? Lire la suite »
Un grand classique du marketing c’est la segmentation client. Il en existe plusieurs sortes mais elles ont toutes le même objectif, celui de passer d’une vision complexe et individuelle des clients à une vision agrégée en créant des groupes de clients suivant leur ressemblance. Certains pièges sont à éviter pour construire une segmentation efficace pour …
Apprendre à coder 6 algos avec R
Après le Bagging et l’algorithme Random Forest j’avais envie de creuser un peu plus le boosting avec le cas particulier de l’algorithme Gradient Boosting Machine (GBM). Il s’agit là encore d’une méthode d’agrégation de modèles et je vous propose de découvrir le principe de fonctionnement de cet algorithme.
Le k-means est l’algorithme de clustering le plus simple. Il permet de réaliser des analyses non supervisées, de regrouper les individus ayant des caractéristiques similaires. C’est surement la méthode la plus connue et bien souvent quand on doit créer des groupes d’individus on commence par le k-means. Nous allons voir quels sont les avantages et …
Dans cet article je vous explique simplement comment fonctionne un algorithme de Random Forest (forêt aléatoire) pour faire de la prédiction. Quand et comment l’utiliser, c’est par ici …
Je suis sûre que vous avez déjà vu ce type de graphiques qu’on appelle Chord diagram. Ils ont un air assez sophistiqué et ça change un peu des visualisations classiques : histogrammes, pie chart et cie… Mais bon encore faut-il savoir quand et comment les utiliser.
Après mon article sur le fonctionnement de l’algorithme Decision Tree (disponible ici), voici une manière de le mettre en oeuvre sous R.
L’arbre de décision (decision tree en anglais) c’est un algorithme de machine learning facile et interprétable, idéal quand on débute en Data Science. Nous allons voir quels sont ses avantages et inconvénients, quand l’utiliser avec des explications simples sur son fonctionnement.
Comment réaliser un échantillon représentatif, quelle méthode utiliser?
Pour mener à bien un projet de Datascience nous avons souvent besoin de plusieurs outils. Il faut tout d’abord un ETL pour extraire, agréger et préparer les données. Viens ensuite un outil d’analyse pour calculer des indicateurs, développer et déployer des modèles. On peut aussi utiliser un outil de datavisualisation pour diffuser les résultats. …
Les treemap permettent d’avoir une représentation hiérarchique de vos données
Ca y est votre analyse est presque terminée, après plusieurs jours de préparation, d’exploration et peut être même de modélisation vous avez des programmes, des lignes de code, des chiffres un peu partout et surtout des résultats. Félicitations vous allez pouvoir passer à la phase de restitution. La plupart des Data Scientists que j’ai rencontré …
Algorithmes distribués avec la librairie H2O En participant à un challenge sur Datascience.net, j’ai découvert le package H2O. Je voulais développer un réseau de neurones sous R et j’ai vite été limitée par le package Neralnet. H2O c’est une librairie open source qui regroupe des algorithmes qui peuvent être appliqués sur des données massives et …
Algorithmes distribués avec la librairie H2O Lire la suite »
Le process Mining est une combinaison des méthodes de BPM et de datamining
