Des données au service de la performance et de la santé
WHOOP est un bracelet connecté qui permet de suivre le sommeil, l’activité physique et la santé au quotidien. Mais c’est aussi, et surtout, une entreprise pilotée par la donnée. Ses algorithmes analysent en continu des données biométriques collectées à travers le monde, 24h/24 et 7j/7. Chez WHOOP, chaque décision s’appuie sur les données.
Avoir accès à des données précises est essentiel. Cela nous permet d’améliorer l’expérience client, de renforcer la rétention, d’augmenter la valeur à vie des utilisateurs et la rentabilité.
Pour structurer et exploiter cette masse de données, l’équipe data de WHOOP a d’abord opté pour dbt Core, avec la mise en place rapide d’une couche unique et centralisée dédiée à l’orchestration et à la transformation, afin de gagner en visibilité.
Cette solution convenait parfaitement à une équipe data technique et agile. Mais à mesure que l’équipe grandissait, les besoins en scalabilité se sont fait sentir. WHOOP a alors choisi de migrer vers dbt Cloud pour accompagner sa montée en puissance.
Des fondations techniques à réinventer pour garantir la fiabilité des données
Si dbt Core a permis à WHOOP d’unifier ses transformations de données de manière structurée, la croissance de l’équipe a rapidement mis en lumière certaines limites.
D’abord, il n’y avait pas de gouvernance centralisée. Les analystes pouvaient créer chacun de leur côté des modèles dbt similaires, sans avoir de visibilité sur le travail des autres. Ensuite, le manque d’outils intégrés de planification et d’orchestration posait problème : dbt Core ne permet pas de déployer directement les modèles, obligeant l’équipe à s’appuyer sur des outils externes pour orchestrer les workflows.
En grandissant, on s’est retrouvés bloqués : il fallait constamment solliciter d’autres ingénieurs pour avancer. Résultat : les équipes métiers n’obtenaient pas toujours des réponses cohérentes ou dans les délais nécessaires pour décider.
Ce fonctionnement avait aussi un impact direct sur la fiabilité des données. En cas d’échec d’un modèle ou de saut d’un traitement en aval, il était difficile d’identifier l’origine du problème ou de garantir l’intégrité des données. Matt Luizzi consacrait jusqu’à une journée par semaine à l’identification et à la résolution des problèmes de qualité de données – un investissement en temps et en énergie impossible à tenir sur le long terme.
L’entreprise voulait accélérer sur l’IA, mais nos modèles ne valent que la qualité des données sur lesquelles ils s’entraînent. Pour faire avancer l’activité avec l’IA, il nous fallait des données fiables. On ne pouvait pas se permettre de réparer des erreurs en urgence en permanence.
Enfin, l’équipe s’apprêtait à migrer son Data Warehouse de AWS Redshift vers Snowflake. Un simple "lift and shift" ne suffisait pas : il fallait garantir la qualité et la gouvernance des données dès l’origine.
"Je voyais déjà des cas où les données n’étaient ni justes… ni même disponibles, confie Luizzi. Pour cette migration, la confiance dans la donnée était notre principal critère de réussite. Et une fois qu’on perd la confiance des équipes, il est très difficile de la regagner."
Structurer une base de données propre avec dbt Platform
Pour accompagner leur migration, l’exactitude et l’intégrité des données étaient les priorités absolues de l’équipe. Compte tenu de la dette technique accumulée, ils ont choisi de repartir de zéro en créant un nouveau projet directement dans dbt Platform.
Ils sont revenus aux fondamentaux : identifier les indicateurs clés à suivre, puis définir les tables et la structure de dépendances nécessaires pour les supporter. Résultat : la migration de dbt Core vers dbt Cloud n’a pris qu’une journée, tout en garantissant une base fiable pour construire un référentiel de données unique et centralisé.
Le passage à dbt Cloud leur a également permis d’atteindre plusieurs objectifs :
- Une migration progressive et maîtrisée
Plutôt que de repartir complètement à zéro, l’équipe a capitalisé sur ses investissements passés en continuant à utiliser l’infrastructure existante sur dbt Core (CI/CD, environnements dev/test, macros, outils en ligne de commande...). En parallèle, les nouvelles charges de travail ont été déployées sur dbt Platform.
- Des bonnes pratiques de gouvernance des données
L’équipe a mis en place un rythme hebdomadaire de mise en production, inspiré des standards du développement logiciel. Chaque vendredi, le code est forké depuis la production. Un analytics engineer intègre ensuite les évolutions de la semaine dans une version unique, soumise à un processus de revue de code, de tests unitaires, puis de déploiement. Une fois en production, une note de version est partagée avec les métiers pour détailler les changements.
« Tout cela est rendu possible grâce à l’écosystème dbt et à son cadre de travail orienté développeur », souligne Matt Luizzi.
- Suppression des silos de données
L’équipe a créé un projet partagé nommé WHOOP Commons, regroupant les données et composants réutilisables à l’échelle de l’entreprise (macros, modèles, etc.). Grâce à dbt Mesh et dbt Explorer, chaque équipe peut accéder à ces éléments depuis ses propres projets et les référencer nativement, sans avoir à bricoler des solutions complexes.
Tout est désormais centralisé dans dbt Cloud, avec des modèles partagés et totalement transparents.
dbt Cloud a simplifié la gestion de nos transformations de données. Aujourd’hui, un seul analytics engineer suffit à maintenir la plateforme, ce qui n’aurait jamais été viable avec dbt Core.
Autre bénéfice majeur : 99 % de couverture documentaire atteinte grâce à l’adoption de dbt Copilot.
"dbt Copilot a considérablement accéléré nos processus : les revues de pull requests sont passées de 30 minutes à 5 minutes. Cela nous permet de maintenir une documentation quasi intégrale, sans effort", explique William Tsu, Senior Analytics Engineer chez WHOOP.
"Ce gain de temps nous libère pour nous concentrer sur la qualité des modèles. C’est un vrai tournant dans notre stratégie data."
Faire évoluer les transformations et améliorer l’efficacité opérationnelle
Grâce à la migration vers dbt Cloud, l’équipe data de WHOOP est aujourd’hui nettement plus efficace.
Avec notre processus de mise en production hebdomadaire, on ne perd plus de temps à gérer des demandes ponctuelles de mises à jour de données.
L’équipe peut se concentrer sur l’analyse, plutôt que de construire ou maintenir des pipelines.
Ce nouveau fonctionnement a aussi permis de renforcer la confiance dans les données. Alors qu’ils rencontraient auparavant au moins un incident par semaine, ils ne font désormais plus face à aucun échec de job en production, ni à des erreurs imprévues sur l’historique de données. L’équipe peut s’appuyer sur des données fiables, et surtout, l’entreprise a confiance dans la qualité de l’écosystème data.
Je dors tranquille, sans craindre un message Slack au réveil m’annonçant l’échec d’un job en production.
Même quand nous apportons des modifications à la base de données, les utilisateurs métiers savent qu’ils peuvent se fier aux données pour prendre leurs décisions.
Par ailleurs, la migration vers dbt Cloud a permis à l’équipe d’adopter très rapidement des technologies d’IA avancées.
"WHOOP fait partie des entreprises qui ont intégré le plus rapidement certaines des technologies d’IA les plus innovantes et les ont mises en production, affirme Luizzi. C’est directement lié au fait qu’on a résolu nos problèmes de qualité de données grâce à dbt Cloud."
Pour la suite, l’équipe explore les possibilités offertes par le Semantic Layer de dbt:
Cette fonctionnalité pourrait leur permettre de créer des cas d’usage IA encore plus poussés, avec par exemple des chatbots capables d’interroger les données sans ligne de code. Si la machine comprend les modèles métiers, un utilisateur pourrait poser ses questions en langage naturel, sans SQL.
Le Semantic Layer jouera un rôle clé dans l’IA. dbt Labs propose des fonctionnalités très prometteuses, et leur roadmap est parfaitement alignée avec nos ambitions.