Partenariat technologique

Kestra : l'orchestration open source pour vos workflows Data & IA

Kestra orchestre vos pipelines de données, vos traitements IA et vos processus métier dans une plateforme open source, déclarative et événementielle. Smile conçoit, déploie et fait vivre votre plateforme.

Pourquoi Kestra

Kestra est une plateforme d'orchestration open source, d'origine française, qui remplace les scripts cron et les DAG Python difficiles à maintenir par des workflows décrits en YAML, lisibles par toute l'équipe.

  • Déclaratif : les flux sont définis en YAML, versionnés dans Git, relus et déployés comme du code (Infrastructure as Code, CI/CD). Aucune compétence Python n'est requise pour les écrire.
  • Événementiel et planifié : déclenchement par horaire, webhook, arrivée d'un fichier, message Kafka ou événement cloud, pour passer du batch au temps réel avec le même outil.
  • Agnostique du langage : chaque tâche s'exécute en Python, SQL, R, Shell, Node.js ou dans un conteneur Docker, ce qui évite d'imposer une stack unique aux équipes.
  • Riche en plugins : plusieurs centaines de plugins pour Snowflake, dbt, Airbyte, Spark, Kafka, les bases de données, les clouds et les LLM.
  • Interface complète : éditeur de flux, vue topologique, logs, relances ciblées, métriques et supervision accessibles aux profils métier comme techniques.
  • Open source : licence Apache 2.0 pour l'édition communautaire, avec une édition Enterprise pour le SSO, le contrôle d'accès (RBAC), l'audit et la haute disponibilité.

 

Cas d'usage

Cas d'usage

Ce que fait Kestra

Bénéfice

Pipelines de données (ELT)

Orchestre l'ingestion (Airbyte, fichiers, API), les transformations dbt et le chargement dans Snowflake ou un autre entrepôt

Un point de pilotage unique, relances ciblées, SLA suivis

Data Platform industrialisée

Planifie, supervise et alerte sur l'ensemble des flux d'une plateforme data

Moins de dette technique que des scripts et crons dispersés

IA et agents (RAG, LLM)

Enchaîne ingestion documentaire, vectorisation, appels LLM et validation humaine

Des traitements IA reproductibles, tracés et auditables

Qualité et gouvernance

Déclenche des contrôles de qualité et alimente le catalogue de métadonnées (ex. OpenMetadata)

Fiabilité des données et traçabilité de bout en bout

Automatisation de processus métier

Relie applications, API et validations dans des workflows événementiels

Gains de temps sur les tâches répétitives

Migration d'orchestrateur

Reprend des flux existants (Airflow, cron, ETL propriétaire) vers Kestra

Moins de coûts de licence, plus de lisibilité

 

Notre offre

Smile vous accompagne sur tout le cycle de vie de votre plateforme d'orchestration.

  1. Cadrage et audit : inventaire de vos flux existants, choix de l'édition (Community ou Enterprise) et trajectoire de migration.
  2. Architecture et déploiement : installation sur Kubernetes ou VM, on-premise, cloud souverain ou cloud public, avec sécurité, SSO et haute disponibilité.
  3. Conception des workflows : pipelines Data, intégrations Snowflake et dbt, flux IA et agents, bibliothèque de modèles réutilisables.
  4. Industrialisation : CI/CD des flux, tests, supervision, alerting et bonnes pratiques de gouvernance.
  5. Run et montée en compétences : support, évolutions, formation de vos équipes Data et Ops.

Kestra s'intègre à l'écosystème Data & IA que Smile pratique au quotidien : Snowflake, dbt, OpenMetadata, Kafka, bases de données et briques d'IA générative open source.

 

Pourquoi Smile

Smile est une entreprise de services numériques spécialisée dans l'open source. Notre pratique Data & IA réunit plus de 180 collaborateurs.

  • Expertise open source : nous choisissons, intégrons et faisons évoluer des briques ouvertes, sans enfermement chez un éditeur.
  • Souveraineté : Kestra, éditeur français, se déploie sur une infrastructure que vous maîtrisez, en cohérence avec notre offre d'IA souveraine.
  • Vision de bout en bout : de la donnée à l'IA, nous couvrons ingestion, plateforme, gouvernance, orchestration et agents.
  • Industrialisation : des architectures de référence et des accélérateurs pour passer vite du POC à la production.

 

FAQ et CTA

Kestra est-il vraiment open source ? Oui, l'édition communautaire est publiée sous licence Apache 2.0. L'édition Enterprise ajoute des fonctions de sécurité et d'exploitation.

Quelle différence avec Airflow ? Airflow définit ses flux en Python ; Kestra les décrit en YAML, sait réagir à des événements et ne se limite pas au batch. Smile peut évaluer avec vous l'intérêt d'une migration.

Kestra remplace-t-il dbt ou Airbyte ? Non, il les orchestre. Il pilote vos outils existants dans un même flux, avec une supervision unifiée.

Peut-on l'héberger en France ou on-premise ? Oui, sur Kubernetes ou VM, chez vous ou sur un cloud souverain.

Pouvez-vous orchestrer des traitements IA et des agents ? Oui : appels LLM, RAG, validation humaine et traçabilité sont réalisables dans les workflows.

 

CTA : Un projet d'orchestration ? Parlons-en avec nos experts Data & IA.