Curation de données

Vos données. Prêtes pour l'IA.

Nous appliquons notre pipeline de curation à vos documents, scans, fichiers audio et vidéo. Sur nos propres machines en Allemagne dans le cadre d'un contrat de sous-traitance, ou dans votre environnement.

Ce qui entre

  • PDF, y compris les pages numérisées
  • Documents Office, HTML et exports d'e-mails
  • Fichiers CSV, journaux et exports de bases de données
  • Enregistrements audio et vidéo

Ce qui sort

  • JSONL ou Parquet structuré selon un schéma convenu
  • Données personnelles supprimées ou masquées selon votre politique
  • Langue, indicateurs de qualité et empreinte du contenu sur chaque enregistrement
  • Une fiche de données et un rapport de qualité avant/après

Le pipeline

Huit étapes des fichiers bruts aux données d'entraînement.

Le même pipeline que celui qui construit nos propres corpus. Chaque étape peut être activée ou désactivée pour votre projet.

  1. Extraire

    Le texte est extrait des documents. Les pages numérisées passent par une reconnaissance optique de caractères.

  2. Transcrire

    L'audio et la vidéo sont convertis et transcrits en texte.

  3. Nettoyer

    Erreurs d'encodage, balisage, en-têtes, pieds de page et texte standard sont supprimés, et le texte est normalisé.

  4. Supprimer les données personnelles

    Noms, adresses e-mail, numéros de téléphone, coordonnées bancaires et identifiants sont détectés puis supprimés ou masqués.

  5. Dédupliquer

    Les copies exactes et quasi identiques sont repérées, pour que rien ne soit surreprésenté à l'entraînement.

  6. Détecter la langue

    Des détecteurs indépendants votent, et une étiquette n'est conservée que s'ils s'accordent.

  7. Signaler la qualité

    Chaque enregistrement est contrôlé. Ceux de faible qualité sont signalés ou supprimés, selon votre choix.

  8. Structurer et rendre compte

    Sortie dans votre schéma, avec une fiche de données et un rapport de benchmark.

Ce que nous ne promettons pas : la détection automatique des données personnelles ne trouve pas tout. Nous indiquons les taux détectés et les limites connues, et pour les données sensibles nous convenons avec vous d'une étape de relecture avant la livraison.

Formats et services

Livré comme votre pipeline l'attend.

Données de fine-tuning

Formats instruction, chat, préférence (DPO) et complétion, adaptés au framework avec lequel vous entraînez.

Données de pré-entraînement

Parquet en colonnes, prêt pour Hugging Face Datasets, Spark, S3 ou BigQuery.

Recherche augmentée (RAG)

Segmentation, découpage et métadonnées ajustés à votre base vectorielle et à votre modèle d'embedding.

Jeux d'évaluation

Jeux de test tenus à l'écart, construits selon votre grille et livrés avec un script de notation.

Pipelines récurrents

Traitements par lots reproductibles avec rapports de qualité automatiques, pour les équipes au flux de données régulier.

Marque blanche

Cabinets de conseil et fournisseurs de données peuvent proposer le pipeline à leurs propres clients sous leur propre nom.

Protection des données

Conçu pour les données qui doivent rester sous contrôle.

Le contrat d'abord

Un contrat de sous-traitance selon l'art. 28 du RGPD est signé avant que nous ne touchions aux données. Un NDA est la règle.

Traitées en Allemagne

Sur nos propres machines en Allemagne, ou sur les vôtres. Vos données ne sont pas envoyées vers un stockage cloud.

Chiffrées au repos

Les données sont conservées chiffrées pendant la seule durée du projet.

Supprimées après livraison

Vos données sources sont supprimées à la fin du projet, et vous recevez une confirmation écrite.

Deux façons de l'exécuter

Sur nos machines ou sur les vôtres.

CritèreSur nos machinesDans votre environnement
Comment ça marcheVous envoyez les données par transfert chiffré. Nous les traitons en Allemagne et les supprimons après la livraison.Nous exécutons le pipeline dans votre environnement, à distance sur une machine que vous fournissez ou sur site.
Adapté àÉquipes IA, éditeurs de logiciels, et données pouvant quitter votre réseau sous contrat.Banques, assureurs, santé, pharmacie et organismes publics dont les données ne peuvent pas quitter les lieux.
Vos donnéesConservées chiffrées pendant la seule durée du projet.Ne quittent jamais votre infrastructure.

Pour qui

Des organisations aux archives que l'IA ne peut pas encore exploiter.

Banques et assurances

Contrats, correspondance et dossiers transformés en données d'entraînement et de recherche, sans données personnelles.

Santé et pharmacie

Rapports, documents d'études et enregistrements vocaux préparés pour des modèles spécialisés, sous une protection des données stricte.

Secteur public et juridique

Dossiers numérisés, décisions de justice et documents administratifs rendus consultables et exploitables.

Conseil et fournisseurs de données

Le pipeline sous votre nom, pour vos propres clients.

Le déroulement d'un projet

Commencer petit. Puis passer à l'échelle.

  1. Cadrage

    Un échange sur vos données, formats, volumes et exigences de protection des données.

  2. Pilote

    Nous traitons un échantillon d'environ 1 000 enregistrements et présentons le résultat avec un rapport de qualité.

  3. Devis

    Un prix fixe fondé sur ce que le pilote a montré, pas sur une estimation.

  4. Traitement complet

    L'ensemble des données passe par le pipeline, avec des chiffres intermédiaires en cours de route.

  5. Livraison

    Données, fiche de données et rapport sont livrés. Vos données sources sont supprimées et la suppression confirmée.

Questions sur la curation de données.

Nos données doivent-elles quitter nos locaux ?

Non. Le pipeline peut fonctionner dans votre environnement, sur une machine que vous fournissez. Si vous préférez, vous nous transmettez les données dans le cadre d'un contrat de sous-traitance et nous les traitons sur nos propres machines en Allemagne.

Signez-vous un contrat de sous-traitance ?

Oui. Un contrat selon l'art. 28 du RGPD est signé avant que nous recevions la moindre donnée, avec un NDA.

Quels types de fichiers pouvez-vous traiter ?

PDF y compris numérisés, documents Office, HTML, texte brut, exports CSV et de bases de données, ainsi que fichiers audio et vidéo. Les scans passent par l'OCR et les enregistrements par la reconnaissance vocale.

Quelles langues sont prises en charge ?

La détection couvre un très large éventail de langues, y compris peu dotées, car le pipeline a été conçu pour un corpus de plus de 130 langues. La qualité de l'OCR et de la reconnaissance vocale varie selon la langue, c'est l'une des raisons pour lesquelles nous commençons par un pilote.

Comment un projet est-il tarifé ?

Par projet, selon le volume, les formats et le mode d'exécution. Le pilote donne de vrais chiffres aux deux parties, et le devis en découle.

Décrivez-nous vos données.

Formats, volume approximatif et usage prévu. Nous répondons avec une proposition de pilote.