Données d'entraînement IA

Des données d'entraînement aux droits consignés.

Texte multilingue, code source et corpus biomédicaux. Chaque document porte sa classe de licence et la preuve qui la justifie.

Un enregistrement tel que livré

130+langues, dont beaucoup sont rares et peu dotées

{
  "text": "Die Studie untersucht, wie …",
  "language": "de",
  "subject": "medicine",
  "licence_class": "public-domain",
  "licence_evidence": "source statement",
  "quality": "clean",
  "text_hash": "9f2c…e41a"
}

10langages de programmation, de COBOL à Rust

{
  "file": "payroll.cbl",
  "language": "cobol",
  "licence": "Apache-2.0",
  "licence_evidence": "licence file",
  "notice": "included in delivery",
  "text": "IDENTIFICATION DIVISION. …"
}

Texte + données structuréesde la pharmacologie à la médecine tropicale

{
  "text": "The compound inhibits …",
  "language": "en",
  "subject": "pharmacology",
  "licence_class": "attribution",
  "licence": "CC-BY-4.0",
  "attribution": "included in delivery",
  "quality": "clean"
}
  • English
  • Deutsch
  • Français
  • Latina
  • Ἑλληνική
  • Italiano
  • Беларуская
  • Հայերեն
  • Español
  • हिन्दी
  • संस्कृतम्
  • বাংলা
  • Ελληνικά
  • मराठी
  • Afrikaans
  • Nederlands
  • Cymraeg
  • Kiswahili

Trois façons de travailler avec CurateLM.

Jeux de données130+

langues de texte, plus du code source et des corpus biomédicaux. Sous licence par langue, domaine et volume.

Voir les jeux de données
Curation de donnéesVos données

Extraites, nettoyées, dédupliquées et débarrassées des données personnelles. Traitées en Allemagne ou dans votre propre environnement.

Comment ça marche
BenchmarkDe A à E

Un rapport de qualité mesuré pour tout jeu de données texte ou code. Uniquement des chiffres, jamais votre texte.

Ce qui est mesuré

Du document à l'enregistrement

Chaque document dit ce qu'il est.

1

Langue telle qu'enregistrée

Chaque document conserve la langue sous laquelle il a été enregistré. Des détecteurs indépendants vérifient cette étiquette chaque fois qu'ils le peuvent, et le catalogue indique comment chaque étiquette a été confirmée.

2

Domaine

Chaque document est classé dans l'un de plus de 140 domaines, du droit et des archives administratives à la médecine et l'ingénierie, pour que vous licenciez exactement la part dont vous avez besoin.

3

Licence avec sa justification

La classe de licence figure à côté de la raison qui la fonde : la déclaration de la source, l'œuvre elle-même ou sa date de publication. Si la raison n'est pas claire, le document est retenu.

4

Indicateurs de qualité

Texte endommagé, résidus de navigation et répétitions massives sont signalés, jamais supprimés en silence. Vous décidez de ce que vous gardez.

record.jsonlDocument
{
  "text": "Die Studie untersucht, wie …",
  "language": "de",
  "subject": "medicine",
  "licence_class": "public-domain",
  "licence_evidence": "source statement",
  "quality_flags": []
}

Le corpus

Conçu pour les langues et les domaines que les robots d'indexation ignorent.

130+langues, dont beaucoup sont rares et peu dotées
140+domaines, du droit et de l'administration à la médecine
10langages de programmation, de COBOL à Rust
0document livré sous des conditions non commerciales ou de partage à l'identique

Les corpus grandissent chaque jour. Le catalogue donne des chiffres exacts et datés, arrondis à l'inférieur.

Politique de licences

Des droits consignés pour chaque document.

Vous voyez à quoi chaque document peut servir, et pourquoi nous l'affirmons.

  • Classe de licence consignée pour chaque document : domaine public, CC0 ou attribution.
  • Justification consignée avec elle : la déclaration de la source, l'œuvre elle-même ou sa date de publication.
  • Mentions d'attribution livrées avec les données chaque fois qu'une licence les exige.
  • Les contenus non commerciaux, sans modification, en partage à l'identique ou sous copyleft ne sont jamais livrés.

Curation de données

Vos données restent
en Allemagne.

Le pipeline qui construit nos corpus, appliqué à vos documents, scans, fichiers audio et vidéo. Sur nos propres machines en Allemagne dans le cadre d'un contrat de sous-traitance, ou dans votre environnement. Supprimées après livraison, avec confirmation écrite.

Dites-nous de quelles données vous avez besoin ou lesquelles vous avez.

Nous répondons sous un jour ouvré avec le catalogue, un échantillon d'évaluation ou une proposition de pilote.