Jeux de données

Trois corpus sous licence pour l'entraînement.

Collectés selon une seule politique de licences et livrés en JSONL ou Parquet. Consultez le catalogue et un échantillon d'évaluation avant de décider.

Texte multilingue

Toute l'étendue du langage humain.

Un corpus textuel pour les langues et les domaines que les collectes web généralistes couvrent mal : langues rares et peu dotées, et écrits institutionnels et spécialisés en sciences, droit, administration, médecine, finance et ingénierie.

Volume
Croît chaque jour. Les chiffres datés figurent dans le catalogue.
Langues
Plus de 130, dont beaucoup sont peu dotées
Domaines
Plus de 140
Classes de licence
Domaine public, CC0, attribution (CC BY)
Formats
JSONL, Apache Parquet

Code source

De COBOL à Rust.

Banques, assureurs et administrations fonctionnent encore sur COBOL, Fortran, JCL et PL/I, et les modèles qui modernisent ces systèmes doivent apprendre ces langages. Ce corpus associe ce code historique à des langages modernes, uniquement sous licences permissives.

Volume
En croissance. Les chiffres datés figurent dans le catalogue.
Historiques
COBOL, Fortran, JCL, PL/I
Modernes
Rust, C, C++, Java, Go, MATLAB
Licences
MIT, Apache-2.0, BSD, ISC, Zlib, 0BSD, CC0, Unlicense. Ni GPL ni AGPL.
Justification de licence
Consignée pour chaque fichier
Identifiants
Les fichiers contenant des chaînes ressemblant à des identifiants ne sont livrés qu'avec des valeurs synthétiques.

Biomédical et sciences de la vie

Pour la découverte de médicaments et le langage clinique.

Des textes biomédicaux, de la pharmacologie et la neurologie à la médecine tropicale et la biochimie, avec des données structurées disponibles en complément. Aucune donnée au niveau du patient.

Volume
En croissance. Les chiffres datés figurent dans le catalogue.
Domaines
Pharmacologie, neurologie, biochimie, immunologie, épidémiologie, médecine tropicale et plus
Données structurées
Étiquetage réglementaire des médicaments, déclarations d'événements indésirables désidentifiées, fiches de registres d'essais cliniques, affinités de liaison mesurées, annotations de gènes et de voies métaboliques
Non proposé
Données au niveau du patient. Les déclarations d'événements indésirables sont des dossiers réglementaires désidentifiés, pas une cohorte de patients.

Couverture

Langues et domaines du corpus textuel.

Les volumes varient beaucoup selon la langue. Le catalogue montre ce qui est disponible pour les vôtres.

Langues incluses

Abkhaze · Acehnais · Afrikaans · Albanais · Amharique · Grec ancien · Arménien · Avar · Aymara · Azéri · Bambara · Bachkir · Basque · Biélorusse · Bengali · Bichelamar · Breton · Bulgare · Birman · Catalan · Cebuano · Chamorro · Tchétchène · Chichewa · Chinois · Cornique · Croate · Tchèque · Danois · Néerlandais · Dzongkha · Anglais · Espéranto · Estonien · Fidjien · Finnois · Français · Peul · Galicien · Guèze · Géorgien · Allemand · Gotique · Grec · Guarani · Gujarati · Haoussa · Hawaïen · Hindi · Hongrois · Islandais · Igbo · Indonésien · Inuktitut · Irlandais · Italien · Japonais · Javanais · Kazakh · Khmer · Kinyarwanda · Coréen · Kirghize · Lao · Latin · Letton · Lezguien · Lingala · Lituanien · Bas-sorabe · Luganda · Macédonien · Maïthili · Malais · Malayalam · Maltais · Mannois · Maori · Marathi · Marshallais · Môn · Mongol · Nahuatl · Népalais · Norvégien · Occitan · Odia · Oromo · Ossète · Polonais · Portugais · Pendjabi · Quechua · Roumain · Russe · Samoan · Sanskrit · Serbe · Sesotho · Shona · Cingalais · Slovaque · Slovène · Somali · Espagnol · Soundanais · Swahili · Suédois · Tagalog · Tadjik · Tamoul · Tatar · Télougou · Thaï · Tibétain · Tigrigna · Tok Pisin · Tongien · Tsonga · Tswana · Turc · Turkmène · Ukrainien · Ouzbek · Vietnamien · Gallois · Wolof · Xhosa · Yoruba · Zoulou

Domaines inclus

Sciences et recherche · Droit, tribunaux et législation · Archives administratives et parlementaires · Médecine · Médecine traditionnelle, ayurveda et médecine islamique (Tibb Nabawi) · Savoirs autochtones · Banque, finance et fiscalité · Ingénierie et aéronautique · Agriculture · Architecture · Astronomie et chimie · Linguistique · Théologie et sciences humaines · Éducation · Systèmes informatiques historiques

Une langue est indiquée telle qu'enregistrée sur le document. Les langues encore en cours d'examen qualité figurent dans le catalogue avec ce statut.

Chaque enregistrement

Une sélection que vous pouvez auditer et reproduire.

  • Classe de licence, licence et sa justification
  • Mention d'attribution chaque fois qu'une licence l'exige
  • Langue telle qu'enregistrée, et domaine
  • Nombre de tokens et empreinte du contenu
  • Indicateurs de qualité, signalés et jamais supprimés en silence
record.jsonl
{
  "text": "…",
  "language": "de",
  "subject": "medicine",
  "licence_class": "public-domain",
  "licence_evidence": "source statement",
  "tokens": 1842,
  "text_hash": "9f2c…e41a",
  "quality_flags": []
}

Politique de licences

Une seule règle pour tout ce que nous livrons.

Un document n'est livré que si sa licence autorise l'usage commercial, y compris l'entraînement. Ce que nous ne pouvons pas classer est retenu, pas livré.

Ce que nous livrons

  • Domaine public et CC0
  • CC BY, avec l'attribution livrée avec les données
  • Code sous MIT, Apache-2.0, BSD, ISC, Zlib, 0BSD, CC0 et Unlicense

Ce que nous ne livrons jamais

  • Licences non commerciales (NC) et sans modification (ND)
  • Licences de partage à l'identique (SA)
  • GPL, AGPL et autres licences de code copyleft
  • Tout contenu à la licence absente ou incertaine

Livraison

Livré dans la taille dont vous avez besoin.

Les longs documents sont découpés en unités autonomes aux limites de phrases, afin que le volume par domaine corresponde à votre besoin.

PetiteJusqu'à 2

pages par unité

Moyenne2–20

pages par unité

Grande20–100

pages par unité

Comment fonctionne la licence

Du premier regard à la livraison.

  1. Catalogue

    Volumes par langue, domaine et licence, arrondis à l'inférieur et datés.

  2. Échantillon d'évaluation

    De vraies unités au format de livraison, pour juger du schéma et de la qualité.

  3. NDA et contrat

    Nous signons un NDA, puis convenons du périmètre et des conditions de licence.

  4. Livraison

    JSONL ou Parquet par transfert chiffré, avec documentation et mentions d'attribution.

Les questions des acheteurs.

Pouvons-nous voir les données avant de signer quoi que ce soit ?

Oui. Le catalogue liste les volumes par langue, domaine et licence. Un échantillon d'évaluation au format de livraison suit, et des lots d'évaluation plus importants sont partagés sous NDA.

Révélez-vous l'origine des données ?

Non. L'approvisionnement est confidentiel. Chaque document porte sa classe de licence et sa justification, et l'attribution est livrée partout où une licence l'exige.

Les données personnelles sont-elles supprimées ?

Une détection des données personnelles peut être lancée sur toute livraison, et les taux détectés sont fournis avec elle. La détection automatique ne trouve pas tout : nous indiquons ce qui a été trouvé et n'affirmons jamais qu'il ne reste rien.

Pouvons-nous licencier une seule langue ou un seul domaine ?

Oui. Chaque document est étiqueté avec sa langue et son domaine, de sorte qu'une livraison peut être découpée par langue, domaine, classe de licence ou taille.

Comment une livraison est-elle dimensionnée ?

Les longs documents sont découpés en unités autonomes aux limites de phrases, en trois tailles : jusqu'à environ 2 pages, d'environ 2 à 20 pages, et d'environ 20 à 100 pages.

Fournissez-vous un rapport de qualité avec les données ?

Oui. Un rapport de benchmark peut être livré avec le jeu de données. Il mesure les doublons, les données personnelles détectées, la répartition des licences et le recouvrement avec les jeux d'évaluation.

Demandez le catalogue.

Dites-nous de quelles langues, domaines ou langages de programmation vous avez besoin.