Jeux de données
Trois corpus sous licence pour l'entraînement.
Collectés selon une seule politique de licences et livrés en JSONL ou Parquet. Consultez le catalogue et un échantillon d'évaluation avant de décider.
Texte multilingue
Toute l'étendue du langage humain.
Un corpus textuel pour les langues et les domaines que les collectes web généralistes couvrent mal : langues rares et peu dotées, et écrits institutionnels et spécialisés en sciences, droit, administration, médecine, finance et ingénierie.
- Volume
- Croît chaque jour. Les chiffres datés figurent dans le catalogue.
- Langues
- Plus de 130, dont beaucoup sont peu dotées
- Domaines
- Plus de 140
- Classes de licence
- Domaine public, CC0, attribution (CC BY)
- Formats
- JSONL, Apache Parquet
Code source
De COBOL à Rust.
Banques, assureurs et administrations fonctionnent encore sur COBOL, Fortran, JCL et PL/I, et les modèles qui modernisent ces systèmes doivent apprendre ces langages. Ce corpus associe ce code historique à des langages modernes, uniquement sous licences permissives.
- Volume
- En croissance. Les chiffres datés figurent dans le catalogue.
- Historiques
- COBOL, Fortran, JCL, PL/I
- Modernes
- Rust, C, C++, Java, Go, MATLAB
- Licences
- MIT, Apache-2.0, BSD, ISC, Zlib, 0BSD, CC0, Unlicense. Ni GPL ni AGPL.
- Justification de licence
- Consignée pour chaque fichier
- Identifiants
- Les fichiers contenant des chaînes ressemblant à des identifiants ne sont livrés qu'avec des valeurs synthétiques.
Biomédical et sciences de la vie
Pour la découverte de médicaments et le langage clinique.
Des textes biomédicaux, de la pharmacologie et la neurologie à la médecine tropicale et la biochimie, avec des données structurées disponibles en complément. Aucune donnée au niveau du patient.
- Volume
- En croissance. Les chiffres datés figurent dans le catalogue.
- Domaines
- Pharmacologie, neurologie, biochimie, immunologie, épidémiologie, médecine tropicale et plus
- Données structurées
- Étiquetage réglementaire des médicaments, déclarations d'événements indésirables désidentifiées, fiches de registres d'essais cliniques, affinités de liaison mesurées, annotations de gènes et de voies métaboliques
- Non proposé
- Données au niveau du patient. Les déclarations d'événements indésirables sont des dossiers réglementaires désidentifiés, pas une cohorte de patients.
Couverture
Langues et domaines du corpus textuel.
Les volumes varient beaucoup selon la langue. Le catalogue montre ce qui est disponible pour les vôtres.
Langues incluses
Abkhaze · Acehnais · Afrikaans · Albanais · Amharique · Grec ancien · Arménien · Avar · Aymara · Azéri · Bambara · Bachkir · Basque · Biélorusse · Bengali · Bichelamar · Breton · Bulgare · Birman · Catalan · Cebuano · Chamorro · Tchétchène · Chichewa · Chinois · Cornique · Croate · Tchèque · Danois · Néerlandais · Dzongkha · Anglais · Espéranto · Estonien · Fidjien · Finnois · Français · Peul · Galicien · Guèze · Géorgien · Allemand · Gotique · Grec · Guarani · Gujarati · Haoussa · Hawaïen · Hindi · Hongrois · Islandais · Igbo · Indonésien · Inuktitut · Irlandais · Italien · Japonais · Javanais · Kazakh · Khmer · Kinyarwanda · Coréen · Kirghize · Lao · Latin · Letton · Lezguien · Lingala · Lituanien · Bas-sorabe · Luganda · Macédonien · Maïthili · Malais · Malayalam · Maltais · Mannois · Maori · Marathi · Marshallais · Môn · Mongol · Nahuatl · Népalais · Norvégien · Occitan · Odia · Oromo · Ossète · Polonais · Portugais · Pendjabi · Quechua · Roumain · Russe · Samoan · Sanskrit · Serbe · Sesotho · Shona · Cingalais · Slovaque · Slovène · Somali · Espagnol · Soundanais · Swahili · Suédois · Tagalog · Tadjik · Tamoul · Tatar · Télougou · Thaï · Tibétain · Tigrigna · Tok Pisin · Tongien · Tsonga · Tswana · Turc · Turkmène · Ukrainien · Ouzbek · Vietnamien · Gallois · Wolof · Xhosa · Yoruba · Zoulou
Domaines inclus
Sciences et recherche · Droit, tribunaux et législation · Archives administratives et parlementaires · Médecine · Médecine traditionnelle, ayurveda et médecine islamique (Tibb Nabawi) · Savoirs autochtones · Banque, finance et fiscalité · Ingénierie et aéronautique · Agriculture · Architecture · Astronomie et chimie · Linguistique · Théologie et sciences humaines · Éducation · Systèmes informatiques historiques
Une langue est indiquée telle qu'enregistrée sur le document. Les langues encore en cours d'examen qualité figurent dans le catalogue avec ce statut.
Chaque enregistrement
Une sélection que vous pouvez auditer et reproduire.
- Classe de licence, licence et sa justification
- Mention d'attribution chaque fois qu'une licence l'exige
- Langue telle qu'enregistrée, et domaine
- Nombre de tokens et empreinte du contenu
- Indicateurs de qualité, signalés et jamais supprimés en silence
{ "text": "…", "language": "de", "subject": "medicine", "licence_class": "public-domain", "licence_evidence": "source statement", "tokens": 1842, "text_hash": "9f2c…e41a", "quality_flags": [] }
Politique de licences
Une seule règle pour tout ce que nous livrons.
Un document n'est livré que si sa licence autorise l'usage commercial, y compris l'entraînement. Ce que nous ne pouvons pas classer est retenu, pas livré.
Ce que nous livrons
- Domaine public et CC0
- CC BY, avec l'attribution livrée avec les données
- Code sous MIT, Apache-2.0, BSD, ISC, Zlib, 0BSD, CC0 et Unlicense
Ce que nous ne livrons jamais
- Licences non commerciales (NC) et sans modification (ND)
- Licences de partage à l'identique (SA)
- GPL, AGPL et autres licences de code copyleft
- Tout contenu à la licence absente ou incertaine
Livraison
Livré dans la taille dont vous avez besoin.
Les longs documents sont découpés en unités autonomes aux limites de phrases, afin que le volume par domaine corresponde à votre besoin.
pages par unité
pages par unité
pages par unité
Comment fonctionne la licence
Du premier regard à la livraison.
Catalogue
Volumes par langue, domaine et licence, arrondis à l'inférieur et datés.
Échantillon d'évaluation
De vraies unités au format de livraison, pour juger du schéma et de la qualité.
NDA et contrat
Nous signons un NDA, puis convenons du périmètre et des conditions de licence.
Livraison
JSONL ou Parquet par transfert chiffré, avec documentation et mentions d'attribution.
Les questions des acheteurs.
Pouvons-nous voir les données avant de signer quoi que ce soit ?
Oui. Le catalogue liste les volumes par langue, domaine et licence. Un échantillon d'évaluation au format de livraison suit, et des lots d'évaluation plus importants sont partagés sous NDA.
Révélez-vous l'origine des données ?
Non. L'approvisionnement est confidentiel. Chaque document porte sa classe de licence et sa justification, et l'attribution est livrée partout où une licence l'exige.
Les données personnelles sont-elles supprimées ?
Une détection des données personnelles peut être lancée sur toute livraison, et les taux détectés sont fournis avec elle. La détection automatique ne trouve pas tout : nous indiquons ce qui a été trouvé et n'affirmons jamais qu'il ne reste rien.
Pouvons-nous licencier une seule langue ou un seul domaine ?
Oui. Chaque document est étiqueté avec sa langue et son domaine, de sorte qu'une livraison peut être découpée par langue, domaine, classe de licence ou taille.
Comment une livraison est-elle dimensionnée ?
Les longs documents sont découpés en unités autonomes aux limites de phrases, en trois tailles : jusqu'à environ 2 pages, d'environ 2 à 20 pages, et d'environ 20 à 100 pages.
Fournissez-vous un rapport de qualité avec les données ?
Oui. Un rapport de benchmark peut être livré avec le jeu de données. Il mesure les doublons, les données personnelles détectées, la répartition des licences et le recouvrement avec les jeux d'évaluation.
Demandez le catalogue.
Dites-nous de quelles langues, domaines ou langages de programmation vous avez besoin.