Datasets

Drie corpora gelicentieerd voor training.

Verzameld onder één licentiebeleid en geleverd als JSONL of Parquet. Bekijk de catalogus en een evaluatiesteekproef voordat u beslist.

Meertalige tekst

De volle breedte van menselijke taal.

Een tekstcorpus voor de talen en vakgebieden die algemene webcrawls slecht dekken: zeldzame talen en talen met weinig bronnen, en institutionele en vakteksten uit wetenschap, recht, overheid, geneeskunde, financiën en techniek.

Omvang
Groeit elke dag. Gedateerde cijfers staan in de catalogus.
Talen
Meer dan 130, waarvan veel met weinig bronnen
Vakgebieden
Meer dan 140
Licentieklassen
Publiek domein, CC0, naamsvermelding (CC BY)
Formaten
JSONL, Apache Parquet

Broncode

Van COBOL tot Rust.

Banken, verzekeraars en overheden draaien nog steeds op COBOL, Fortran, JCL en PL/I, en modellen die die systemen moderniseren moeten die talen leren. Dit corpus combineert die legacy-code met moderne talen, uitsluitend onder permissieve licenties.

Omvang
Groeiend. Gedateerde cijfers staan in de catalogus.
Legacy
COBOL, Fortran, JCL, PL/I
Modern
Rust, C, C++, Java, Go, MATLAB
Licenties
MIT, Apache-2.0, BSD, ISC, Zlib, 0BSD, CC0, Unlicense. Geen GPL of AGPL.
Licentieonderbouwing
Vastgelegd voor elk bestand
Inloggegevens
Bestanden met tekenreeksen die op inloggegevens lijken, worden alleen met synthetische waarden geleverd.

Biomedisch en life sciences

Voor medicijnonderzoek en klinische taal.

Biomedische tekst van farmacologie en neurologie tot tropische geneeskunde en biochemie, met gestructureerde records erbij. Niets hiervan is data op patiëntniveau.

Omvang
Groeiend. Gedateerde cijfers staan in de catalogus.
Vakgebieden
Farmacologie, neurologie, biochemie, immunologie, epidemiologie, tropische geneeskunde en meer
Gestructureerde records
Officiële geneesmiddelenbijsluiters, geanonimiseerde meldingen van bijwerkingen, records uit registers van klinische studies, gemeten bindingsaffiniteiten, gen- en pathway-annotaties
Niet aangeboden
Data op patiëntniveau. Bijwerkingsmeldingen zijn geanonimiseerde dossiers van toezichthouders, geen patiëntencohort.

Dekking

Talen en vakgebieden in het tekstcorpus.

De volumes verschillen sterk per taal. De catalogus toont wat beschikbaar is voor de talen die u nodig hebt.

Talen omvatten

Abchazisch · Atjehs · Afrikaans · Albanees · Amhaars · Oudgrieks · Armeens · Avaars · Aymara · Azerbeidzjaans · Bambara · Basjkiers · Baskisch · Wit-Russisch · Bengaals · Bislama · Bretons · Bulgaars · Birmaans · Catalaans · Cebuano · Chamorro · Tsjetsjeens · Chichewa · Chinees · Cornisch · Kroatisch · Tsjechisch · Deens · Nederlands · Dzongkha · Engels · Esperanto · Estisch · Fijisch · Fins · Frans · Fula · Galicisch · Ge'ez · Georgisch · Duits · Gotisch · Grieks · Guaraní · Gujarati · Hausa · Hawaïaans · Hindi · Hongaars · IJslands · Igbo · Indonesisch · Inuktitut · Iers · Italiaans · Japans · Javaans · Kazachs · Khmer · Kinyarwanda · Koreaans · Kirgizisch · Laotiaans · Latijn · Lets · Lezgisch · Lingala · Litouws · Nedersorbisch · Luganda · Macedonisch · Maithili · Maleis · Malayalam · Maltees · Manx · Maori · Marathi · Marshallees · Mon · Mongools · Nahuatl · Nepalees · Noors · Occitaans · Odia · Oromo · Ossetisch · Pools · Portugees · Punjabi · Quechua · Roemeens · Russisch · Samoaans · Sanskriet · Servisch · Sesotho · Shona · Singalees · Slowaaks · Sloveens · Somalisch · Spaans · Soendanees · Swahili · Zweeds · Tagalog · Tadzjieks · Tamil · Tataars · Telugu · Thai · Tibetaans · Tigrinya · Tok Pisin · Tongaans · Tsonga · Tswana · Turks · Turkmeens · Oekraïens · Oezbeeks · Vietnamees · Welsh · Wolof · Xhosa · Yoruba · Zoeloe

Vakgebieden omvatten

Wetenschap en onderzoek · Recht, rechtspraak en wetgeving · Overheids- en parlementaire archieven · Geneeskunde · Traditionele geneeskunde, ayurveda en islamitische geneeskunde (Tibb Nabawi) · Inheemse kennis · Bankwezen, financiën en belastingen · Techniek en luchtvaart · Landbouw · Architectuur · Astronomie en scheikunde · Taalkunde · Theologie en geesteswetenschappen · Onderwijs · Legacy-IT-systemen

Een taal wordt vermeld zoals die op het document is vastgelegd. Talen die nog in kwaliteitscontrole zijn, staan met die status in de catalogus.

Elk record

Een selectie die u kunt controleren en reproduceren.

  • Licentieklasse, licentie en de onderbouwing daarvoor
  • Naamsvermelding waar een licentie die vereist
  • Taal zoals vastgelegd, en vakgebied
  • Aantal tokens en een inhoudshash
  • Kwaliteitsmarkeringen, gerapporteerd en nooit stilletjes verwijderd
record.jsonl
{
  "text": "…",
  "language": "de",
  "subject": "medicine",
  "licence_class": "public-domain",
  "licence_evidence": "source statement",
  "tokens": 1842,
  "text_hash": "9f2c…e41a",
  "quality_flags": []
}

Licentiebeleid

Eén regel voor alles wat we leveren.

Een document wordt alleen geleverd als de licentie commercieel gebruik toestaat, inclusief training. Wat we niet kunnen indelen, wordt achtergehouden, niet geleverd.

Wat we leveren

  • Publiek domein en CC0
  • CC BY, met de naamsvermelding meegeleverd bij de data
  • Code onder MIT, Apache-2.0, BSD, ISC, Zlib, 0BSD, CC0 en Unlicense

Wat we nooit leveren

  • Niet-commerciële (NC) en geen-afgeleide-werken-licenties (ND)
  • Gelijk-delen-licenties (SA)
  • GPL, AGPL en andere copyleft-codelicenties
  • Alles met een ontbrekende of onduidelijke licentie

Levering

Geleverd in de omvang die u nodig hebt.

Lange documenten worden op zinsgrenzen in zelfstandige eenheden opgedeeld, zodat het volume per vakgebied past bij wat u nodig hebt.

KleinTot 2

pagina's per eenheid

Middel2–20

pagina's per eenheid

Groot20–100

pagina's per eenheid

Hoe licentiëring werkt

Van eerste blik tot levering.

  1. Catalogus

    Volumes per taal, vakgebied en licentie, naar beneden afgerond en gedateerd.

  2. Evaluatiesteekproef

    Echte eenheden in het leveringsformaat, zodat u schema en kwaliteit kunt beoordelen.

  3. NDA en overeenkomst

    We tekenen een NDA en spreken daarna omvang en licentievoorwaarden af.

  4. Levering

    JSONL of Parquet via een versleutelde overdracht, met documentatie en naamsvermeldingen.

Vragen die kopers stellen.

Kunnen we data zien voordat we iets tekenen?

Ja. De catalogus geeft de volumes per taal, vakgebied en licentie. Daarna volgt een evaluatiesteekproef in het leveringsformaat; grotere evaluatiepakketten worden onder NDA gedeeld.

Maken jullie bekend waar de data vandaan komt?

Nee. De herkomst is vertrouwelijk. Elk document draagt zijn licentieklasse en de onderbouwing daarvoor, en naamsvermelding wordt meegeleverd waar een licentie die vereist.

Worden persoonsgegevens verwijderd?

Op elke levering kan detectie van persoonsgegevens worden uitgevoerd, en de gevonden percentages worden meegeleverd. Automatische detectie vindt niet alles, dus we rapporteren wat gevonden is en beweren nooit dat er niets overblijft.

Kunnen we één taal of één vakgebied licentiëren?

Ja. Elk document is gelabeld met taal en vakgebied, zodat een levering kan worden ingedeeld naar taal, vakgebied, licentieklasse of omvang.

Hoe wordt een levering bemeten?

Lange documenten worden op zinsgrenzen in zelfstandige eenheden opgedeeld, in drie formaten: tot ongeveer 2 pagina's, ongeveer 2 tot 20 pagina's en ongeveer 20 tot 100 pagina's.

Leveren jullie een kwaliteitsrapport bij de data?

Ja. Bij de dataset kan een benchmarkrapport worden geleverd. Het meet duplicaten, gedetecteerde persoonsgegevens, de licentiemix en overlap met evaluatiesets.

Vraag de catalogus aan.

Vertel ons welke talen, vakgebieden of programmeertalen u nodig hebt.