Datasets
Drie corpora gelicentieerd voor training.
Verzameld onder één licentiebeleid en geleverd als JSONL of Parquet. Bekijk de catalogus en een evaluatiesteekproef voordat u beslist.
Meertalige tekst
De volle breedte van menselijke taal.
Een tekstcorpus voor de talen en vakgebieden die algemene webcrawls slecht dekken: zeldzame talen en talen met weinig bronnen, en institutionele en vakteksten uit wetenschap, recht, overheid, geneeskunde, financiën en techniek.
- Omvang
- Groeit elke dag. Gedateerde cijfers staan in de catalogus.
- Talen
- Meer dan 130, waarvan veel met weinig bronnen
- Vakgebieden
- Meer dan 140
- Licentieklassen
- Publiek domein, CC0, naamsvermelding (CC BY)
- Formaten
- JSONL, Apache Parquet
Broncode
Van COBOL tot Rust.
Banken, verzekeraars en overheden draaien nog steeds op COBOL, Fortran, JCL en PL/I, en modellen die die systemen moderniseren moeten die talen leren. Dit corpus combineert die legacy-code met moderne talen, uitsluitend onder permissieve licenties.
- Omvang
- Groeiend. Gedateerde cijfers staan in de catalogus.
- Legacy
- COBOL, Fortran, JCL, PL/I
- Modern
- Rust, C, C++, Java, Go, MATLAB
- Licenties
- MIT, Apache-2.0, BSD, ISC, Zlib, 0BSD, CC0, Unlicense. Geen GPL of AGPL.
- Licentieonderbouwing
- Vastgelegd voor elk bestand
- Inloggegevens
- Bestanden met tekenreeksen die op inloggegevens lijken, worden alleen met synthetische waarden geleverd.
Biomedisch en life sciences
Voor medicijnonderzoek en klinische taal.
Biomedische tekst van farmacologie en neurologie tot tropische geneeskunde en biochemie, met gestructureerde records erbij. Niets hiervan is data op patiëntniveau.
- Omvang
- Groeiend. Gedateerde cijfers staan in de catalogus.
- Vakgebieden
- Farmacologie, neurologie, biochemie, immunologie, epidemiologie, tropische geneeskunde en meer
- Gestructureerde records
- Officiële geneesmiddelenbijsluiters, geanonimiseerde meldingen van bijwerkingen, records uit registers van klinische studies, gemeten bindingsaffiniteiten, gen- en pathway-annotaties
- Niet aangeboden
- Data op patiëntniveau. Bijwerkingsmeldingen zijn geanonimiseerde dossiers van toezichthouders, geen patiëntencohort.
Dekking
Talen en vakgebieden in het tekstcorpus.
De volumes verschillen sterk per taal. De catalogus toont wat beschikbaar is voor de talen die u nodig hebt.
Talen omvatten
Abchazisch · Atjehs · Afrikaans · Albanees · Amhaars · Oudgrieks · Armeens · Avaars · Aymara · Azerbeidzjaans · Bambara · Basjkiers · Baskisch · Wit-Russisch · Bengaals · Bislama · Bretons · Bulgaars · Birmaans · Catalaans · Cebuano · Chamorro · Tsjetsjeens · Chichewa · Chinees · Cornisch · Kroatisch · Tsjechisch · Deens · Nederlands · Dzongkha · Engels · Esperanto · Estisch · Fijisch · Fins · Frans · Fula · Galicisch · Ge'ez · Georgisch · Duits · Gotisch · Grieks · Guaraní · Gujarati · Hausa · Hawaïaans · Hindi · Hongaars · IJslands · Igbo · Indonesisch · Inuktitut · Iers · Italiaans · Japans · Javaans · Kazachs · Khmer · Kinyarwanda · Koreaans · Kirgizisch · Laotiaans · Latijn · Lets · Lezgisch · Lingala · Litouws · Nedersorbisch · Luganda · Macedonisch · Maithili · Maleis · Malayalam · Maltees · Manx · Maori · Marathi · Marshallees · Mon · Mongools · Nahuatl · Nepalees · Noors · Occitaans · Odia · Oromo · Ossetisch · Pools · Portugees · Punjabi · Quechua · Roemeens · Russisch · Samoaans · Sanskriet · Servisch · Sesotho · Shona · Singalees · Slowaaks · Sloveens · Somalisch · Spaans · Soendanees · Swahili · Zweeds · Tagalog · Tadzjieks · Tamil · Tataars · Telugu · Thai · Tibetaans · Tigrinya · Tok Pisin · Tongaans · Tsonga · Tswana · Turks · Turkmeens · Oekraïens · Oezbeeks · Vietnamees · Welsh · Wolof · Xhosa · Yoruba · Zoeloe
Vakgebieden omvatten
Wetenschap en onderzoek · Recht, rechtspraak en wetgeving · Overheids- en parlementaire archieven · Geneeskunde · Traditionele geneeskunde, ayurveda en islamitische geneeskunde (Tibb Nabawi) · Inheemse kennis · Bankwezen, financiën en belastingen · Techniek en luchtvaart · Landbouw · Architectuur · Astronomie en scheikunde · Taalkunde · Theologie en geesteswetenschappen · Onderwijs · Legacy-IT-systemen
Een taal wordt vermeld zoals die op het document is vastgelegd. Talen die nog in kwaliteitscontrole zijn, staan met die status in de catalogus.
Elk record
Een selectie die u kunt controleren en reproduceren.
- Licentieklasse, licentie en de onderbouwing daarvoor
- Naamsvermelding waar een licentie die vereist
- Taal zoals vastgelegd, en vakgebied
- Aantal tokens en een inhoudshash
- Kwaliteitsmarkeringen, gerapporteerd en nooit stilletjes verwijderd
{ "text": "…", "language": "de", "subject": "medicine", "licence_class": "public-domain", "licence_evidence": "source statement", "tokens": 1842, "text_hash": "9f2c…e41a", "quality_flags": [] }
Licentiebeleid
Eén regel voor alles wat we leveren.
Een document wordt alleen geleverd als de licentie commercieel gebruik toestaat, inclusief training. Wat we niet kunnen indelen, wordt achtergehouden, niet geleverd.
Wat we leveren
- Publiek domein en CC0
- CC BY, met de naamsvermelding meegeleverd bij de data
- Code onder MIT, Apache-2.0, BSD, ISC, Zlib, 0BSD, CC0 en Unlicense
Wat we nooit leveren
- Niet-commerciële (NC) en geen-afgeleide-werken-licenties (ND)
- Gelijk-delen-licenties (SA)
- GPL, AGPL en andere copyleft-codelicenties
- Alles met een ontbrekende of onduidelijke licentie
Levering
Geleverd in de omvang die u nodig hebt.
Lange documenten worden op zinsgrenzen in zelfstandige eenheden opgedeeld, zodat het volume per vakgebied past bij wat u nodig hebt.
pagina's per eenheid
pagina's per eenheid
pagina's per eenheid
Hoe licentiëring werkt
Van eerste blik tot levering.
Catalogus
Volumes per taal, vakgebied en licentie, naar beneden afgerond en gedateerd.
Evaluatiesteekproef
Echte eenheden in het leveringsformaat, zodat u schema en kwaliteit kunt beoordelen.
NDA en overeenkomst
We tekenen een NDA en spreken daarna omvang en licentievoorwaarden af.
Levering
JSONL of Parquet via een versleutelde overdracht, met documentatie en naamsvermeldingen.
Vragen die kopers stellen.
Kunnen we data zien voordat we iets tekenen?
Ja. De catalogus geeft de volumes per taal, vakgebied en licentie. Daarna volgt een evaluatiesteekproef in het leveringsformaat; grotere evaluatiepakketten worden onder NDA gedeeld.
Maken jullie bekend waar de data vandaan komt?
Nee. De herkomst is vertrouwelijk. Elk document draagt zijn licentieklasse en de onderbouwing daarvoor, en naamsvermelding wordt meegeleverd waar een licentie die vereist.
Worden persoonsgegevens verwijderd?
Op elke levering kan detectie van persoonsgegevens worden uitgevoerd, en de gevonden percentages worden meegeleverd. Automatische detectie vindt niet alles, dus we rapporteren wat gevonden is en beweren nooit dat er niets overblijft.
Kunnen we één taal of één vakgebied licentiëren?
Ja. Elk document is gelabeld met taal en vakgebied, zodat een levering kan worden ingedeeld naar taal, vakgebied, licentieklasse of omvang.
Hoe wordt een levering bemeten?
Lange documenten worden op zinsgrenzen in zelfstandige eenheden opgedeeld, in drie formaten: tot ongeveer 2 pagina's, ongeveer 2 tot 20 pagina's en ongeveer 20 tot 100 pagina's.
Leveren jullie een kwaliteitsrapport bij de data?
Ja. Bij de dataset kan een benchmarkrapport worden geleverd. Het meet duplicaten, gedetecteerde persoonsgegevens, de licentiemix en overlap met evaluatiesets.
Vraag de catalogus aan.
Vertel ons welke talen, vakgebieden of programmeertalen u nodig hebt.