AI-trainingsdata

Trainingsdata met vastgelegde rechten.

Meertalige tekst, broncode en biomedische corpora. Elk document draagt zijn licentieklasse en het bewijs daarvoor.

Eén record zoals geleverd

130+talen, waarvan veel zeldzaam en met weinig bronnen

{
  "text": "Die Studie untersucht, wie …",
  "language": "de",
  "subject": "medicine",
  "licence_class": "public-domain",
  "licence_evidence": "source statement",
  "quality": "clean",
  "text_hash": "9f2c…e41a"
}

10programmeertalen, van COBOL tot Rust

{
  "file": "payroll.cbl",
  "language": "cobol",
  "licence": "Apache-2.0",
  "licence_evidence": "licence file",
  "notice": "included in delivery",
  "text": "IDENTIFICATION DIVISION. …"
}

Tekst + recordsvan farmacologie tot tropische geneeskunde

{
  "text": "The compound inhibits …",
  "language": "en",
  "subject": "pharmacology",
  "licence_class": "attribution",
  "licence": "CC-BY-4.0",
  "attribution": "included in delivery",
  "quality": "clean"
}
  • English
  • Deutsch
  • Français
  • Latina
  • Ἑλληνική
  • Italiano
  • Беларуская
  • Հայերեն
  • Español
  • हिन्दी
  • संस्कृतम्
  • বাংলা
  • Ελληνικά
  • मराठी
  • Afrikaans
  • Nederlands
  • Cymraeg
  • Kiswahili

Drie manieren om met CurateLM te werken.

Datasets130+

talen in tekst, plus broncode en biomedische corpora. Gelicentieerd per taal, vakgebied en omvang.

Bekijk de datasets
DatacuratieUw data

Geëxtraheerd, opgeschoond, ontdubbeld en ontdaan van persoonsgegevens. Verwerkt in Duitsland of in uw eigen omgeving.

Hoe het werkt
BenchmarkA tot E

Een gemeten kwaliteitsrapport voor elke tekst- of codedataset. Alleen cijfers, nooit uw tekst.

Wat er gemeten wordt

Van document tot record

Elk document vertelt wat het is.

1

Taal zoals vastgelegd

Elk document behoudt de taal waarmee het is vastgelegd. Onafhankelijke detectoren controleren dat label waar ze kunnen, en de catalogus laat zien hoe elk label is bevestigd.

2

Vakgebied

Elk document valt onder een van meer dan 140 vakgebieden, van recht en overheidsarchieven tot geneeskunde en techniek, zodat u precies het deel licentieert dat u nodig hebt.

3

Licentie met onderbouwing

De licentieklasse staat naast de reden waarom we die aanhouden: de verklaring van de bron, het werk zelf of de publicatiedatum. Is de reden onduidelijk, dan wordt het document achtergehouden.

4

Kwaliteitsmarkeringen

Beschadigde tekst, navigatieresten en zware herhaling worden gemarkeerd, niet stilletjes verwijderd. U bepaalt wat u houdt.

record.jsonlDocument
{
  "text": "Die Studie untersucht, wie …",
  "language": "de",
  "subject": "medicine",
  "licence_class": "public-domain",
  "licence_evidence": "source statement",
  "quality_flags": []
}

Het corpus

Gebouwd voor de talen en vakgebieden die webcrawlers missen.

130+talen, waarvan veel zeldzaam en met weinig bronnen
140+vakgebieden, van recht en overheid tot geneeskunde
10programmeertalen, van COBOL tot Rust
0documenten geleverd onder niet-commerciële of gelijk-delen-voorwaarden

De corpora groeien elke dag. De catalogus geeft exacte, gedateerde cijfers, naar beneden afgerond.

Licentiebeleid

Vastgelegde rechten voor elk document.

U ziet waarvoor elk document gebruikt mag worden, en waarom we dat zeggen.

  • Licentieklasse per document vastgelegd: publiek domein, CC0 of naamsvermelding.
  • Onderbouwing daarbij vastgelegd: de verklaring van de bron, het werk zelf of de publicatiedatum.
  • Naamsvermeldingen meegeleverd met de data waar een licentie daarom vraagt.
  • Niet-commercieel, geen-afgeleide-werken, gelijk-delen- en copyleftmateriaal wordt nooit geleverd.

Datacuratie

Uw data blijft
in Duitsland.

De pipeline waarmee we onze corpora bouwen, toegepast op uw documenten, scans, audio en video. Op onze eigen machines in Duitsland onder een verwerkersovereenkomst, of in uw eigen omgeving. Na levering verwijderd, met schriftelijke bevestiging.

Vertel ons welke data u nodig hebt of welke data u hebt.

We reageren binnen één werkdag met de catalogus, een evaluatiesteekproef of een pilotvoorstel.