KI-Trainingsdaten

Trainingsdaten mit dokumentierten Rechten.

Mehrsprachige Texte, Quellcode und biomedizinische Korpora. Jedes Dokument trägt seine Lizenzklasse und den Nachweis dafür.

Ein Datensatz im Lieferzustand

130+Sprachen, viele davon selten und ressourcenarm

{
  "text": "Die Studie untersucht, wie …",
  "language": "de",
  "subject": "medicine",
  "licence_class": "public-domain",
  "licence_evidence": "source statement",
  "quality": "clean",
  "text_hash": "9f2c…e41a"
}

10Programmiersprachen, von COBOL bis Rust

{
  "file": "payroll.cbl",
  "language": "cobol",
  "licence": "Apache-2.0",
  "licence_evidence": "licence file",
  "notice": "included in delivery",
  "text": "IDENTIFICATION DIVISION. …"
}

Text + Datensätzevon Pharmakologie bis Tropenmedizin

{
  "text": "The compound inhibits …",
  "language": "en",
  "subject": "pharmacology",
  "licence_class": "attribution",
  "licence": "CC-BY-4.0",
  "attribution": "included in delivery",
  "quality": "clean"
}
  • English
  • Deutsch
  • Français
  • Latina
  • Ἑλληνική
  • Italiano
  • Беларуская
  • Հայերեն
  • Español
  • हिन्दी
  • संस्कृतम्
  • বাংলা
  • Ελληνικά
  • मराठी
  • Afrikaans
  • Nederlands
  • Cymraeg
  • Kiswahili

Drei Wege zur Zusammenarbeit mit CurateLM.

Datensätze130+

Sprachen im Text, dazu Quellcode und biomedizinische Korpora. Lizenziert nach Sprache, Fachgebiet und Umfang.

Zu den Datensätzen
DatenaufbereitungIhre Daten

Extrahiert, bereinigt, dedupliziert und von personenbezogenen Daten befreit. Verarbeitet in Deutschland oder in Ihrer eigenen Umgebung.

So funktioniert es
BenchmarkA bis E

Ein gemessener Qualitätsbericht für jeden Text- oder Code-Datensatz. Nur Zahlen, nie Ihre Texte.

Was gemessen wird

Vom Dokument zum Datensatz

Jedes Dokument erklärt sich selbst.

1

Sprache wie erfasst

Jedes Dokument behält die Sprache, mit der es erfasst wurde. Unabhängige Erkennungsverfahren prüfen diese Angabe, wo immer sie können, und der Katalog zeigt, wie jede Angabe bestätigt wurde.

2

Fachgebiet

Jedes Dokument ist einem von mehr als 140 Fachgebieten zugeordnet, von Recht und Verwaltungsakten bis Medizin und Ingenieurwesen. So lizenzieren Sie genau den Ausschnitt, den Sie brauchen.

3

Lizenz mit Nachweis

Neben der Lizenzklasse steht der Grund, warum wir sie annehmen: die Angabe der Quelle, das Werk selbst oder sein Erscheinungsdatum. Ist der Grund unklar, wird das Dokument zurückgehalten.

4

Qualitätsmarkierungen

Beschädigter Text, Navigationsreste und starke Wiederholungen werden markiert, nicht stillschweigend gelöscht. Sie entscheiden, was bleibt.

record.jsonlDokument
{
  "text": "Die Studie untersucht, wie …",
  "language": "de",
  "subject": "medicine",
  "licence_class": "public-domain",
  "licence_evidence": "source statement",
  "quality_flags": []
}

Das Korpus

Gebaut für Sprachen und Fachgebiete jenseits der Web-Crawls.

130+Sprachen, viele davon selten und ressourcenarm
140+Fachgebiete, von Recht und Verwaltung bis Medizin
10Programmiersprachen, von COBOL bis Rust
0Dokumente, die unter nicht-kommerziellen oder Share-Alike-Bedingungen geliefert werden

Die Korpora wachsen jeden Tag. Der Katalog nennt genaue, datierte Zahlen, abgerundet.

Lizenzrichtlinie

Dokumentierte Rechte für jedes Dokument.

Sie sehen, wofür jedes Dokument verwendet werden darf, und warum wir das sagen.

  • Lizenzklasse für jedes Dokument dokumentiert: gemeinfrei, CC0 oder Namensnennung.
  • Nachweis gleich dazu: die Angabe der Quelle, das Werk selbst oder sein Erscheinungsdatum.
  • Namensnennungen werden mit den Daten geliefert, wo immer eine Lizenz sie verlangt.
  • Material unter nicht-kommerziellen, No-Derivatives-, Share-Alike- oder Copyleft-Lizenzen wird nie geliefert.

Datenaufbereitung

Ihre Daten bleiben
in Deutschland.

Die Pipeline, mit der wir unsere Korpora bauen, angewendet auf Ihre Dokumente, Scans, Audio- und Videodateien. Auf unseren eigenen Rechnern in Deutschland unter einem Auftragsverarbeitungsvertrag oder in Ihrer eigenen Umgebung. Nach der Lieferung gelöscht, mit schriftlicher Bestätigung.

Welche Daten brauchen Sie? Welche haben Sie?

Wir antworten innerhalb eines Werktags mit dem Katalog, einer Evaluierungsprobe oder einem Pilotvorschlag.