Dane treningowe dla AI

Dane treningowe z zapisanymi prawami.

Wielojęzyczny tekst, kod źródłowy i korpusy biomedyczne. Każdy dokument ma swoją klasę licencji i dowód, który ją uzasadnia.

Jeden rekord w formie dostawy

130+języków, wiele z nich rzadkich i niskozasobowych

{
  "text": "Die Studie untersucht, wie …",
  "language": "de",
  "subject": "medicine",
  "licence_class": "public-domain",
  "licence_evidence": "source statement",
  "quality": "clean",
  "text_hash": "9f2c…e41a"
}

10języków programowania, od COBOL-a po Rust

{
  "file": "payroll.cbl",
  "language": "cobol",
  "licence": "Apache-2.0",
  "licence_evidence": "licence file",
  "notice": "included in delivery",
  "text": "IDENTIFICATION DIVISION. …"
}

Tekst + rekordyod farmakologii po medycynę tropikalną

{
  "text": "The compound inhibits …",
  "language": "en",
  "subject": "pharmacology",
  "licence_class": "attribution",
  "licence": "CC-BY-4.0",
  "attribution": "included in delivery",
  "quality": "clean"
}
  • English
  • Deutsch
  • Français
  • Latina
  • Ἑλληνική
  • Italiano
  • Беларуская
  • Հայերեն
  • Español
  • हिन्दी
  • संस्कृतम्
  • বাংলা
  • Ελληνικά
  • मराठी
  • Afrikaans
  • Nederlands
  • Cymraeg
  • Kiswahili

Trzy sposoby współpracy z CurateLM.

Zbiory danych130+

języków w tekście, a do tego kod źródłowy i korpusy biomedyczne. Licencjonowane według języka, dziedziny i wielkości.

Zobacz zbiory danych
Kuracja danychTwoje dane

Wyodrębnione, oczyszczone, zdeduplikowane i pozbawione danych osobowych. Przetwarzane w Niemczech lub w Twoim własnym środowisku.

Jak to działa
BenchmarkOd A do E

Zmierzony raport jakości dla dowolnego zbioru tekstu lub kodu. Tylko liczby, nigdy Twój tekst.

Co jest mierzone

Od dokumentu do rekordu

Każdy dokument mówi sam za siebie.

1

Język zgodny z zapisem

Każdy dokument zachowuje język, z którym został zapisany. Niezależne detektory sprawdzają tę etykietę wszędzie, gdzie to możliwe, a katalog pokazuje, jak każdą etykietę potwierdzono.

2

Dziedzina

Każdy dokument jest przypisany do jednej z ponad 140 dziedzin, od prawa i akt administracji po medycynę i inżynierię, dzięki czemu licencjonujesz dokładnie ten wycinek, którego potrzebujesz.

3

Licencja z uzasadnieniem

Obok klasy licencji stoi powód, dla którego ją przyjmujemy: oświadczenie źródła, samo dzieło lub data jego publikacji. Jeśli powód jest niejasny, dokument zostaje wstrzymany.

4

Znaczniki jakości

Uszkodzony tekst, pozostałości nawigacji i silne powtórzenia są oznaczane, a nie po cichu usuwane. To Ty decydujesz, co zostaje.

record.jsonlDokument
{
  "text": "Die Studie untersucht, wie …",
  "language": "de",
  "subject": "medicine",
  "licence_class": "public-domain",
  "licence_evidence": "source statement",
  "quality_flags": []
}

Korpus

Zbudowany dla języków i dziedzin pomijanych przez roboty sieciowe.

130+języków, wiele z nich rzadkich i niskozasobowych
140+dziedzin, od prawa i administracji po medycynę
10języków programowania, od COBOL-a po Rust
0dokumentów dostarczonych na warunkach niekomercyjnych lub „na tych samych warunkach”

Korpusy rosną każdego dnia. Katalog podaje dokładne, datowane liczby, zaokrąglone w dół.

Polityka licencji

Udokumentowane prawa dla każdego dokumentu.

Widzisz, do czego wolno użyć każdego dokumentu i dlaczego tak twierdzimy.

  • Klasa licencji zapisana dla każdego dokumentu: domena publiczna, CC0 lub uznanie autorstwa.
  • Razem z nią zapisane uzasadnienie: oświadczenie źródła, samo dzieło lub data jego publikacji.
  • Informacje o autorstwie dostarczane z danymi wszędzie, gdzie wymaga tego licencja.
  • Materiały niekomercyjne, bez utworów zależnych, „na tych samych warunkach” ani copyleft nigdy nie są dostarczane.

Kuracja danych

Twoje dane zostają
w Niemczech.

Pipeline, którym budujemy nasze korpusy, zastosowany do Twoich dokumentów, skanów, nagrań audio i wideo. Na naszych własnych maszynach w Niemczech na podstawie umowy powierzenia przetwarzania danych albo w Twoim środowisku. Usuwane po dostawie, z pisemnym potwierdzeniem.

Jakich danych potrzebujesz? Jakie dane masz?

Odpowiadamy w ciągu jednego dnia roboczego, przesyłając katalog, próbkę ewaluacyjną lub propozycję pilotażu.