Zbiory danych

Trzy korpusy licencjonowane do treningu.

Zebrane według jednej polityki licencji i dostarczane jako JSONL lub Parquet. Zobacz katalog i próbkę ewaluacyjną, zanim podejmiesz decyzję.

Tekst wielojęzyczny

Pełna różnorodność ludzkiego języka.

Korpus tekstowy dla języków i dziedzin, które ogólne crawle sieciowe pokrywają słabo: rzadkie i niskozasobowe języki oraz teksty instytucjonalne i specjalistyczne z nauki, prawa, administracji, medycyny, finansów i inżynierii.

Wolumen
Rośnie każdego dnia. Datowane liczby są w katalogu.
Języki
Ponad 130, wiele z nich niskozasobowych
Dziedziny
Ponad 140
Klasy licencji
Domena publiczna, CC0, uznanie autorstwa (CC BY)
Formaty
JSONL, Apache Parquet

Kod źródłowy

Od COBOL-a po Rust.

Banki, ubezpieczyciele i instytucje publiczne wciąż działają na COBOL-u, Fortranie, JCL i PL/I, a modele, które modernizują te systemy, muszą się tych języków nauczyć. Ten korpus łączy taki kod legacy z nowoczesnymi językami, wyłącznie na licencjach permisywnych.

Wolumen
Rośnie. Datowane liczby są w katalogu.
Legacy
COBOL, Fortran, JCL, PL/I
Nowoczesne
Rust, C, C++, Java, Go, MATLAB
Licencje
MIT, Apache-2.0, BSD, ISC, Zlib, 0BSD, CC0, Unlicense. Bez GPL i AGPL.
Uzasadnienie licencji
Zapisane dla każdego pliku
Dane uwierzytelniające
Pliki z ciągami przypominającymi dane uwierzytelniające są dostarczane wyłącznie z wartościami syntetycznymi.

Biomedycyna i nauki przyrodnicze

Dla badań nad lekami i języka klinicznego.

Teksty biomedyczne od farmakologii i neurologii po medycynę tropikalną i biochemię, a obok nich dostępne rekordy ustrukturyzowane. Nic z tego nie jest danymi na poziomie pacjenta.

Wolumen
Rośnie. Datowane liczby są w katalogu.
Dziedziny
Farmakologia, neurologia, biochemia, immunologia, epidemiologia, medycyna tropikalna i inne
Rekordy ustrukturyzowane
Urzędowe charakterystyki produktów leczniczych, zanonimizowane zgłoszenia działań niepożądanych, wpisy z rejestrów badań klinicznych, zmierzone powinowactwa wiązania, adnotacje genów i szlaków
Poza ofertą
Dane na poziomie pacjenta. Zgłoszenia działań niepożądanych to zanonimizowane dokumenty regulacyjne, a nie kohorta pacjentów.

Zakres

Języki i dziedziny w korpusie tekstowym.

Wolumeny bardzo różnią się w zależności od języka. Katalog pokazuje, co jest dostępne dla języków, których potrzebujesz.

Wybrane języki

Abchaski · Aceh · Afrikaans · Albański · Amharski · Starogrecki · Ormiański · Awarski · Ajmara · Azerski · Bambara · Baszkirski · Baskijski · Białoruski · Bengalski · Bislama · Bretoński · Bułgarski · Birmański · Kataloński · Cebuano · Czamorro · Czeczeński · Cziczewa · Chiński · Kornijski · Chorwacki · Czeski · Duński · Niderlandzki · Dzongkha · Angielski · Esperanto · Estoński · Fidżyjski · Fiński · Francuski · Fulani · Galicyjski · Gyyz · Gruziński · Niemiecki · Gocki · Grecki · Guarani · Gudżarati · Hausa · Hawajski · Hindi · Węgierski · Islandzki · Igbo · Indonezyjski · Inuktitut · Irlandzki · Włoski · Japoński · Jawajski · Kazachski · Khmerski · Kinyarwanda · Koreański · Kirgiski · Laotański · Łaciński · Łotewski · Lezgiński · Lingala · Litewski · Dolnołużycki · Luganda · Macedoński · Maithili · Malajski · Malajalam · Maltański · Manx · Maoryski · Marathi · Marszalski · Mon · Mongolski · Nahuatl · Nepalski · Norweski · Oksytański · Orija · Oromo · Osetyjski · Polski · Portugalski · Pendżabski · Keczua · Rumuński · Rosyjski · Samoański · Sanskryt · Serbski · Sesotho · Shona · Syngaleski · Słowacki · Słoweński · Somalijski · Hiszpański · Sundajski · Suahili · Szwedzki · Tagalski · Tadżycki · Tamilski · Tatarski · Telugu · Tajski · Tybetański · Tigrinia · Tok pisin · Tongijski · Tsonga · Tswana · Turecki · Turkmeński · Ukraiński · Uzbecki · Wietnamski · Walijski · Wolof · Xhosa · Joruba · Zulu

Wybrane dziedziny

Nauka i badania · Prawo, sądy i legislacja · Akta rządowe i parlamentarne · Medycyna · Medycyna tradycyjna, ajurweda i medycyna islamska (Tibb Nabawi) · Wiedza ludów rdzennych · Bankowość, finanse i podatki · Inżynieria i lotnictwo · Rolnictwo · Architektura · Astronomia i chemia · Językoznawstwo · Teologia i nauki humanistyczne · Edukacja · Systemy IT legacy

Język podajemy tak, jak zapisano go przy dokumencie. Języki, które wciąż przechodzą kontrolę jakości, figurują w katalogu z tym statusem.

Każdy rekord

Wybór do sprawdzenia i odtworzenia.

  • Klasa licencji, licencja i jej uzasadnienie
  • Informacja o autorstwie wszędzie, gdzie wymaga jej licencja
  • Język tak, jak zapisano, oraz dziedzina
  • Liczba tokenów i hash treści
  • Znaczniki jakości, raportowane i nigdy nie usuwane po cichu
record.jsonl
{
  "text": "…",
  "language": "de",
  "subject": "medicine",
  "licence_class": "public-domain",
  "licence_evidence": "source statement",
  "tokens": 1842,
  "text_hash": "9f2c…e41a",
  "quality_flags": []
}

Polityka licencji

Jedna zasada dla każdej dostawy.

Dokument dostarczamy tylko wtedy, gdy jego licencja pozwala na użytek komercyjny, w tym trening. Czego nie potrafimy sklasyfikować, wstrzymujemy, a nie dostarczamy.

Co dostarczamy

  • Domena publiczna i CC0
  • CC BY, z informacją o autorstwie dostarczaną razem z danymi
  • Kod na licencjach MIT, Apache-2.0, BSD, ISC, Zlib, 0BSD, CC0 i Unlicense

Czego nigdy nie dostarczamy

  • Licencje niekomercyjne (NC) i bez utworów zależnych (ND)
  • Licencje „na tych samych warunkach” (SA)
  • GPL, AGPL i inne licencje copyleft dla kodu
  • Niczego z brakującą lub niejasną licencją

Dostawa

Dostarczane w potrzebnej wielkości.

Długie dokumenty dzielimy na samodzielne jednostki na granicach zdań, tak aby wolumen dla danej dziedziny odpowiadał Twoim potrzebom.

MałaDo 2

stron na jednostkę

Średnia2–20

stron na jednostkę

Duża20–100

stron na jednostkę

Jak działa licencjonowanie

Od pierwszego spojrzenia do dostawy.

  1. Katalog

    Wolumeny według języka, dziedziny i licencji, zaokrąglone w dół i datowane.

  2. Próbka ewaluacyjna

    Prawdziwe jednostki w formacie dostawy, by ocenić schemat i jakość.

  3. NDA i umowa

    Podpisujemy NDA, a następnie uzgadniamy zakres i warunki licencji.

  4. Dostawa

    JSONL lub Parquet przez szyfrowany transfer, z dokumentacją i informacjami o autorstwie.

Częste pytania kupujących.

Czy możemy zobaczyć dane przed podpisaniem umowy?

Tak. Katalog podaje wolumeny według języka, dziedziny i licencji. Następnie przesyłamy próbkę ewaluacyjną w formacie dostawy, a większe pakiety ewaluacyjne udostępniamy w ramach NDA.

Czy ujawniacie pochodzenie danych?

Nie. Pochodzenie danych jest poufne. Każdy dokument ma swoją klasę licencji i jej uzasadnienie, a informację o autorstwie dostarczamy wszędzie, gdzie wymaga jej licencja.

Czy dane osobowe są usuwane?

Każdą dostawę można poddać wykrywaniu danych osobowych, a wykryte wskaźniki dołączamy do niej. Automatyczne wykrywanie nie znajduje wszystkiego, dlatego raportujemy, co znaleziono, i nigdy nie twierdzimy, że nic nie zostało.

Czy możemy licencjonować jeden język lub jedną dziedzinę?

Tak. Każdy dokument jest oznaczony językiem i dziedziną, więc dostawę można przyciąć według języka, dziedziny, klasy licencji lub wielkości.

Jak ustalana jest wielkość dostawy?

Długie dokumenty dzielimy na samodzielne jednostki na granicach zdań, w trzech rozmiarach: do około 2 stron, od około 2 do 20 stron oraz od około 20 do 100 stron.

Czy do danych dołączacie raport jakości?

Tak. Do zbioru danych można dołączyć raport benchmarkowy. Mierzy on duplikaty, wykryte dane osobowe, strukturę licencji i nakładanie się ze zbiorami ewaluacyjnymi.

Poproś o katalog.

Powiedz nam, jakich języków, dziedzin lub języków programowania potrzebujesz.