Zbiory danych
Trzy korpusy licencjonowane do treningu.
Zebrane według jednej polityki licencji i dostarczane jako JSONL lub Parquet. Zobacz katalog i próbkę ewaluacyjną, zanim podejmiesz decyzję.
Tekst wielojęzyczny
Pełna różnorodność ludzkiego języka.
Korpus tekstowy dla języków i dziedzin, które ogólne crawle sieciowe pokrywają słabo: rzadkie i niskozasobowe języki oraz teksty instytucjonalne i specjalistyczne z nauki, prawa, administracji, medycyny, finansów i inżynierii.
- Wolumen
- Rośnie każdego dnia. Datowane liczby są w katalogu.
- Języki
- Ponad 130, wiele z nich niskozasobowych
- Dziedziny
- Ponad 140
- Klasy licencji
- Domena publiczna, CC0, uznanie autorstwa (CC BY)
- Formaty
- JSONL, Apache Parquet
Kod źródłowy
Od COBOL-a po Rust.
Banki, ubezpieczyciele i instytucje publiczne wciąż działają na COBOL-u, Fortranie, JCL i PL/I, a modele, które modernizują te systemy, muszą się tych języków nauczyć. Ten korpus łączy taki kod legacy z nowoczesnymi językami, wyłącznie na licencjach permisywnych.
- Wolumen
- Rośnie. Datowane liczby są w katalogu.
- Legacy
- COBOL, Fortran, JCL, PL/I
- Nowoczesne
- Rust, C, C++, Java, Go, MATLAB
- Licencje
- MIT, Apache-2.0, BSD, ISC, Zlib, 0BSD, CC0, Unlicense. Bez GPL i AGPL.
- Uzasadnienie licencji
- Zapisane dla każdego pliku
- Dane uwierzytelniające
- Pliki z ciągami przypominającymi dane uwierzytelniające są dostarczane wyłącznie z wartościami syntetycznymi.
Biomedycyna i nauki przyrodnicze
Dla badań nad lekami i języka klinicznego.
Teksty biomedyczne od farmakologii i neurologii po medycynę tropikalną i biochemię, a obok nich dostępne rekordy ustrukturyzowane. Nic z tego nie jest danymi na poziomie pacjenta.
- Wolumen
- Rośnie. Datowane liczby są w katalogu.
- Dziedziny
- Farmakologia, neurologia, biochemia, immunologia, epidemiologia, medycyna tropikalna i inne
- Rekordy ustrukturyzowane
- Urzędowe charakterystyki produktów leczniczych, zanonimizowane zgłoszenia działań niepożądanych, wpisy z rejestrów badań klinicznych, zmierzone powinowactwa wiązania, adnotacje genów i szlaków
- Poza ofertą
- Dane na poziomie pacjenta. Zgłoszenia działań niepożądanych to zanonimizowane dokumenty regulacyjne, a nie kohorta pacjentów.
Zakres
Języki i dziedziny w korpusie tekstowym.
Wolumeny bardzo różnią się w zależności od języka. Katalog pokazuje, co jest dostępne dla języków, których potrzebujesz.
Wybrane języki
Abchaski · Aceh · Afrikaans · Albański · Amharski · Starogrecki · Ormiański · Awarski · Ajmara · Azerski · Bambara · Baszkirski · Baskijski · Białoruski · Bengalski · Bislama · Bretoński · Bułgarski · Birmański · Kataloński · Cebuano · Czamorro · Czeczeński · Cziczewa · Chiński · Kornijski · Chorwacki · Czeski · Duński · Niderlandzki · Dzongkha · Angielski · Esperanto · Estoński · Fidżyjski · Fiński · Francuski · Fulani · Galicyjski · Gyyz · Gruziński · Niemiecki · Gocki · Grecki · Guarani · Gudżarati · Hausa · Hawajski · Hindi · Węgierski · Islandzki · Igbo · Indonezyjski · Inuktitut · Irlandzki · Włoski · Japoński · Jawajski · Kazachski · Khmerski · Kinyarwanda · Koreański · Kirgiski · Laotański · Łaciński · Łotewski · Lezgiński · Lingala · Litewski · Dolnołużycki · Luganda · Macedoński · Maithili · Malajski · Malajalam · Maltański · Manx · Maoryski · Marathi · Marszalski · Mon · Mongolski · Nahuatl · Nepalski · Norweski · Oksytański · Orija · Oromo · Osetyjski · Polski · Portugalski · Pendżabski · Keczua · Rumuński · Rosyjski · Samoański · Sanskryt · Serbski · Sesotho · Shona · Syngaleski · Słowacki · Słoweński · Somalijski · Hiszpański · Sundajski · Suahili · Szwedzki · Tagalski · Tadżycki · Tamilski · Tatarski · Telugu · Tajski · Tybetański · Tigrinia · Tok pisin · Tongijski · Tsonga · Tswana · Turecki · Turkmeński · Ukraiński · Uzbecki · Wietnamski · Walijski · Wolof · Xhosa · Joruba · Zulu
Wybrane dziedziny
Nauka i badania · Prawo, sądy i legislacja · Akta rządowe i parlamentarne · Medycyna · Medycyna tradycyjna, ajurweda i medycyna islamska (Tibb Nabawi) · Wiedza ludów rdzennych · Bankowość, finanse i podatki · Inżynieria i lotnictwo · Rolnictwo · Architektura · Astronomia i chemia · Językoznawstwo · Teologia i nauki humanistyczne · Edukacja · Systemy IT legacy
Język podajemy tak, jak zapisano go przy dokumencie. Języki, które wciąż przechodzą kontrolę jakości, figurują w katalogu z tym statusem.
Każdy rekord
Wybór do sprawdzenia i odtworzenia.
- Klasa licencji, licencja i jej uzasadnienie
- Informacja o autorstwie wszędzie, gdzie wymaga jej licencja
- Język tak, jak zapisano, oraz dziedzina
- Liczba tokenów i hash treści
- Znaczniki jakości, raportowane i nigdy nie usuwane po cichu
{ "text": "…", "language": "de", "subject": "medicine", "licence_class": "public-domain", "licence_evidence": "source statement", "tokens": 1842, "text_hash": "9f2c…e41a", "quality_flags": [] }
Polityka licencji
Jedna zasada dla każdej dostawy.
Dokument dostarczamy tylko wtedy, gdy jego licencja pozwala na użytek komercyjny, w tym trening. Czego nie potrafimy sklasyfikować, wstrzymujemy, a nie dostarczamy.
Co dostarczamy
- Domena publiczna i CC0
- CC BY, z informacją o autorstwie dostarczaną razem z danymi
- Kod na licencjach MIT, Apache-2.0, BSD, ISC, Zlib, 0BSD, CC0 i Unlicense
Czego nigdy nie dostarczamy
- Licencje niekomercyjne (NC) i bez utworów zależnych (ND)
- Licencje „na tych samych warunkach” (SA)
- GPL, AGPL i inne licencje copyleft dla kodu
- Niczego z brakującą lub niejasną licencją
Dostawa
Dostarczane w potrzebnej wielkości.
Długie dokumenty dzielimy na samodzielne jednostki na granicach zdań, tak aby wolumen dla danej dziedziny odpowiadał Twoim potrzebom.
stron na jednostkę
stron na jednostkę
stron na jednostkę
Jak działa licencjonowanie
Od pierwszego spojrzenia do dostawy.
Katalog
Wolumeny według języka, dziedziny i licencji, zaokrąglone w dół i datowane.
Próbka ewaluacyjna
Prawdziwe jednostki w formacie dostawy, by ocenić schemat i jakość.
NDA i umowa
Podpisujemy NDA, a następnie uzgadniamy zakres i warunki licencji.
Dostawa
JSONL lub Parquet przez szyfrowany transfer, z dokumentacją i informacjami o autorstwie.
Częste pytania kupujących.
Czy możemy zobaczyć dane przed podpisaniem umowy?
Tak. Katalog podaje wolumeny według języka, dziedziny i licencji. Następnie przesyłamy próbkę ewaluacyjną w formacie dostawy, a większe pakiety ewaluacyjne udostępniamy w ramach NDA.
Czy ujawniacie pochodzenie danych?
Nie. Pochodzenie danych jest poufne. Każdy dokument ma swoją klasę licencji i jej uzasadnienie, a informację o autorstwie dostarczamy wszędzie, gdzie wymaga jej licencja.
Czy dane osobowe są usuwane?
Każdą dostawę można poddać wykrywaniu danych osobowych, a wykryte wskaźniki dołączamy do niej. Automatyczne wykrywanie nie znajduje wszystkiego, dlatego raportujemy, co znaleziono, i nigdy nie twierdzimy, że nic nie zostało.
Czy możemy licencjonować jeden język lub jedną dziedzinę?
Tak. Każdy dokument jest oznaczony językiem i dziedziną, więc dostawę można przyciąć według języka, dziedziny, klasy licencji lub wielkości.
Jak ustalana jest wielkość dostawy?
Długie dokumenty dzielimy na samodzielne jednostki na granicach zdań, w trzech rozmiarach: do około 2 stron, od około 2 do 20 stron oraz od około 20 do 100 stron.
Czy do danych dołączacie raport jakości?
Tak. Do zbioru danych można dołączyć raport benchmarkowy. Mierzy on duplikaty, wykryte dane osobowe, strukturę licencji i nakładanie się ze zbiorami ewaluacyjnymi.
Poproś o katalog.
Powiedz nam, jakich języków, dziedzin lub języków programowania potrzebujesz.