Datensätze
Drei Korpora für das Training lizenziert.
Gesammelt unter einer einzigen Lizenzrichtlinie und geliefert als JSONL oder Parquet. Sehen Sie Katalog und Evaluierungsprobe, bevor Sie entscheiden.
Mehrsprachiger Text
Die ganze Breite menschlicher Sprache.
Ein Textkorpus für die Sprachen und Fachgebiete, die allgemeine Web-Crawls kaum abdecken: seltene und ressourcenarme Sprachen sowie institutionelle und Fachtexte aus Wissenschaft, Recht, Verwaltung, Medizin, Finanzen und Ingenieurwesen.
- Umfang
- Wächst jeden Tag. Datierte Zahlen stehen im Katalog.
- Sprachen
- Mehr als 130, viele davon ressourcenarm
- Fachgebiete
- Mehr als 140
- Lizenzklassen
- Gemeinfrei, CC0, Namensnennung (CC BY)
- Formate
- JSONL, Apache Parquet
Quellcode
Von COBOL bis Rust.
Banken, Versicherungen und Behörden laufen noch immer auf COBOL, Fortran, JCL und PL/I, und Modelle, die diese Systeme modernisieren, müssen diese Sprachen lernen. Dieses Korpus verbindet solchen Legacy-Code mit modernen Sprachen, ausschließlich unter permissiven Lizenzen.
- Umfang
- Wächst. Datierte Zahlen stehen im Katalog.
- Legacy
- COBOL, Fortran, JCL, PL/I
- Modern
- Rust, C, C++, Java, Go, MATLAB
- Lizenzen
- MIT, Apache-2.0, BSD, ISC, Zlib, 0BSD, CC0, Unlicense. Kein GPL oder AGPL.
- Lizenznachweis
- Für jede Datei dokumentiert
- Zugangsdaten
- Dateien mit zugangsdatenähnlichen Zeichenketten werden nur mit synthetischen Werten geliefert.
Biomedizin und Life Sciences
Für Wirkstoffforschung und klinische Sprache.
Biomedizinische Texte von Pharmakologie und Neurologie bis Tropenmedizin und Biochemie, dazu strukturierte Datensätze. Nichts davon sind patientenbezogene Daten.
- Umfang
- Wächst. Datierte Zahlen stehen im Katalog.
- Fachgebiete
- Pharmakologie, Neurologie, Biochemie, Immunologie, Epidemiologie, Tropenmedizin und mehr
- Strukturierte Datensätze
- Behördliche Arzneimittelkennzeichnungen, de-identifizierte Meldungen unerwünschter Ereignisse, Einträge aus Studienregistern, gemessene Bindungsaffinitäten, Gen- und Pathway-Annotationen
- Nicht im Angebot
- Patientenbezogene Daten. Meldungen unerwünschter Ereignisse sind de-identifizierte Behördenmeldungen, keine Patientenkohorte.
Abdeckung
Sprachen und Fachgebiete im Textkorpus.
Die Mengen unterscheiden sich stark je Sprache. Der Katalog zeigt, was für Ihre Sprachen verfügbar ist.
Enthaltene Sprachen
Abchasisch · Acehnesisch · Afrikaans · Albanisch · Amharisch · Altgriechisch · Armenisch · Awarisch · Aymara · Aserbaidschanisch · Bambara · Baschkirisch · Baskisch · Belarussisch · Bengalisch · Bislama · Bretonisch · Bulgarisch · Birmanisch · Katalanisch · Cebuano · Chamorro · Tschetschenisch · Chichewa · Chinesisch · Kornisch · Kroatisch · Tschechisch · Dänisch · Niederländisch · Dzongkha · Englisch · Esperanto · Estnisch · Fidschianisch · Finnisch · Französisch · Ful · Galicisch · Ge'ez · Georgisch · Deutsch · Gotisch · Griechisch · Guaraní · Gujarati · Hausa · Hawaiisch · Hindi · Ungarisch · Isländisch · Igbo · Indonesisch · Inuktitut · Irisch · Italienisch · Japanisch · Javanisch · Kasachisch · Khmer · Kinyarwanda · Koreanisch · Kirgisisch · Laotisch · Latein · Lettisch · Lesgisch · Lingala · Litauisch · Niedersorbisch · Luganda · Mazedonisch · Maithili · Malaiisch · Malayalam · Maltesisch · Manx · Māori · Marathi · Marshallesisch · Mon · Mongolisch · Nahuatl · Nepali · Norwegisch · Okzitanisch · Odia · Oromo · Ossetisch · Polnisch · Portugiesisch · Panjabi · Quechua · Rumänisch · Russisch · Samoanisch · Sanskrit · Serbisch · Sesotho · Shona · Singhalesisch · Slowakisch · Slowenisch · Somali · Spanisch · Sundanesisch · Swahili · Schwedisch · Tagalog · Tadschikisch · Tamil · Tatarisch · Telugu · Thai · Tibetisch · Tigrinya · Tok Pisin · Tongaisch · Tsonga · Tswana · Türkisch · Turkmenisch · Ukrainisch · Usbekisch · Vietnamesisch · Walisisch · Wolof · Xhosa · Yoruba · Zulu
Enthaltene Fachgebiete
Wissenschaft und Forschung · Recht, Gerichte und Gesetzgebung · Verwaltungs- und Parlamentsakten · Medizin · Traditionelle Medizin, Ayurveda und islamische Medizin (Tibb Nabawi) · Indigenes Wissen · Banken, Finanzen und Steuern · Ingenieurwesen und Luftfahrt · Landwirtschaft · Architektur · Astronomie und Chemie · Linguistik · Theologie und Geisteswissenschaften · Bildung · Legacy-IT-Systeme
Eine Sprache wird so angegeben, wie sie am Dokument erfasst ist. Sprachen, die noch in der Qualitätsprüfung sind, stehen mit diesem Status im Katalog.
Jeder Datensatz
Eine Auswahl zum Prüfen und Reproduzieren.
- Lizenzklasse, Lizenz und der Nachweis dafür
- Namensnennung, wo immer eine Lizenz sie verlangt
- Sprache wie erfasst, und Fachgebiet
- Tokenanzahl und ein Inhalts-Hash
- Qualitätsmarkierungen, ausgewiesen und nie stillschweigend entfernt
{ "text": "…", "language": "de", "subject": "medicine", "licence_class": "public-domain", "licence_evidence": "source statement", "tokens": 1842, "text_hash": "9f2c…e41a", "quality_flags": [] }
Lizenzrichtlinie
Eine Regel für jede Lieferung.
Ein Dokument wird nur geliefert, wenn seine Lizenz kommerzielle Nutzung erlaubt, einschließlich Training. Was wir nicht einordnen können, wird zurückgehalten, nicht geliefert.
Was wir liefern
- Gemeinfrei und CC0
- CC BY, mit der Namensnennung zusammen mit den Daten
- Code unter MIT, Apache-2.0, BSD, ISC, Zlib, 0BSD, CC0 und Unlicense
Was wir nie liefern
- Nicht-kommerzielle (NC) und No-Derivatives-Lizenzen (ND)
- Share-Alike-Lizenzen (SA)
- GPL, AGPL und andere Copyleft-Code-Lizenzen
- Alles mit fehlender oder unklarer Lizenz
Lieferung
Geliefert in der passenden Größe.
Lange Dokumente werden an Satzgrenzen in eigenständige Einheiten geteilt, damit der Umfang pro Fachgebiet zu Ihrem Bedarf passt.
Seiten pro Einheit
Seiten pro Einheit
Seiten pro Einheit
So funktioniert die Lizenzierung
Vom ersten Blick bis zur Lieferung.
Katalog
Mengen nach Sprache, Fachgebiet und Lizenz, abgerundet und datiert.
Evaluierungsprobe
Echte Einheiten im Lieferformat, damit Sie Schema und Qualität beurteilen können.
NDA und Vertrag
Wir unterzeichnen eine NDA und vereinbaren dann Umfang und Lizenzbedingungen.
Lieferung
JSONL oder Parquet über eine verschlüsselte Übertragung, mit Dokumentation und Namensnennungen.
Häufige Fragen von Käufern.
Können wir Daten vor der Unterschrift sehen?
Ja. Der Katalog listet die Mengen nach Sprache, Fachgebiet und Lizenz. Danach folgt eine Evaluierungsprobe im Lieferformat; größere Evaluierungspakete gibt es unter NDA.
Legen Sie die Herkunft der Daten offen?
Nein. Die Herkunft ist vertraulich. Jedes Dokument trägt seine Lizenzklasse und den Nachweis dafür, und die Namensnennung wird überall geliefert, wo eine Lizenz sie verlangt.
Werden personenbezogene Daten entfernt?
Jede Lieferung kann auf personenbezogene Daten geprüft werden, und die gefundenen Raten werden mitgeliefert. Automatische Erkennung findet nicht alles, deshalb berichten wir, was gefunden wurde, und behaupten nie, dass nichts übrig ist.
Können wir eine einzelne Sprache oder ein einzelnes Fachgebiet lizenzieren?
Ja. Jedes Dokument ist mit Sprache und Fachgebiet gekennzeichnet, sodass eine Lieferung nach Sprache, Fachgebiet, Lizenzklasse oder Größe zugeschnitten werden kann.
Wie wird eine Lieferung bemessen?
Lange Dokumente werden an Satzgrenzen in eigenständige Einheiten geteilt, in drei Größen: bis etwa 2 Seiten, etwa 2 bis 20 Seiten und etwa 20 bis 100 Seiten.
Gibt es einen Qualitätsbericht zu den Daten?
Ja. Zum Datensatz kann ein Benchmark-Bericht geliefert werden. Er misst Duplikate, erkannte personenbezogene Daten, Lizenzmix und Überschneidungen mit Evaluierungsdatensätzen.
Fordern Sie den Katalog an.
Sagen Sie uns, welche Sprachen, Fachgebiete oder Programmiersprachen Sie brauchen.