Dataset
Tre corpora con licenza per l'addestramento.
Raccolti secondo un'unica politica di licenze e consegnati in JSONL o Parquet. Vedete il catalogo e un campione di valutazione prima di decidere.
Testo multilingue
Tutta l'ampiezza del linguaggio umano.
Un corpus testuale per le lingue e le materie che i crawl web generici coprono poco: lingue rare e con poche risorse, e testi istituzionali e specialistici di scienza, diritto, pubblica amministrazione, medicina, finanza e ingegneria.
- Volume
- Cresce ogni giorno. Le cifre datate sono nel catalogo.
- Lingue
- Oltre 130, molte con poche risorse
- Materie
- Oltre 140
- Classi di licenza
- Pubblico dominio, CC0, attribuzione (CC BY)
- Formati
- JSONL, Apache Parquet
Codice sorgente
Da COBOL a Rust.
Banche, assicurazioni ed enti pubblici funzionano ancora con COBOL, Fortran, JCL e PL/I, e i modelli che modernizzano questi sistemi devono impararli. Questo corpus affianca quel codice legacy a linguaggi moderni, solo con licenze permissive.
- Volume
- In crescita. Le cifre datate sono nel catalogo.
- Legacy
- COBOL, Fortran, JCL, PL/I
- Moderni
- Rust, C, C++, Java, Go, MATLAB
- Licenze
- MIT, Apache-2.0, BSD, ISC, Zlib, 0BSD, CC0, Unlicense. Niente GPL né AGPL.
- Prova della licenza
- Registrata per ogni file
- Credenziali
- I file con stringhe simili a credenziali vengono consegnati solo con valori sintetici.
Biomedicina e scienze della vita
Per la ricerca farmacologica e il linguaggio clinico.
Testo biomedico, dalla farmacologia e neurologia alla medicina tropicale e alla biochimica, con dati strutturati disponibili a corredo. Nulla di tutto questo è un dato a livello di paziente.
- Volume
- In crescita. Le cifre datate sono nel catalogo.
- Materie
- Farmacologia, neurologia, biochimica, immunologia, epidemiologia, medicina tropicale e altro
- Dati strutturati
- Etichettatura regolatoria dei farmaci, segnalazioni di eventi avversi anonimizzate, voci di registri di sperimentazioni cliniche, affinità di legame misurate, annotazioni di geni e pathway
- Non offerto
- Dati a livello di paziente. Le segnalazioni di eventi avversi sono pratiche regolatorie anonimizzate, non una coorte di pazienti.
Copertura
Lingue e materie del corpus testuale.
I volumi variano molto da lingua a lingua. Il catalogo mostra cosa è disponibile per quelle che vi servono.
Lingue incluse
Abcaso · Acehnese · Afrikaans · Albanese · Amarico · Greco antico · Armeno · Avaro · Aymara · Azero · Bambara · Baschiro · Basco · Bielorusso · Bengalese · Bislama · Bretone · Bulgaro · Birmano · Catalano · Cebuano · Chamorro · Ceceno · Chichewa · Cinese · Cornico · Croato · Ceco · Danese · Olandese · Dzongkha · Inglese · Esperanto · Estone · Figiano · Finlandese · Francese · Fula · Galiziano · Ge'ez · Georgiano · Tedesco · Gotico · Greco · Guaraní · Gujarati · Hausa · Hawaiano · Hindi · Ungherese · Islandese · Igbo · Indonesiano · Inuktitut · Irlandese · Italiano · Giapponese · Giavanese · Kazako · Khmer · Kinyarwanda · Coreano · Kirghiso · Lao · Latino · Lettone · Lesgo · Lingala · Lituano · Basso sorabo · Luganda · Macedone · Maithili · Malese · Malayalam · Maltese · Mannese · Maori · Marathi · Marshallese · Mon · Mongolo · Nahuatl · Nepalese · Norvegese · Occitano · Odia · Oromo · Osseto · Polacco · Portoghese · Punjabi · Quechua · Rumeno · Russo · Samoano · Sanscrito · Serbo · Sesotho · Shona · Singalese · Slovacco · Sloveno · Somalo · Spagnolo · Sundanese · Swahili · Svedese · Tagalog · Tagico · Tamil · Tataro · Telugu · Thailandese · Tibetano · Tigrino · Tok Pisin · Tongano · Tsonga · Tswana · Turco · Turkmeno · Ucraino · Uzbeko · Vietnamita · Gallese · Wolof · Xhosa · Yoruba · Zulu
Materie incluse
Scienza e ricerca · Diritto, tribunali e legislazione · Atti amministrativi e parlamentari · Medicina · Medicina tradizionale, ayurveda e medicina islamica (Tibb Nabawi) · Saperi indigeni · Banca, finanza e fisco · Ingegneria e aeronautica · Agricoltura · Architettura · Astronomia e chimica · Linguistica · Teologia e discipline umanistiche · Istruzione · Sistemi IT legacy
Ogni lingua è indicata come registrata sul documento. Le lingue ancora in revisione di qualità compaiono nel catalogo con questo stato.
Ogni record
Una selezione da verificare e riprodurre.
- Classe di licenza, licenza e la relativa prova
- Nota di attribuzione ovunque una licenza la richieda
- Lingua come registrata, e materia
- Numero di token e hash del contenuto
- Indicatori di qualità, riportati e mai rimossi in silenzio
{ "text": "…", "language": "de", "subject": "medicine", "licence_class": "public-domain", "licence_evidence": "source statement", "tokens": 1842, "text_hash": "9f2c…e41a", "quality_flags": [] }
Politica delle licenze
Un'unica regola per tutto ciò che consegniamo.
Un documento viene consegnato solo se la sua licenza consente l'uso commerciale, addestramento incluso. Ciò che non possiamo classificare viene trattenuto, non consegnato.
Cosa consegniamo
- Pubblico dominio e CC0
- CC BY, con l'attribuzione consegnata insieme ai dati
- Codice con licenza MIT, Apache-2.0, BSD, ISC, Zlib, 0BSD, CC0 e Unlicense
Cosa non consegniamo mai
- Licenze non commerciali (NC) e senza opere derivate (ND)
- Licenze con condivisione allo stesso modo (SA)
- GPL, AGPL e altre licenze copyleft per il codice
- Qualsiasi cosa con licenza mancante o poco chiara
Consegna
Consegnato nella dimensione che vi serve.
I documenti lunghi vengono divisi in unità autonome ai confini di frase, così il volume per materia corrisponde alle vostre esigenze.
pagine per unità
pagine per unità
pagine per unità
Come funziona la licenza
Dal primo sguardo alla consegna.
Catalogo
Volumi per lingua, materia e licenza, arrotondati per difetto e datati.
Campione di valutazione
Unità reali nel formato di consegna, per valutare schema e qualità.
NDA e contratto
Firmiamo un NDA, poi concordiamo ambito e condizioni di licenza.
Consegna
JSONL o Parquet tramite trasferimento cifrato, con documentazione e note di attribuzione.
Le domande degli acquirenti.
Possiamo vedere i dati prima di firmare qualsiasi cosa?
Sì. Il catalogo elenca i volumi per lingua, materia e licenza. Segue un campione di valutazione nel formato di consegna; pacchetti di valutazione più ampi sono condivisi sotto NDA.
Rivelate da dove provengono i dati?
No. La provenienza è riservata. Ogni documento porta la sua classe di licenza e la relativa prova, e l'attribuzione viene consegnata ovunque una licenza la richieda.
I dati personali vengono rimossi?
Su qualsiasi consegna è possibile eseguire un rilevamento dei dati personali, e i tassi rilevati vengono forniti insieme. Il rilevamento automatico non trova tutto, quindi riportiamo ciò che è stato trovato e non affermiamo mai che non resti nulla.
Possiamo licenziare una sola lingua o una sola materia?
Sì. Ogni documento è etichettato con lingua e materia, quindi una consegna può essere suddivisa per lingua, materia, classe di licenza o dimensione.
Come viene dimensionata una consegna?
I documenti lunghi vengono divisi in unità autonome ai confini di frase, in tre dimensioni: fino a circa 2 pagine, da circa 2 a 20 pagine e da circa 20 a 100 pagine.
Fornite un report di qualità con i dati?
Sì. Insieme al dataset può essere consegnato un report di benchmark. Misura duplicati, dati personali rilevati, composizione delle licenze e sovrapposizione con i set di valutazione.
Richiedete il catalogo.
Diteci di quali lingue, materie o linguaggi di programmazione avete bisogno.