Dataset

Tre corpora con licenza per l'addestramento.

Raccolti secondo un'unica politica di licenze e consegnati in JSONL o Parquet. Vedete il catalogo e un campione di valutazione prima di decidere.

Testo multilingue

Tutta l'ampiezza del linguaggio umano.

Un corpus testuale per le lingue e le materie che i crawl web generici coprono poco: lingue rare e con poche risorse, e testi istituzionali e specialistici di scienza, diritto, pubblica amministrazione, medicina, finanza e ingegneria.

Volume
Cresce ogni giorno. Le cifre datate sono nel catalogo.
Lingue
Oltre 130, molte con poche risorse
Materie
Oltre 140
Classi di licenza
Pubblico dominio, CC0, attribuzione (CC BY)
Formati
JSONL, Apache Parquet

Codice sorgente

Da COBOL a Rust.

Banche, assicurazioni ed enti pubblici funzionano ancora con COBOL, Fortran, JCL e PL/I, e i modelli che modernizzano questi sistemi devono impararli. Questo corpus affianca quel codice legacy a linguaggi moderni, solo con licenze permissive.

Volume
In crescita. Le cifre datate sono nel catalogo.
Legacy
COBOL, Fortran, JCL, PL/I
Moderni
Rust, C, C++, Java, Go, MATLAB
Licenze
MIT, Apache-2.0, BSD, ISC, Zlib, 0BSD, CC0, Unlicense. Niente GPL né AGPL.
Prova della licenza
Registrata per ogni file
Credenziali
I file con stringhe simili a credenziali vengono consegnati solo con valori sintetici.

Biomedicina e scienze della vita

Per la ricerca farmacologica e il linguaggio clinico.

Testo biomedico, dalla farmacologia e neurologia alla medicina tropicale e alla biochimica, con dati strutturati disponibili a corredo. Nulla di tutto questo è un dato a livello di paziente.

Volume
In crescita. Le cifre datate sono nel catalogo.
Materie
Farmacologia, neurologia, biochimica, immunologia, epidemiologia, medicina tropicale e altro
Dati strutturati
Etichettatura regolatoria dei farmaci, segnalazioni di eventi avversi anonimizzate, voci di registri di sperimentazioni cliniche, affinità di legame misurate, annotazioni di geni e pathway
Non offerto
Dati a livello di paziente. Le segnalazioni di eventi avversi sono pratiche regolatorie anonimizzate, non una coorte di pazienti.

Copertura

Lingue e materie del corpus testuale.

I volumi variano molto da lingua a lingua. Il catalogo mostra cosa è disponibile per quelle che vi servono.

Lingue incluse

Abcaso · Acehnese · Afrikaans · Albanese · Amarico · Greco antico · Armeno · Avaro · Aymara · Azero · Bambara · Baschiro · Basco · Bielorusso · Bengalese · Bislama · Bretone · Bulgaro · Birmano · Catalano · Cebuano · Chamorro · Ceceno · Chichewa · Cinese · Cornico · Croato · Ceco · Danese · Olandese · Dzongkha · Inglese · Esperanto · Estone · Figiano · Finlandese · Francese · Fula · Galiziano · Ge'ez · Georgiano · Tedesco · Gotico · Greco · Guaraní · Gujarati · Hausa · Hawaiano · Hindi · Ungherese · Islandese · Igbo · Indonesiano · Inuktitut · Irlandese · Italiano · Giapponese · Giavanese · Kazako · Khmer · Kinyarwanda · Coreano · Kirghiso · Lao · Latino · Lettone · Lesgo · Lingala · Lituano · Basso sorabo · Luganda · Macedone · Maithili · Malese · Malayalam · Maltese · Mannese · Maori · Marathi · Marshallese · Mon · Mongolo · Nahuatl · Nepalese · Norvegese · Occitano · Odia · Oromo · Osseto · Polacco · Portoghese · Punjabi · Quechua · Rumeno · Russo · Samoano · Sanscrito · Serbo · Sesotho · Shona · Singalese · Slovacco · Sloveno · Somalo · Spagnolo · Sundanese · Swahili · Svedese · Tagalog · Tagico · Tamil · Tataro · Telugu · Thailandese · Tibetano · Tigrino · Tok Pisin · Tongano · Tsonga · Tswana · Turco · Turkmeno · Ucraino · Uzbeko · Vietnamita · Gallese · Wolof · Xhosa · Yoruba · Zulu

Materie incluse

Scienza e ricerca · Diritto, tribunali e legislazione · Atti amministrativi e parlamentari · Medicina · Medicina tradizionale, ayurveda e medicina islamica (Tibb Nabawi) · Saperi indigeni · Banca, finanza e fisco · Ingegneria e aeronautica · Agricoltura · Architettura · Astronomia e chimica · Linguistica · Teologia e discipline umanistiche · Istruzione · Sistemi IT legacy

Ogni lingua è indicata come registrata sul documento. Le lingue ancora in revisione di qualità compaiono nel catalogo con questo stato.

Ogni record

Una selezione da verificare e riprodurre.

  • Classe di licenza, licenza e la relativa prova
  • Nota di attribuzione ovunque una licenza la richieda
  • Lingua come registrata, e materia
  • Numero di token e hash del contenuto
  • Indicatori di qualità, riportati e mai rimossi in silenzio
record.jsonl
{
  "text": "…",
  "language": "de",
  "subject": "medicine",
  "licence_class": "public-domain",
  "licence_evidence": "source statement",
  "tokens": 1842,
  "text_hash": "9f2c…e41a",
  "quality_flags": []
}

Politica delle licenze

Un'unica regola per tutto ciò che consegniamo.

Un documento viene consegnato solo se la sua licenza consente l'uso commerciale, addestramento incluso. Ciò che non possiamo classificare viene trattenuto, non consegnato.

Cosa consegniamo

  • Pubblico dominio e CC0
  • CC BY, con l'attribuzione consegnata insieme ai dati
  • Codice con licenza MIT, Apache-2.0, BSD, ISC, Zlib, 0BSD, CC0 e Unlicense

Cosa non consegniamo mai

  • Licenze non commerciali (NC) e senza opere derivate (ND)
  • Licenze con condivisione allo stesso modo (SA)
  • GPL, AGPL e altre licenze copyleft per il codice
  • Qualsiasi cosa con licenza mancante o poco chiara

Consegna

Consegnato nella dimensione che vi serve.

I documenti lunghi vengono divisi in unità autonome ai confini di frase, così il volume per materia corrisponde alle vostre esigenze.

PiccolaFino a 2

pagine per unità

Media2–20

pagine per unità

Grande20–100

pagine per unità

Come funziona la licenza

Dal primo sguardo alla consegna.

  1. Catalogo

    Volumi per lingua, materia e licenza, arrotondati per difetto e datati.

  2. Campione di valutazione

    Unità reali nel formato di consegna, per valutare schema e qualità.

  3. NDA e contratto

    Firmiamo un NDA, poi concordiamo ambito e condizioni di licenza.

  4. Consegna

    JSONL o Parquet tramite trasferimento cifrato, con documentazione e note di attribuzione.

Le domande degli acquirenti.

Possiamo vedere i dati prima di firmare qualsiasi cosa?

Sì. Il catalogo elenca i volumi per lingua, materia e licenza. Segue un campione di valutazione nel formato di consegna; pacchetti di valutazione più ampi sono condivisi sotto NDA.

Rivelate da dove provengono i dati?

No. La provenienza è riservata. Ogni documento porta la sua classe di licenza e la relativa prova, e l'attribuzione viene consegnata ovunque una licenza la richieda.

I dati personali vengono rimossi?

Su qualsiasi consegna è possibile eseguire un rilevamento dei dati personali, e i tassi rilevati vengono forniti insieme. Il rilevamento automatico non trova tutto, quindi riportiamo ciò che è stato trovato e non affermiamo mai che non resti nulla.

Possiamo licenziare una sola lingua o una sola materia?

Sì. Ogni documento è etichettato con lingua e materia, quindi una consegna può essere suddivisa per lingua, materia, classe di licenza o dimensione.

Come viene dimensionata una consegna?

I documenti lunghi vengono divisi in unità autonome ai confini di frase, in tre dimensioni: fino a circa 2 pagine, da circa 2 a 20 pagine e da circa 20 a 100 pagine.

Fornite un report di qualità con i dati?

Sì. Insieme al dataset può essere consegnato un report di benchmark. Misura duplicati, dati personali rilevati, composizione delle licenze e sovrapposizione con i set di valutazione.

Richiedete il catalogo.

Diteci di quali lingue, materie o linguaggi di programmazione avete bisogno.