Dati di addestramento per l'IA

Dati di addestramento con i diritti documentati.

Testo multilingue, codice sorgente e corpora biomedici. Ogni documento porta la sua classe di licenza e la prova che la giustifica.

Un record così come viene consegnato

130+lingue, molte delle quali rare e con poche risorse

{
  "text": "Die Studie untersucht, wie …",
  "language": "de",
  "subject": "medicine",
  "licence_class": "public-domain",
  "licence_evidence": "source statement",
  "quality": "clean",
  "text_hash": "9f2c…e41a"
}

10linguaggi di programmazione, da COBOL a Rust

{
  "file": "payroll.cbl",
  "language": "cobol",
  "licence": "Apache-2.0",
  "licence_evidence": "licence file",
  "notice": "included in delivery",
  "text": "IDENTIFICATION DIVISION. …"
}

Testo + dati strutturatidalla farmacologia alla medicina tropicale

{
  "text": "The compound inhibits …",
  "language": "en",
  "subject": "pharmacology",
  "licence_class": "attribution",
  "licence": "CC-BY-4.0",
  "attribution": "included in delivery",
  "quality": "clean"
}
  • English
  • Deutsch
  • Français
  • Latina
  • Ἑλληνική
  • Italiano
  • Беларуская
  • Հայերեն
  • Español
  • हिन्दी
  • संस्कृतम्
  • বাংলা
  • Ελληνικά
  • मराठी
  • Afrikaans
  • Nederlands
  • Cymraeg
  • Kiswahili

Tre modi di lavorare con CurateLM.

Dataset130+

lingue di testo, più codice sorgente e corpora biomedici. In licenza per lingua, materia e dimensione.

Vedi i dataset
Data curationI vostri dati

Estratti, puliti, deduplicati e privati dei dati personali. Elaborati in Germania o nel vostro ambiente.

Come funziona
BenchmarkDa A a E

Un report di qualità misurato per qualsiasi dataset di testo o codice. Solo numeri, mai il vostro testo.

Cosa viene misurato

Dal documento al record

Ogni documento dice cosa è.

1

Lingua come registrata

Ogni documento conserva la lingua con cui è stato registrato. Rilevatori indipendenti verificano l'etichetta ogni volta che possono, e il catalogo indica come è stata confermata ciascuna.

2

Materia

Ogni documento è classificato in una di oltre 140 materie, dal diritto e dagli atti amministrativi alla medicina e all'ingegneria, così potete licenziare esattamente la parte che vi serve.

3

Licenza con la sua prova

La classe di licenza sta accanto al motivo per cui la riteniamo valida: la dichiarazione della fonte, l'opera stessa o la sua data di pubblicazione. Se il motivo non è chiaro, il documento viene trattenuto.

4

Indicatori di qualità

Testo danneggiato, residui di navigazione e ripetizioni pesanti vengono segnalati, non cancellati in silenzio. Decidete voi cosa tenere.

record.jsonlDocumento
{
  "text": "Die Studie untersucht, wie …",
  "language": "de",
  "subject": "medicine",
  "licence_class": "public-domain",
  "licence_evidence": "source statement",
  "quality_flags": []
}

Il corpus

Costruito per le lingue e le materie che i crawler web trascurano.

130+lingue, molte delle quali rare e con poche risorse
140+materie, dal diritto e dalla pubblica amministrazione alla medicina
10linguaggi di programmazione, da COBOL a Rust
0documenti consegnati con condizioni non commerciali o di condivisione allo stesso modo

I corpora crescono ogni giorno. Il catalogo riporta cifre esatte e datate, arrotondate per difetto.

Politica delle licenze

Diritti documentati per ogni documento.

Vedete per cosa può essere usato ogni documento, e perché lo affermiamo.

  • Classe di licenza registrata per ogni documento: pubblico dominio, CC0 o attribuzione.
  • La prova registrata insieme: la dichiarazione della fonte, l'opera stessa o la sua data di pubblicazione.
  • Note di attribuzione consegnate con i dati ovunque una licenza le richieda.
  • Materiale non commerciale, senza opere derivate, con condivisione allo stesso modo o copyleft non viene mai consegnato.

Data curation

I vostri dati restano
in Germania.

La pipeline con cui costruiamo i nostri corpora, applicata ai vostri documenti, scansioni, audio e video. Sulle nostre macchine in Germania con un accordo sul trattamento dei dati, oppure nel vostro ambiente. Cancellati dopo la consegna, con conferma scritta.

Diteci di quali dati avete bisogno o quali dati avete.

Rispondiamo entro un giorno lavorativo con il catalogo, un campione di valutazione o una proposta di progetto pilota.