Conjuntos de datos

Tres corpus con licencia para entrenamiento.

Recopilados bajo una única política de licencias y entregados en JSONL o Parquet. Vea el catálogo y una muestra de evaluación antes de decidir.

Texto multilingüe

Toda la amplitud del lenguaje humano.

Un corpus de texto para los idiomas y materias que los rastreos web generales cubren mal: idiomas minoritarios y con pocos recursos, y textos institucionales y especializados de ciencia, derecho, administración, medicina, finanzas e ingeniería.

Volumen
Crece cada día. Las cifras fechadas están en el catálogo.
Idiomas
Más de 130, muchos con pocos recursos
Materias
Más de 140
Clases de licencia
Dominio público, CC0, atribución (CC BY)
Formatos
JSONL, Apache Parquet

Código fuente

De COBOL a Rust.

Bancos, aseguradoras y organismos públicos siguen funcionando con COBOL, Fortran, JCL y PL/I, y los modelos que modernizan esos sistemas necesitan aprenderlos. Este corpus combina ese código heredado con lenguajes modernos, solo bajo licencias permisivas.

Volumen
En crecimiento. Las cifras fechadas están en el catálogo.
Heredados
COBOL, Fortran, JCL, PL/I
Modernos
Rust, C, C++, Java, Go, MATLAB
Licencias
MIT, Apache-2.0, BSD, ISC, Zlib, 0BSD, CC0, Unlicense. Sin GPL ni AGPL.
Justificación de licencia
Registrada para cada archivo
Credenciales
Los archivos con cadenas similares a credenciales solo se entregan con valores sintéticos.

Biomedicina y ciencias de la vida

Para el descubrimiento de fármacos y el lenguaje clínico.

Texto biomédico, de la farmacología y la neurología a la medicina tropical y la bioquímica, con registros estructurados disponibles como complemento. Nada de esto son datos a nivel de paciente.

Volumen
En crecimiento. Las cifras fechadas están en el catálogo.
Materias
Farmacología, neurología, bioquímica, inmunología, epidemiología, medicina tropical y más
Registros estructurados
Fichas técnicas regulatorias de medicamentos, notificaciones de eventos adversos anonimizadas, registros de ensayos clínicos, afinidades de unión medidas, anotaciones de genes y rutas metabólicas
No incluido
Datos a nivel de paciente. Las notificaciones de eventos adversos son expedientes regulatorios anonimizados, no una cohorte de pacientes.

Cobertura

Idiomas y materias del corpus de texto.

Los volúmenes varían mucho según el idioma. El catálogo muestra lo disponible para los que necesita.

Idiomas incluidos

Abjasio · Achenés · Afrikáans · Albanés · Amhárico · Griego antiguo · Armenio · Ávaro · Aimara · Azerí · Bambara · Baskir · Euskera · Bielorruso · Bengalí · Bislama · Bretón · Búlgaro · Birmano · Catalán · Cebuano · Chamorro · Checheno · Chichewa · Chino · Córnico · Croata · Checo · Danés · Neerlandés · Dzongkha · Inglés · Esperanto · Estonio · Fiyiano · Finés · Francés · Fula · Gallego · Ge'ez · Georgiano · Alemán · Gótico · Griego · Guaraní · Guyaratí · Hausa · Hawaiano · Hindi · Húngaro · Islandés · Igbo · Indonesio · Inuktitut · Irlandés · Italiano · Japonés · Javanés · Kazajo · Jemer · Kinyarwanda · Coreano · Kirguís · Lao · Latín · Letón · Lezguino · Lingala · Lituano · Bajo sorbio · Luganda · Macedonio · Maithili · Malayo · Malayalam · Maltés · Manés · Maorí · Maratí · Marshalés · Mon · Mongol · Náhuatl · Nepalí · Noruego · Occitano · Odia · Oromo · Osetio · Polaco · Portugués · Panyabí · Quechua · Rumano · Ruso · Samoano · Sánscrito · Serbio · Sesoto · Shona · Cingalés · Eslovaco · Esloveno · Somalí · Español · Sundanés · Suajili · Sueco · Tagalo · Tayiko · Tamil · Tártaro · Telugu · Tailandés · Tibetano · Tigriña · Tok pisin · Tongano · Tsonga · Setsuana · Turco · Turcomano · Ucraniano · Uzbeko · Vietnamita · Galés · Wólof · Xhosa · Yoruba · Zulú

Materias incluidas

Ciencia e investigación · Derecho, tribunales y legislación · Registros gubernamentales y parlamentarios · Medicina · Medicina tradicional, ayurveda y medicina islámica (Tibb Nabawi) · Saberes indígenas · Banca, finanzas e impuestos · Ingeniería y aeronáutica · Agricultura · Arquitectura · Astronomía y química · Lingüística · Teología y humanidades · Educación · Sistemas informáticos heredados

Cada idioma se indica tal como está registrado en el documento. Los idiomas que siguen en revisión de calidad figuran en el catálogo con ese estado.

Cada registro

Una selección que puede auditar y reproducir.

  • Clase de licencia, licencia y la justificación que la respalda
  • Aviso de atribución siempre que una licencia lo exija
  • Idioma tal como se registró, y materia
  • Recuento de tokens y un hash del contenido
  • Indicadores de calidad, informados y nunca eliminados en silencio
record.jsonl
{
  "text": "…",
  "language": "de",
  "subject": "medicine",
  "licence_class": "public-domain",
  "licence_evidence": "source statement",
  "tokens": 1842,
  "text_hash": "9f2c…e41a",
  "quality_flags": []
}

Política de licencias

Una sola regla para todo lo que entregamos.

Un documento solo se entrega si su licencia permite el uso comercial, incluido el entrenamiento. Lo que no podemos clasificar se retiene, no se entrega.

Lo que entregamos

  • Dominio público y CC0
  • CC BY, con la atribución entregada junto con los datos
  • Código bajo MIT, Apache-2.0, BSD, ISC, Zlib, 0BSD, CC0 y Unlicense

Lo que nunca entregamos

  • Licencias no comerciales (NC) y sin obras derivadas (ND)
  • Licencias de compartir igual (SA)
  • GPL, AGPL y otras licencias de código copyleft
  • Cualquier contenido con licencia ausente o poco clara

Entrega

Entregado en el tamaño que necesita.

Los documentos largos se dividen en unidades autónomas en los límites de las frases, para que el volumen por materia se ajuste a lo que necesita.

PequeñaHasta 2

páginas por unidad

Mediana2–20

páginas por unidad

Grande20–100

páginas por unidad

Cómo funciona la licencia

Del primer vistazo a la entrega.

  1. Catálogo

    Volúmenes por idioma, materia y licencia, redondeados a la baja y fechados.

  2. Muestra de evaluación

    Unidades reales en el formato de entrega, para valorar el esquema y la calidad.

  3. NDA y contrato

    Firmamos un NDA y después acordamos el alcance y las condiciones de licencia.

  4. Entrega

    JSONL o Parquet mediante transferencia cifrada, con documentación y avisos de atribución.

Preguntas que hacen los compradores.

¿Podemos ver datos antes de firmar nada?

Sí. El catálogo enumera los volúmenes por idioma, materia y licencia. Después llega una muestra de evaluación en el formato de entrega, y los paquetes de evaluación más grandes se comparten bajo NDA.

¿Revelan de dónde proceden los datos?

No. El origen es confidencial. Cada documento lleva su clase de licencia y su justificación, y la atribución se entrega siempre que una licencia lo exija.

¿Se eliminan los datos personales?

Cualquier entrega puede pasar por una detección de datos personales, y las tasas detectadas se entregan con ella. La detección automática no lo encuentra todo, así que informamos de lo encontrado y nunca afirmamos que no quede nada.

¿Podemos licenciar un solo idioma o una sola materia?

Sí. Cada documento está etiquetado con su idioma y su materia, de modo que una entrega puede recortarse por idioma, materia, clase de licencia o tamaño.

¿Cómo se dimensiona una entrega?

Los documentos largos se dividen en unidades autónomas en los límites de las frases, en tres tamaños: hasta unas 2 páginas, de unas 2 a 20 páginas y de unas 20 a 100 páginas.

¿Ofrecen un informe de calidad con los datos?

Sí. Se puede entregar un informe de benchmark con el conjunto de datos. Mide duplicados, datos personales detectados, la combinación de licencias y la superposición con conjuntos de evaluación.

Solicite el catálogo.

Díganos qué idiomas, materias o lenguajes de programación necesita.