Datos de entrenamiento para IA

Datos de entrenamiento con sus derechos registrados.

Texto multilingüe, código fuente y corpus biomédicos. Cada documento lleva su clase de licencia y la evidencia que la respalda.

Un registro tal como se entrega

130+idiomas, muchos de ellos minoritarios y con pocos recursos

{
  "text": "Die Studie untersucht, wie …",
  "language": "de",
  "subject": "medicine",
  "licence_class": "public-domain",
  "licence_evidence": "source statement",
  "quality": "clean",
  "text_hash": "9f2c…e41a"
}

10lenguajes de programación, de COBOL a Rust

{
  "file": "payroll.cbl",
  "language": "cobol",
  "licence": "Apache-2.0",
  "licence_evidence": "licence file",
  "notice": "included in delivery",
  "text": "IDENTIFICATION DIVISION. …"
}

Texto + registrosde la farmacología a la medicina tropical

{
  "text": "The compound inhibits …",
  "language": "en",
  "subject": "pharmacology",
  "licence_class": "attribution",
  "licence": "CC-BY-4.0",
  "attribution": "included in delivery",
  "quality": "clean"
}
  • English
  • Deutsch
  • Français
  • Latina
  • Ἑλληνική
  • Italiano
  • Беларуская
  • Հայերեն
  • Español
  • हिन्दी
  • संस्कृतम्
  • বাংলা
  • Ελληνικά
  • मराठी
  • Afrikaans
  • Nederlands
  • Cymraeg
  • Kiswahili

Tres formas de trabajar con CurateLM.

Conjuntos de datos130+

idiomas de texto, además de código fuente y corpus biomédicos. Con licencia por idioma, materia y tamaño.

Ver los conjuntos de datos
Curación de datosSus datos

Extraídos, limpiados, deduplicados y libres de datos personales. Procesados en Alemania o dentro de su propio entorno.

Cómo funciona
BenchmarkDe la A a la E

Un informe de calidad medido para cualquier conjunto de datos de texto o código. Solo cifras, nunca su texto.

Qué se mide

Del documento al registro

Cada documento dice lo que es.

1

Idioma tal como se registró

Cada documento conserva el idioma con el que fue registrado. Detectores independientes comprueban esa etiqueta siempre que pueden, y el catálogo indica cómo se confirmó cada una.

2

Materia

Cada documento se clasifica en una de más de 140 materias, del derecho y los registros gubernamentales a la medicina y la ingeniería, para que licencie exactamente la parte que necesita.

3

Licencia con su justificación

La clase de licencia aparece junto al motivo por el que la sostenemos: la declaración de la fuente, la propia obra o su fecha de publicación. Si el motivo no está claro, el documento se retiene.

4

Indicadores de calidad

El texto dañado, los restos de navegación y las repeticiones excesivas se marcan, no se borran en silencio. Usted decide qué conservar.

record.jsonlDocumento
{
  "text": "Die Studie untersucht, wie …",
  "language": "de",
  "subject": "medicine",
  "licence_class": "public-domain",
  "licence_evidence": "source statement",
  "quality_flags": []
}

El corpus

Hecho para los idiomas y materias que los rastreadores web pasan por alto.

130+idiomas, muchos de ellos minoritarios y con pocos recursos
140+materias, del derecho y la administración a la medicina
10lenguajes de programación, de COBOL a Rust
0documentos entregados bajo condiciones no comerciales o de compartir igual

Los corpus crecen cada día. El catálogo ofrece cifras exactas y fechadas, redondeadas a la baja.

Política de licencias

Derechos registrados en cada documento.

Usted ve para qué puede usarse cada documento, y por qué lo afirmamos.

  • Clase de licencia registrada en cada documento: dominio público, CC0 o atribución.
  • La justificación, registrada con ella: la declaración de la fuente, la propia obra o su fecha de publicación.
  • Avisos de atribución entregados con los datos siempre que una licencia los exija.
  • Nunca se entrega material no comercial, sin obras derivadas, de compartir igual ni copyleft.

Curación de datos

Sus datos se quedan
en Alemania.

El pipeline con el que construimos nuestros corpus, aplicado a sus documentos, escaneos, audio y vídeo. En nuestras propias máquinas en Alemania bajo un contrato de encargo de tratamiento, o dentro de su entorno. Eliminados tras la entrega, con confirmación por escrito.

Díganos qué datos necesita o qué datos tiene.

Respondemos en un día laborable con el catálogo, una muestra de evaluación o una propuesta de piloto.