Conjuntos de datos
Tres corpus con licencia para entrenamiento.
Recopilados bajo una única política de licencias y entregados en JSONL o Parquet. Vea el catálogo y una muestra de evaluación antes de decidir.
Texto multilingüe
Toda la amplitud del lenguaje humano.
Un corpus de texto para los idiomas y materias que los rastreos web generales cubren mal: idiomas minoritarios y con pocos recursos, y textos institucionales y especializados de ciencia, derecho, administración, medicina, finanzas e ingeniería.
- Volumen
- Crece cada día. Las cifras fechadas están en el catálogo.
- Idiomas
- Más de 130, muchos con pocos recursos
- Materias
- Más de 140
- Clases de licencia
- Dominio público, CC0, atribución (CC BY)
- Formatos
- JSONL, Apache Parquet
Código fuente
De COBOL a Rust.
Bancos, aseguradoras y organismos públicos siguen funcionando con COBOL, Fortran, JCL y PL/I, y los modelos que modernizan esos sistemas necesitan aprenderlos. Este corpus combina ese código heredado con lenguajes modernos, solo bajo licencias permisivas.
- Volumen
- En crecimiento. Las cifras fechadas están en el catálogo.
- Heredados
- COBOL, Fortran, JCL, PL/I
- Modernos
- Rust, C, C++, Java, Go, MATLAB
- Licencias
- MIT, Apache-2.0, BSD, ISC, Zlib, 0BSD, CC0, Unlicense. Sin GPL ni AGPL.
- Justificación de licencia
- Registrada para cada archivo
- Credenciales
- Los archivos con cadenas similares a credenciales solo se entregan con valores sintéticos.
Biomedicina y ciencias de la vida
Para el descubrimiento de fármacos y el lenguaje clínico.
Texto biomédico, de la farmacología y la neurología a la medicina tropical y la bioquímica, con registros estructurados disponibles como complemento. Nada de esto son datos a nivel de paciente.
- Volumen
- En crecimiento. Las cifras fechadas están en el catálogo.
- Materias
- Farmacología, neurología, bioquímica, inmunología, epidemiología, medicina tropical y más
- Registros estructurados
- Fichas técnicas regulatorias de medicamentos, notificaciones de eventos adversos anonimizadas, registros de ensayos clínicos, afinidades de unión medidas, anotaciones de genes y rutas metabólicas
- No incluido
- Datos a nivel de paciente. Las notificaciones de eventos adversos son expedientes regulatorios anonimizados, no una cohorte de pacientes.
Cobertura
Idiomas y materias del corpus de texto.
Los volúmenes varían mucho según el idioma. El catálogo muestra lo disponible para los que necesita.
Idiomas incluidos
Abjasio · Achenés · Afrikáans · Albanés · Amhárico · Griego antiguo · Armenio · Ávaro · Aimara · Azerí · Bambara · Baskir · Euskera · Bielorruso · Bengalí · Bislama · Bretón · Búlgaro · Birmano · Catalán · Cebuano · Chamorro · Checheno · Chichewa · Chino · Córnico · Croata · Checo · Danés · Neerlandés · Dzongkha · Inglés · Esperanto · Estonio · Fiyiano · Finés · Francés · Fula · Gallego · Ge'ez · Georgiano · Alemán · Gótico · Griego · Guaraní · Guyaratí · Hausa · Hawaiano · Hindi · Húngaro · Islandés · Igbo · Indonesio · Inuktitut · Irlandés · Italiano · Japonés · Javanés · Kazajo · Jemer · Kinyarwanda · Coreano · Kirguís · Lao · Latín · Letón · Lezguino · Lingala · Lituano · Bajo sorbio · Luganda · Macedonio · Maithili · Malayo · Malayalam · Maltés · Manés · Maorí · Maratí · Marshalés · Mon · Mongol · Náhuatl · Nepalí · Noruego · Occitano · Odia · Oromo · Osetio · Polaco · Portugués · Panyabí · Quechua · Rumano · Ruso · Samoano · Sánscrito · Serbio · Sesoto · Shona · Cingalés · Eslovaco · Esloveno · Somalí · Español · Sundanés · Suajili · Sueco · Tagalo · Tayiko · Tamil · Tártaro · Telugu · Tailandés · Tibetano · Tigriña · Tok pisin · Tongano · Tsonga · Setsuana · Turco · Turcomano · Ucraniano · Uzbeko · Vietnamita · Galés · Wólof · Xhosa · Yoruba · Zulú
Materias incluidas
Ciencia e investigación · Derecho, tribunales y legislación · Registros gubernamentales y parlamentarios · Medicina · Medicina tradicional, ayurveda y medicina islámica (Tibb Nabawi) · Saberes indígenas · Banca, finanzas e impuestos · Ingeniería y aeronáutica · Agricultura · Arquitectura · Astronomía y química · Lingüística · Teología y humanidades · Educación · Sistemas informáticos heredados
Cada idioma se indica tal como está registrado en el documento. Los idiomas que siguen en revisión de calidad figuran en el catálogo con ese estado.
Cada registro
Una selección que puede auditar y reproducir.
- Clase de licencia, licencia y la justificación que la respalda
- Aviso de atribución siempre que una licencia lo exija
- Idioma tal como se registró, y materia
- Recuento de tokens y un hash del contenido
- Indicadores de calidad, informados y nunca eliminados en silencio
{ "text": "…", "language": "de", "subject": "medicine", "licence_class": "public-domain", "licence_evidence": "source statement", "tokens": 1842, "text_hash": "9f2c…e41a", "quality_flags": [] }
Política de licencias
Una sola regla para todo lo que entregamos.
Un documento solo se entrega si su licencia permite el uso comercial, incluido el entrenamiento. Lo que no podemos clasificar se retiene, no se entrega.
Lo que entregamos
- Dominio público y CC0
- CC BY, con la atribución entregada junto con los datos
- Código bajo MIT, Apache-2.0, BSD, ISC, Zlib, 0BSD, CC0 y Unlicense
Lo que nunca entregamos
- Licencias no comerciales (NC) y sin obras derivadas (ND)
- Licencias de compartir igual (SA)
- GPL, AGPL y otras licencias de código copyleft
- Cualquier contenido con licencia ausente o poco clara
Entrega
Entregado en el tamaño que necesita.
Los documentos largos se dividen en unidades autónomas en los límites de las frases, para que el volumen por materia se ajuste a lo que necesita.
páginas por unidad
páginas por unidad
páginas por unidad
Cómo funciona la licencia
Del primer vistazo a la entrega.
Catálogo
Volúmenes por idioma, materia y licencia, redondeados a la baja y fechados.
Muestra de evaluación
Unidades reales en el formato de entrega, para valorar el esquema y la calidad.
NDA y contrato
Firmamos un NDA y después acordamos el alcance y las condiciones de licencia.
Entrega
JSONL o Parquet mediante transferencia cifrada, con documentación y avisos de atribución.
Preguntas que hacen los compradores.
¿Podemos ver datos antes de firmar nada?
Sí. El catálogo enumera los volúmenes por idioma, materia y licencia. Después llega una muestra de evaluación en el formato de entrega, y los paquetes de evaluación más grandes se comparten bajo NDA.
¿Revelan de dónde proceden los datos?
No. El origen es confidencial. Cada documento lleva su clase de licencia y su justificación, y la atribución se entrega siempre que una licencia lo exija.
¿Se eliminan los datos personales?
Cualquier entrega puede pasar por una detección de datos personales, y las tasas detectadas se entregan con ella. La detección automática no lo encuentra todo, así que informamos de lo encontrado y nunca afirmamos que no quede nada.
¿Podemos licenciar un solo idioma o una sola materia?
Sí. Cada documento está etiquetado con su idioma y su materia, de modo que una entrega puede recortarse por idioma, materia, clase de licencia o tamaño.
¿Cómo se dimensiona una entrega?
Los documentos largos se dividen en unidades autónomas en los límites de las frases, en tres tamaños: hasta unas 2 páginas, de unas 2 a 20 páginas y de unas 20 a 100 páginas.
¿Ofrecen un informe de calidad con los datos?
Sí. Se puede entregar un informe de benchmark con el conjunto de datos. Mide duplicados, datos personales detectados, la combinación de licencias y la superposición con conjuntos de evaluación.
Solicite el catálogo.
Díganos qué idiomas, materias o lenguajes de programación necesita.