Curación de datos
Sus datos. Listos para la IA.
Aplicamos nuestro pipeline de curación a sus documentos, escaneos, audio y vídeo. En nuestras propias máquinas en Alemania bajo un contrato de encargo de tratamiento, o dentro de su entorno.
Lo que entra
- PDF, incluidas páginas escaneadas
- Documentos de Office, HTML y exportaciones de correo
- Archivos CSV, registros y exportaciones de bases de datos
- Grabaciones de audio y vídeo
Lo que sale
- JSONL o Parquet estructurado según un esquema acordado
- Datos personales eliminados o enmascarados según su política
- Idioma, indicadores de calidad y hash del contenido en cada registro
- Una ficha de datos y un informe de calidad de antes y después
El pipeline
Ocho pasos de archivos en bruto a datos de entrenamiento.
El mismo pipeline con el que construimos nuestros propios corpus. Cada paso se puede activar o desactivar para su proyecto.
Extraer
Se extrae el texto de los documentos. Las páginas escaneadas pasan por reconocimiento óptico de caracteres.
Transcribir
El audio y el vídeo se convierten y se transcriben a texto.
Limpiar
Se eliminan errores de codificación, marcado, encabezados, pies de página y texto repetitivo, y se normaliza el texto.
Eliminar datos personales
Nombres, direcciones de correo, teléfonos, datos bancarios e identificadores se detectan y se eliminan o enmascaran.
Deduplicar
Se localizan las copias exactas y casi idénticas, para que nada quede sobrerrepresentado en el entrenamiento.
Detectar el idioma
Detectores independientes votan, y una etiqueta solo se conserva cuando coinciden.
Marcar la calidad
Cada registro se revisa. Los de baja calidad se marcan o se eliminan, según usted decida.
Estructurar e informar
Salida en su esquema, con una ficha de datos y un informe de benchmark.
Lo que no prometemos: la detección automática de datos personales no lo encuentra todo. Informamos de las tasas detectadas y los límites conocidos, y para datos sensibles acordamos con usted un paso de revisión antes de la entrega.
Formatos y servicios
Entregado como su pipeline lo espera.
Datos de fine-tuning
Formatos de instrucciones, chat, preferencias (DPO) y completado, ajustados al framework con el que entrena.
Datos de preentrenamiento
Parquet en columnas, listo para Hugging Face Datasets, Spark, S3 o BigQuery.
Recuperación (RAG)
Segmentación, fragmentación y metadatos ajustados a su base de datos vectorial y a su modelo de embeddings.
Conjuntos de evaluación
Conjuntos de prueba reservados, construidos según sus criterios y entregados con un script de puntuación.
Pipelines recurrentes
Procesos por lotes repetibles con informes de calidad automáticos, para equipos con un flujo constante de datos.
Marca blanca
Consultoras y proveedores de datos pueden ofrecer el pipeline a sus propios clientes con su propio nombre.
Protección de datos
Hecho para datos que deben seguir bajo control.
El contrato primero
Se firma un contrato de encargo de tratamiento según el art. 28 del RGPD antes de tocar ningún dato. Un NDA es lo habitual.
Procesados en Alemania
En nuestras propias máquinas en Alemania, o en las suyas. Sus datos no se suben a un almacenamiento en la nube.
Cifrados en reposo
Los datos se guardan cifrados solo mientras dura el proyecto.
Eliminados tras la entrega
Sus datos de origen se eliminan al terminar el proyecto, y usted recibe una confirmación por escrito.
Dos formas de ejecutarlo
En nuestras máquinas o en las suyas.
| Aspecto | En nuestras máquinas | En su entorno |
|---|---|---|
| Cómo funciona | Usted envía los datos mediante una transferencia cifrada. Los procesamos en Alemania y los eliminamos tras la entrega. | Ejecutamos el pipeline dentro de su entorno, en remoto en una máquina que usted proporciona o in situ. |
| Adecuado para | Equipos de IA, empresas de software y datos que pueden salir de su red bajo contrato. | Bancos, aseguradoras, sanidad, farmacéuticas y organismos públicos cuyos datos no pueden salir del edificio. |
| Sus datos | Guardados cifrados solo mientras dura el proyecto. | Nunca salen de su infraestructura. |
Para quién
Organizaciones con archivos que la IA aún no puede aprovechar.
Bancos y aseguradoras
Contratos, correspondencia y expedientes convertidos en datos de entrenamiento y recuperación, sin datos personales.
Sanidad y farmacia
Informes, documentos de estudios y voz grabada preparados para modelos especializados bajo una estricta protección de datos.
Sector público y jurídico
Expedientes escaneados, sentencias y documentos administrativos que se vuelven consultables y útiles.
Consultoras y proveedores de datos
El pipeline con su nombre, para sus propios clientes.
Cómo se desarrolla un proyecto
Empezar en pequeño. Después escalar.
Definición
Una llamada sobre sus datos, formatos, volúmenes y requisitos de protección de datos.
Piloto
Curamos una muestra de unos 1.000 registros y mostramos el resultado con un informe de calidad.
Presupuesto
Un precio fijo basado en lo que mostró el piloto, no en una suposición.
Ejecución completa
Todo el conjunto de datos pasa por el pipeline, con cifras intermedias durante el proceso.
Entrega
Se entregan los datos, la ficha de datos y el informe. Sus datos de origen se eliminan y se confirma.
Preguntas sobre la curación de datos.
¿Tienen que salir nuestros datos de nuestras instalaciones?
No. El pipeline puede funcionar dentro de su entorno, en una máquina que usted proporcione. Si lo prefiere, nos envía los datos bajo un contrato de encargo de tratamiento y los procesamos en nuestras propias máquinas en Alemania.
¿Firman un contrato de encargo de tratamiento?
Sí. Se firma un contrato según el art. 28 del RGPD antes de que recibamos ningún dato, junto con un NDA.
¿Qué tipos de archivo pueden procesar?
PDF incluidos escaneos, documentos de Office, HTML, texto plano, exportaciones CSV y de bases de datos, y archivos de audio y vídeo. Los escaneos pasan por OCR y las grabaciones por reconocimiento de voz.
¿Qué idiomas admiten?
La detección de idioma cubre una gama muy amplia, incluidos idiomas con pocos recursos, porque el pipeline se creó para un corpus de más de 130 idiomas. La calidad del OCR y del reconocimiento de voz varía según el idioma, y esa es una de las razones por las que empezamos con un piloto.
¿Cómo se presupuesta un proyecto?
Por proyecto, según el volumen, los formatos y la forma de ejecución. El piloto da cifras reales a ambas partes, y el presupuesto se deriva de ellas.
Envíenos una descripción de sus datos.
Formatos, volumen aproximado y para qué quiere usarlos. Respondemos con una propuesta de piloto.