Curación de datos

Sus datos. Listos para la IA.

Aplicamos nuestro pipeline de curación a sus documentos, escaneos, audio y vídeo. En nuestras propias máquinas en Alemania bajo un contrato de encargo de tratamiento, o dentro de su entorno.

Lo que entra

  • PDF, incluidas páginas escaneadas
  • Documentos de Office, HTML y exportaciones de correo
  • Archivos CSV, registros y exportaciones de bases de datos
  • Grabaciones de audio y vídeo

Lo que sale

  • JSONL o Parquet estructurado según un esquema acordado
  • Datos personales eliminados o enmascarados según su política
  • Idioma, indicadores de calidad y hash del contenido en cada registro
  • Una ficha de datos y un informe de calidad de antes y después

El pipeline

Ocho pasos de archivos en bruto a datos de entrenamiento.

El mismo pipeline con el que construimos nuestros propios corpus. Cada paso se puede activar o desactivar para su proyecto.

  1. Extraer

    Se extrae el texto de los documentos. Las páginas escaneadas pasan por reconocimiento óptico de caracteres.

  2. Transcribir

    El audio y el vídeo se convierten y se transcriben a texto.

  3. Limpiar

    Se eliminan errores de codificación, marcado, encabezados, pies de página y texto repetitivo, y se normaliza el texto.

  4. Eliminar datos personales

    Nombres, direcciones de correo, teléfonos, datos bancarios e identificadores se detectan y se eliminan o enmascaran.

  5. Deduplicar

    Se localizan las copias exactas y casi idénticas, para que nada quede sobrerrepresentado en el entrenamiento.

  6. Detectar el idioma

    Detectores independientes votan, y una etiqueta solo se conserva cuando coinciden.

  7. Marcar la calidad

    Cada registro se revisa. Los de baja calidad se marcan o se eliminan, según usted decida.

  8. Estructurar e informar

    Salida en su esquema, con una ficha de datos y un informe de benchmark.

Lo que no prometemos: la detección automática de datos personales no lo encuentra todo. Informamos de las tasas detectadas y los límites conocidos, y para datos sensibles acordamos con usted un paso de revisión antes de la entrega.

Formatos y servicios

Entregado como su pipeline lo espera.

Datos de fine-tuning

Formatos de instrucciones, chat, preferencias (DPO) y completado, ajustados al framework con el que entrena.

Datos de preentrenamiento

Parquet en columnas, listo para Hugging Face Datasets, Spark, S3 o BigQuery.

Recuperación (RAG)

Segmentación, fragmentación y metadatos ajustados a su base de datos vectorial y a su modelo de embeddings.

Conjuntos de evaluación

Conjuntos de prueba reservados, construidos según sus criterios y entregados con un script de puntuación.

Pipelines recurrentes

Procesos por lotes repetibles con informes de calidad automáticos, para equipos con un flujo constante de datos.

Marca blanca

Consultoras y proveedores de datos pueden ofrecer el pipeline a sus propios clientes con su propio nombre.

Protección de datos

Hecho para datos que deben seguir bajo control.

El contrato primero

Se firma un contrato de encargo de tratamiento según el art. 28 del RGPD antes de tocar ningún dato. Un NDA es lo habitual.

Procesados en Alemania

En nuestras propias máquinas en Alemania, o en las suyas. Sus datos no se suben a un almacenamiento en la nube.

Cifrados en reposo

Los datos se guardan cifrados solo mientras dura el proyecto.

Eliminados tras la entrega

Sus datos de origen se eliminan al terminar el proyecto, y usted recibe una confirmación por escrito.

Dos formas de ejecutarlo

En nuestras máquinas o en las suyas.

AspectoEn nuestras máquinasEn su entorno
Cómo funcionaUsted envía los datos mediante una transferencia cifrada. Los procesamos en Alemania y los eliminamos tras la entrega.Ejecutamos el pipeline dentro de su entorno, en remoto en una máquina que usted proporciona o in situ.
Adecuado paraEquipos de IA, empresas de software y datos que pueden salir de su red bajo contrato.Bancos, aseguradoras, sanidad, farmacéuticas y organismos públicos cuyos datos no pueden salir del edificio.
Sus datosGuardados cifrados solo mientras dura el proyecto.Nunca salen de su infraestructura.

Para quién

Organizaciones con archivos que la IA aún no puede aprovechar.

Bancos y aseguradoras

Contratos, correspondencia y expedientes convertidos en datos de entrenamiento y recuperación, sin datos personales.

Sanidad y farmacia

Informes, documentos de estudios y voz grabada preparados para modelos especializados bajo una estricta protección de datos.

Sector público y jurídico

Expedientes escaneados, sentencias y documentos administrativos que se vuelven consultables y útiles.

Consultoras y proveedores de datos

El pipeline con su nombre, para sus propios clientes.

Cómo se desarrolla un proyecto

Empezar en pequeño. Después escalar.

  1. Definición

    Una llamada sobre sus datos, formatos, volúmenes y requisitos de protección de datos.

  2. Piloto

    Curamos una muestra de unos 1.000 registros y mostramos el resultado con un informe de calidad.

  3. Presupuesto

    Un precio fijo basado en lo que mostró el piloto, no en una suposición.

  4. Ejecución completa

    Todo el conjunto de datos pasa por el pipeline, con cifras intermedias durante el proceso.

  5. Entrega

    Se entregan los datos, la ficha de datos y el informe. Sus datos de origen se eliminan y se confirma.

Preguntas sobre la curación de datos.

¿Tienen que salir nuestros datos de nuestras instalaciones?

No. El pipeline puede funcionar dentro de su entorno, en una máquina que usted proporcione. Si lo prefiere, nos envía los datos bajo un contrato de encargo de tratamiento y los procesamos en nuestras propias máquinas en Alemania.

¿Firman un contrato de encargo de tratamiento?

Sí. Se firma un contrato según el art. 28 del RGPD antes de que recibamos ningún dato, junto con un NDA.

¿Qué tipos de archivo pueden procesar?

PDF incluidos escaneos, documentos de Office, HTML, texto plano, exportaciones CSV y de bases de datos, y archivos de audio y vídeo. Los escaneos pasan por OCR y las grabaciones por reconocimiento de voz.

¿Qué idiomas admiten?

La detección de idioma cubre una gama muy amplia, incluidos idiomas con pocos recursos, porque el pipeline se creó para un corpus de más de 130 idiomas. La calidad del OCR y del reconocimiento de voz varía según el idioma, y esa es una de las razones por las que empezamos con un piloto.

¿Cómo se presupuesta un proyecto?

Por proyecto, según el volumen, los formatos y la forma de ejecución. El piloto da cifras reales a ambas partes, y el presupuesto se deriva de ellas.

Envíenos una descripción de sus datos.

Formatos, volumen aproximado y para qué quiere usarlos. Respondemos con una propuesta de piloto.