Data curation

I vostri dati. Pronti per l'IA.

Applichiamo la nostra pipeline di curation ai vostri documenti, scansioni, audio e video. Sulle nostre macchine in Germania con un accordo sul trattamento dei dati, oppure nel vostro ambiente.

Cosa entra

  • PDF, comprese le pagine scansionate
  • Documenti Office, HTML ed esportazioni di e-mail
  • File CSV, log ed esportazioni di database
  • Registrazioni audio e video

Cosa esce

  • JSONL o Parquet strutturato secondo uno schema concordato
  • Dati personali rimossi o mascherati secondo la vostra policy
  • Lingua, indicatori di qualità e hash del contenuto su ogni record
  • Una scheda dati e un report di qualità prima/dopo

La pipeline

Otto passaggi dai file grezzi ai dati di addestramento.

La stessa pipeline con cui costruiamo i nostri corpora. Ogni passaggio può essere attivato o disattivato per il vostro progetto.

  1. Estrarre

    Il testo viene estratto dai documenti. Le pagine scansionate passano per il riconoscimento ottico dei caratteri.

  2. Trascrivere

    Audio e video vengono convertiti e trascritti in testo.

  3. Pulire

    Errori di codifica, markup, intestazioni, piè di pagina e testo ripetitivo vengono rimossi, e il testo viene normalizzato.

  4. Rimuovere i dati personali

    Nomi, indirizzi e-mail, numeri di telefono, coordinate bancarie e identificativi vengono rilevati e rimossi o mascherati.

  5. Deduplicare

    Copie esatte e quasi identiche vengono individuate, così nulla pesa troppo nell'addestramento.

  6. Rilevare la lingua

    Rilevatori indipendenti votano, e un'etichetta resta solo se concordano.

  7. Segnalare la qualità

    Ogni record viene controllato. I record di bassa qualità vengono segnalati o rimossi, come decidete voi.

  8. Strutturare e riferire

    Output nel vostro schema, con una scheda dati e un report di benchmark.

Cosa non promettiamo: il rilevamento automatico dei dati personali non trova tutto. Riportiamo i tassi rilevati e i limiti noti, e per i dati sensibili concordiamo con voi una fase di revisione prima della consegna.

Formati e servizi

Consegnato come la vostra pipeline si aspetta.

Dati per il fine-tuning

Formati instruction, chat, preferenza (DPO) e completion, adattati al framework con cui addestrate.

Dati per il pre-addestramento

Parquet colonnare, pronto per Hugging Face Datasets, Spark, S3 o BigQuery.

Retrieval (RAG)

Segmentazione, chunking e metadati calibrati sul vostro database vettoriale e sul vostro modello di embedding.

Set di valutazione

Set di test separati, costruiti secondo i vostri criteri e consegnati con uno script di punteggio.

Pipeline ricorrenti

Job batch ripetibili con report di qualità automatici, per team con un flusso di dati costante.

White label

Società di consulenza e fornitori di dati possono offrire la pipeline ai propri clienti con il proprio nome.

Protezione dei dati

Pensato per dati che devono restare sotto controllo.

Prima l'accordo

Un accordo sul trattamento dei dati ai sensi dell'art. 28 GDPR viene firmato prima di toccare qualsiasi dato. Un NDA è la norma.

Elaborati in Germania

Sulle nostre macchine in Germania, o sulle vostre. I vostri dati non vengono caricati su un cloud storage.

Cifrati a riposo

I dati sono conservati cifrati solo per la durata del progetto.

Cancellati dopo la consegna

I vostri dati di origine vengono cancellati alla fine del progetto, e ricevete una conferma scritta.

Due modi di eseguirla

Sulle nostre macchine o sulle vostre.

AspettoSulle nostre macchineNel vostro ambiente
Come funzionaInviate i dati tramite trasferimento cifrato. Li elaboriamo in Germania e li cancelliamo dopo la consegna.Eseguiamo la pipeline nel vostro ambiente, da remoto su una macchina che fornite voi oppure in sede.
Adatto aTeam di IA, aziende software e dati che possono lasciare la vostra rete in base a un contratto.Banche, assicurazioni, sanità, farmaceutica ed enti pubblici i cui dati non possono uscire dall'edificio.
I vostri datiConservati cifrati solo per la durata del progetto.Non lasciano mai la vostra infrastruttura.

Per chi

Organizzazioni con archivi che l'IA non sa ancora usare.

Banche e assicurazioni

Contratti, corrispondenza e pratiche trasformati in dati di addestramento e retrieval, senza dati personali.

Sanità e farmaceutica

Report, documenti di studio e parlato registrato preparati per modelli di settore con una rigorosa protezione dei dati.

Settore pubblico e legale

Atti scansionati, sentenze e documenti amministrativi resi ricercabili e utilizzabili.

Consulenza e fornitori di dati

La pipeline con il vostro nome, per i vostri clienti.

Come si svolge un progetto

Partire in piccolo. Poi crescere.

  1. Analisi iniziale

    Una call su dati, formati, volumi e requisiti di protezione dei dati.

  2. Pilota

    Trattiamo un campione di circa 1.000 record e mostriamo il risultato con un report di qualità.

  3. Preventivo

    Un prezzo fisso basato su ciò che il pilota ha mostrato, non su una stima.

  4. Esecuzione completa

    L'intero dataset passa per la pipeline, con cifre intermedie durante l'esecuzione.

  5. Consegna

    Dati, scheda dati e report vengono consegnati. I vostri dati di origine vengono cancellati e la cancellazione confermata.

Domande sulla data curation.

I nostri dati devono uscire dalla nostra sede?

No. La pipeline può girare nel vostro ambiente, su una macchina che fornite voi. Se preferite, ci inviate i dati con un accordo sul trattamento dei dati e li elaboriamo sulle nostre macchine in Germania.

Firmate un accordo sul trattamento dei dati?

Sì. Un accordo ai sensi dell'art. 28 GDPR viene firmato prima che riceviamo qualsiasi dato, insieme a un NDA.

Quali tipi di file potete elaborare?

PDF incluse le scansioni, documenti Office, HTML, testo semplice, esportazioni CSV e di database, e file audio e video. Le scansioni passano per l'OCR e le registrazioni per il riconoscimento vocale.

Quali lingue sono supportate?

Il rilevamento copre una gamma molto ampia di lingue, comprese quelle con poche risorse, perché la pipeline è stata costruita per un corpus di oltre 130 lingue. La qualità di OCR e riconoscimento vocale varia da lingua a lingua, ed è uno dei motivi per cui iniziamo con un pilota.

Come viene definito il prezzo di un progetto?

Per progetto, in base a volume, formati e modalità di esecuzione. Il pilota dà a entrambe le parti numeri reali, e il preventivo ne deriva.

Inviateci una descrizione dei vostri dati.

Formati, volume indicativo e per cosa volete usarli. Rispondiamo con una proposta di pilota.