Data curation
I vostri dati. Pronti per l'IA.
Applichiamo la nostra pipeline di curation ai vostri documenti, scansioni, audio e video. Sulle nostre macchine in Germania con un accordo sul trattamento dei dati, oppure nel vostro ambiente.
Cosa entra
- PDF, comprese le pagine scansionate
- Documenti Office, HTML ed esportazioni di e-mail
- File CSV, log ed esportazioni di database
- Registrazioni audio e video
Cosa esce
- JSONL o Parquet strutturato secondo uno schema concordato
- Dati personali rimossi o mascherati secondo la vostra policy
- Lingua, indicatori di qualità e hash del contenuto su ogni record
- Una scheda dati e un report di qualità prima/dopo
La pipeline
Otto passaggi dai file grezzi ai dati di addestramento.
La stessa pipeline con cui costruiamo i nostri corpora. Ogni passaggio può essere attivato o disattivato per il vostro progetto.
Estrarre
Il testo viene estratto dai documenti. Le pagine scansionate passano per il riconoscimento ottico dei caratteri.
Trascrivere
Audio e video vengono convertiti e trascritti in testo.
Pulire
Errori di codifica, markup, intestazioni, piè di pagina e testo ripetitivo vengono rimossi, e il testo viene normalizzato.
Rimuovere i dati personali
Nomi, indirizzi e-mail, numeri di telefono, coordinate bancarie e identificativi vengono rilevati e rimossi o mascherati.
Deduplicare
Copie esatte e quasi identiche vengono individuate, così nulla pesa troppo nell'addestramento.
Rilevare la lingua
Rilevatori indipendenti votano, e un'etichetta resta solo se concordano.
Segnalare la qualità
Ogni record viene controllato. I record di bassa qualità vengono segnalati o rimossi, come decidete voi.
Strutturare e riferire
Output nel vostro schema, con una scheda dati e un report di benchmark.
Cosa non promettiamo: il rilevamento automatico dei dati personali non trova tutto. Riportiamo i tassi rilevati e i limiti noti, e per i dati sensibili concordiamo con voi una fase di revisione prima della consegna.
Formati e servizi
Consegnato come la vostra pipeline si aspetta.
Dati per il fine-tuning
Formati instruction, chat, preferenza (DPO) e completion, adattati al framework con cui addestrate.
Dati per il pre-addestramento
Parquet colonnare, pronto per Hugging Face Datasets, Spark, S3 o BigQuery.
Retrieval (RAG)
Segmentazione, chunking e metadati calibrati sul vostro database vettoriale e sul vostro modello di embedding.
Set di valutazione
Set di test separati, costruiti secondo i vostri criteri e consegnati con uno script di punteggio.
Pipeline ricorrenti
Job batch ripetibili con report di qualità automatici, per team con un flusso di dati costante.
White label
Società di consulenza e fornitori di dati possono offrire la pipeline ai propri clienti con il proprio nome.
Protezione dei dati
Pensato per dati che devono restare sotto controllo.
Prima l'accordo
Un accordo sul trattamento dei dati ai sensi dell'art. 28 GDPR viene firmato prima di toccare qualsiasi dato. Un NDA è la norma.
Elaborati in Germania
Sulle nostre macchine in Germania, o sulle vostre. I vostri dati non vengono caricati su un cloud storage.
Cifrati a riposo
I dati sono conservati cifrati solo per la durata del progetto.
Cancellati dopo la consegna
I vostri dati di origine vengono cancellati alla fine del progetto, e ricevete una conferma scritta.
Due modi di eseguirla
Sulle nostre macchine o sulle vostre.
| Aspetto | Sulle nostre macchine | Nel vostro ambiente |
|---|---|---|
| Come funziona | Inviate i dati tramite trasferimento cifrato. Li elaboriamo in Germania e li cancelliamo dopo la consegna. | Eseguiamo la pipeline nel vostro ambiente, da remoto su una macchina che fornite voi oppure in sede. |
| Adatto a | Team di IA, aziende software e dati che possono lasciare la vostra rete in base a un contratto. | Banche, assicurazioni, sanità, farmaceutica ed enti pubblici i cui dati non possono uscire dall'edificio. |
| I vostri dati | Conservati cifrati solo per la durata del progetto. | Non lasciano mai la vostra infrastruttura. |
Per chi
Organizzazioni con archivi che l'IA non sa ancora usare.
Banche e assicurazioni
Contratti, corrispondenza e pratiche trasformati in dati di addestramento e retrieval, senza dati personali.
Sanità e farmaceutica
Report, documenti di studio e parlato registrato preparati per modelli di settore con una rigorosa protezione dei dati.
Settore pubblico e legale
Atti scansionati, sentenze e documenti amministrativi resi ricercabili e utilizzabili.
Consulenza e fornitori di dati
La pipeline con il vostro nome, per i vostri clienti.
Come si svolge un progetto
Partire in piccolo. Poi crescere.
Analisi iniziale
Una call su dati, formati, volumi e requisiti di protezione dei dati.
Pilota
Trattiamo un campione di circa 1.000 record e mostriamo il risultato con un report di qualità.
Preventivo
Un prezzo fisso basato su ciò che il pilota ha mostrato, non su una stima.
Esecuzione completa
L'intero dataset passa per la pipeline, con cifre intermedie durante l'esecuzione.
Consegna
Dati, scheda dati e report vengono consegnati. I vostri dati di origine vengono cancellati e la cancellazione confermata.
Domande sulla data curation.
I nostri dati devono uscire dalla nostra sede?
No. La pipeline può girare nel vostro ambiente, su una macchina che fornite voi. Se preferite, ci inviate i dati con un accordo sul trattamento dei dati e li elaboriamo sulle nostre macchine in Germania.
Firmate un accordo sul trattamento dei dati?
Sì. Un accordo ai sensi dell'art. 28 GDPR viene firmato prima che riceviamo qualsiasi dato, insieme a un NDA.
Quali tipi di file potete elaborare?
PDF incluse le scansioni, documenti Office, HTML, testo semplice, esportazioni CSV e di database, e file audio e video. Le scansioni passano per l'OCR e le registrazioni per il riconoscimento vocale.
Quali lingue sono supportate?
Il rilevamento copre una gamma molto ampia di lingue, comprese quelle con poche risorse, perché la pipeline è stata costruita per un corpus di oltre 130 lingue. La qualità di OCR e riconoscimento vocale varia da lingua a lingua, ed è uno dei motivi per cui iniziamo con un pilota.
Come viene definito il prezzo di un progetto?
Per progetto, in base a volume, formati e modalità di esecuzione. Il pilota dà a entrambe le parti numeri reali, e il preventivo ne deriva.
Inviateci una descrizione dei vostri dati.
Formati, volume indicativo e per cosa volete usarli. Rispondiamo con una proposta di pilota.