Datacuratie
Uw data. Klaar voor AI.
We passen onze curatiepipeline toe op uw documenten, scans, audio en video. Op onze eigen machines in Duitsland onder een verwerkersovereenkomst, of in uw eigen omgeving.
Wat erin gaat
- PDF's, inclusief gescande pagina's
- Office-documenten, HTML en e-mailexports
- CSV-bestanden, logs en database-exports
- Audio- en video-opnamen
Wat eruit komt
- Gestructureerde JSONL of Parquet in een afgesproken schema
- Persoonsgegevens verwijderd of gemaskeerd volgens uw beleid
- Taal, kwaliteitsmarkeringen en inhoudshash bij elk record
- Een datakaart en een kwaliteitsrapport voor en na
De pipeline
Acht stappen van ruwe bestanden naar trainingsdata.
Dezelfde pipeline waarmee we onze eigen corpora bouwen. Elke stap kan voor uw project aan- of uitgezet worden.
Extraheren
Tekst wordt uit documenten gehaald. Gescande pagina's gaan door optische tekenherkenning.
Transcriberen
Audio en video worden omgezet en naar tekst getranscribeerd.
Opschonen
Coderingsfouten, opmaak, kop- en voetteksten en standaardtekst worden verwijderd, en de tekst wordt genormaliseerd.
Persoonsgegevens verwijderen
Namen, e-mailadressen, telefoonnummers, bankgegevens en identificatoren worden gedetecteerd en verwijderd of gemaskeerd.
Ontdubbelen
Exacte en bijna-identieke kopieën worden gevonden, zodat niets in de training te zwaar weegt.
Taal detecteren
Onafhankelijke detectoren stemmen, en een label blijft alleen staan als ze het eens zijn.
Kwaliteit markeren
Elk record wordt gecontroleerd. Records van lage kwaliteit worden gemarkeerd of verwijderd, zoals u bepaalt.
Structureren en rapporteren
Uitvoer in uw schema, met een datakaart en een benchmarkrapport.
Wat we niet beloven: automatische detectie van persoonsgegevens vindt niet alles. We rapporteren gedetecteerde percentages en bekende beperkingen, en voor gevoelige data spreken we vóór levering een controlestap met u af.
Formaten en diensten
Geleverd zoals uw pipeline het verwacht.
Fine-tuningdata
Instructie-, chat-, voorkeurs- (DPO) en completionformaten, afgestemd op het framework waarmee u traint.
Pre-trainingdata
Kolomgebaseerde Parquet, klaar voor Hugging Face Datasets, Spark, S3 of BigQuery.
Retrieval (RAG)
Segmentatie, chunking en metadata afgestemd op uw vectordatabase en embeddingmodel.
Evaluatiesets
Achtergehouden testsets volgens uw beoordelingscriteria, geleverd met een scorescript.
Terugkerende pipelines
Herhaalbare batchjobs met automatische kwaliteitsrapporten, voor teams met een constante datastroom.
White-label
Adviesbureaus en dataleveranciers kunnen de pipeline onder eigen naam aan hun eigen klanten aanbieden.
Gegevensbescherming
Gebouwd voor data die onder controle moet blijven.
Eerst de overeenkomst
Een verwerkersovereenkomst volgens art. 28 AVG wordt getekend voordat we data aanraken. Een NDA is standaard.
Verwerkt in Duitsland
Op onze eigen machines in Duitsland, of op die van u. Uw data wordt niet naar cloudopslag geüpload.
Versleuteld opgeslagen
Data wordt alleen voor de duur van het project versleuteld bewaard.
Verwijderd na levering
Uw brondata wordt aan het einde van het project verwijderd, en u ontvangt een schriftelijke bevestiging.
Twee manieren om het te draaien
Op onze machines of op die van u.
| Aspect | Op onze machines | In uw omgeving |
|---|---|---|
| Hoe het werkt | U stuurt de data via een versleutelde overdracht. Wij verwerken die in Duitsland en verwijderen ze na levering. | We draaien de pipeline in uw omgeving, op afstand op een machine die u levert of op locatie. |
| Geschikt voor | AI-teams, softwarebedrijven en data die uw netwerk onder contract mag verlaten. | Banken, verzekeraars, zorg, farma en overheden van wie de data het gebouw niet mag verlaten. |
| Uw data | Alleen voor de duur van het project versleuteld bewaard. | Verlaat nooit uw infrastructuur. |
Voor wie
Organisaties met archieven die AI nog niet kan gebruiken.
Banken en verzekeraars
Contracten, correspondentie en dossiers omgezet in trainings- en retrievaldata zonder persoonsgegevens.
Zorg en farma
Rapporten, studiedocumenten en spraakopnamen voorbereid voor vakmodellen onder strikte gegevensbescherming.
Publieke sector en juridisch
Gescande dossiers, uitspraken en administratieve documenten doorzoekbaar en bruikbaar gemaakt.
Adviesbureaus en dataleveranciers
De pipeline onder uw naam, voor uw eigen klanten.
Zo verloopt een project
Klein beginnen. Dan opschalen.
Verkenning
Een gesprek over uw data, formaten, volumes en eisen op het gebied van gegevensbescherming.
Pilot
We cureren een steekproef van ongeveer 1.000 records en tonen het resultaat met een kwaliteitsrapport.
Offerte
Een vaste prijs op basis van wat de pilot liet zien, niet op basis van een schatting.
Volledige run
De hele dataset gaat door de pipeline, met tussentijdse cijfers tijdens de run.
Levering
Data, datakaart en rapport worden geleverd. Uw brondata wordt verwijderd en dat wordt bevestigd.
Vragen over datacuratie.
Moet onze data ons pand verlaten?
Nee. De pipeline kan in uw omgeving draaien, op een machine die u levert. Als u dat liever hebt, stuurt u ons de data onder een verwerkersovereenkomst en verwerken wij die op onze eigen machines in Duitsland.
Tekenen jullie een verwerkersovereenkomst?
Ja. Een overeenkomst volgens art. 28 AVG wordt getekend voordat we data ontvangen, samen met een NDA.
Welke bestandstypen kunnen jullie verwerken?
PDF inclusief scans, Office-documenten, HTML, platte tekst, CSV- en database-exports, en audio- en videobestanden. Scans gaan door OCR en opnamen door spraakherkenning.
Welke talen worden ondersteund?
Taaldetectie dekt een zeer breed scala aan talen, ook talen met weinig bronnen, omdat de pipeline is gebouwd voor een corpus van meer dan 130 talen. De kwaliteit van OCR en spraakherkenning verschilt per taal, en dat is een van de redenen dat we met een pilot beginnen.
Hoe wordt een project geprijsd?
Per project, op basis van volume, formaten en de manier van draaien. De pilot geeft beide partijen echte cijfers, en de offerte volgt daaruit.
Stuur ons een beschrijving van uw data.
Formaten, globaal volume en waarvoor u ze wilt gebruiken. We reageren met een pilotvoorstel.