Datacuratie

Uw data. Klaar voor AI.

We passen onze curatiepipeline toe op uw documenten, scans, audio en video. Op onze eigen machines in Duitsland onder een verwerkersovereenkomst, of in uw eigen omgeving.

Wat erin gaat

  • PDF's, inclusief gescande pagina's
  • Office-documenten, HTML en e-mailexports
  • CSV-bestanden, logs en database-exports
  • Audio- en video-opnamen

Wat eruit komt

  • Gestructureerde JSONL of Parquet in een afgesproken schema
  • Persoonsgegevens verwijderd of gemaskeerd volgens uw beleid
  • Taal, kwaliteitsmarkeringen en inhoudshash bij elk record
  • Een datakaart en een kwaliteitsrapport voor en na

De pipeline

Acht stappen van ruwe bestanden naar trainingsdata.

Dezelfde pipeline waarmee we onze eigen corpora bouwen. Elke stap kan voor uw project aan- of uitgezet worden.

  1. Extraheren

    Tekst wordt uit documenten gehaald. Gescande pagina's gaan door optische tekenherkenning.

  2. Transcriberen

    Audio en video worden omgezet en naar tekst getranscribeerd.

  3. Opschonen

    Coderingsfouten, opmaak, kop- en voetteksten en standaardtekst worden verwijderd, en de tekst wordt genormaliseerd.

  4. Persoonsgegevens verwijderen

    Namen, e-mailadressen, telefoonnummers, bankgegevens en identificatoren worden gedetecteerd en verwijderd of gemaskeerd.

  5. Ontdubbelen

    Exacte en bijna-identieke kopieën worden gevonden, zodat niets in de training te zwaar weegt.

  6. Taal detecteren

    Onafhankelijke detectoren stemmen, en een label blijft alleen staan als ze het eens zijn.

  7. Kwaliteit markeren

    Elk record wordt gecontroleerd. Records van lage kwaliteit worden gemarkeerd of verwijderd, zoals u bepaalt.

  8. Structureren en rapporteren

    Uitvoer in uw schema, met een datakaart en een benchmarkrapport.

Wat we niet beloven: automatische detectie van persoonsgegevens vindt niet alles. We rapporteren gedetecteerde percentages en bekende beperkingen, en voor gevoelige data spreken we vóór levering een controlestap met u af.

Formaten en diensten

Geleverd zoals uw pipeline het verwacht.

Fine-tuningdata

Instructie-, chat-, voorkeurs- (DPO) en completionformaten, afgestemd op het framework waarmee u traint.

Pre-trainingdata

Kolomgebaseerde Parquet, klaar voor Hugging Face Datasets, Spark, S3 of BigQuery.

Retrieval (RAG)

Segmentatie, chunking en metadata afgestemd op uw vectordatabase en embeddingmodel.

Evaluatiesets

Achtergehouden testsets volgens uw beoordelingscriteria, geleverd met een scorescript.

Terugkerende pipelines

Herhaalbare batchjobs met automatische kwaliteitsrapporten, voor teams met een constante datastroom.

White-label

Adviesbureaus en dataleveranciers kunnen de pipeline onder eigen naam aan hun eigen klanten aanbieden.

Gegevensbescherming

Gebouwd voor data die onder controle moet blijven.

Eerst de overeenkomst

Een verwerkersovereenkomst volgens art. 28 AVG wordt getekend voordat we data aanraken. Een NDA is standaard.

Verwerkt in Duitsland

Op onze eigen machines in Duitsland, of op die van u. Uw data wordt niet naar cloudopslag geüpload.

Versleuteld opgeslagen

Data wordt alleen voor de duur van het project versleuteld bewaard.

Verwijderd na levering

Uw brondata wordt aan het einde van het project verwijderd, en u ontvangt een schriftelijke bevestiging.

Twee manieren om het te draaien

Op onze machines of op die van u.

AspectOp onze machinesIn uw omgeving
Hoe het werktU stuurt de data via een versleutelde overdracht. Wij verwerken die in Duitsland en verwijderen ze na levering.We draaien de pipeline in uw omgeving, op afstand op een machine die u levert of op locatie.
Geschikt voorAI-teams, softwarebedrijven en data die uw netwerk onder contract mag verlaten.Banken, verzekeraars, zorg, farma en overheden van wie de data het gebouw niet mag verlaten.
Uw dataAlleen voor de duur van het project versleuteld bewaard.Verlaat nooit uw infrastructuur.

Voor wie

Organisaties met archieven die AI nog niet kan gebruiken.

Banken en verzekeraars

Contracten, correspondentie en dossiers omgezet in trainings- en retrievaldata zonder persoonsgegevens.

Zorg en farma

Rapporten, studiedocumenten en spraakopnamen voorbereid voor vakmodellen onder strikte gegevensbescherming.

Publieke sector en juridisch

Gescande dossiers, uitspraken en administratieve documenten doorzoekbaar en bruikbaar gemaakt.

Adviesbureaus en dataleveranciers

De pipeline onder uw naam, voor uw eigen klanten.

Zo verloopt een project

Klein beginnen. Dan opschalen.

  1. Verkenning

    Een gesprek over uw data, formaten, volumes en eisen op het gebied van gegevensbescherming.

  2. Pilot

    We cureren een steekproef van ongeveer 1.000 records en tonen het resultaat met een kwaliteitsrapport.

  3. Offerte

    Een vaste prijs op basis van wat de pilot liet zien, niet op basis van een schatting.

  4. Volledige run

    De hele dataset gaat door de pipeline, met tussentijdse cijfers tijdens de run.

  5. Levering

    Data, datakaart en rapport worden geleverd. Uw brondata wordt verwijderd en dat wordt bevestigd.

Vragen over datacuratie.

Moet onze data ons pand verlaten?

Nee. De pipeline kan in uw omgeving draaien, op een machine die u levert. Als u dat liever hebt, stuurt u ons de data onder een verwerkersovereenkomst en verwerken wij die op onze eigen machines in Duitsland.

Tekenen jullie een verwerkersovereenkomst?

Ja. Een overeenkomst volgens art. 28 AVG wordt getekend voordat we data ontvangen, samen met een NDA.

Welke bestandstypen kunnen jullie verwerken?

PDF inclusief scans, Office-documenten, HTML, platte tekst, CSV- en database-exports, en audio- en videobestanden. Scans gaan door OCR en opnamen door spraakherkenning.

Welke talen worden ondersteund?

Taaldetectie dekt een zeer breed scala aan talen, ook talen met weinig bronnen, omdat de pipeline is gebouwd voor een corpus van meer dan 130 talen. De kwaliteit van OCR en spraakherkenning verschilt per taal, en dat is een van de redenen dat we met een pilot beginnen.

Hoe wordt een project geprijsd?

Per project, op basis van volume, formaten en de manier van draaien. De pilot geeft beide partijen echte cijfers, en de offerte volgt daaruit.

Stuur ons een beschrijving van uw data.

Formaten, globaal volume en waarvoor u ze wilt gebruiken. We reageren met een pilotvoorstel.