Datenaufbereitung
Ihre Daten. Bereit für KI.
Wir wenden unsere Aufbereitungs-Pipeline auf Ihre Dokumente, Scans, Audio- und Videodateien an. Auf unseren eigenen Rechnern in Deutschland unter einem Auftragsverarbeitungsvertrag oder in Ihrer eigenen Umgebung.
Was hineingeht
- PDFs, auch gescannte Seiten
- Office-Dokumente, HTML und E-Mail-Exporte
- CSV-Dateien, Logs und Datenbankexporte
- Audio- und Videoaufnahmen
Was herauskommt
- Strukturiertes JSONL oder Parquet in einem vereinbarten Schema
- Personenbezogene Daten entfernt oder maskiert, nach Ihren Vorgaben
- Sprache, Qualitätsmarkierungen und Inhalts-Hash an jedem Datensatz
- Eine Data Card und ein Vorher-nachher-Qualitätsbericht
Die Pipeline
Acht Schritte von Rohdateien zu Trainingsdaten.
Dieselbe Pipeline, mit der wir unsere eigenen Korpora bauen. Jeder Schritt lässt sich für Ihr Projekt ein- oder ausschalten.
Extrahieren
Text wird aus Dokumenten gelöst. Gescannte Seiten durchlaufen eine Texterkennung (OCR).
Transkribieren
Audio und Video werden umgewandelt und in Text transkribiert.
Bereinigen
Kodierungsfehler, Markup, Kopf- und Fußzeilen und Textbausteine werden entfernt, der Text wird normalisiert.
Personenbezogene Daten entfernen
Namen, E-Mail-Adressen, Telefonnummern, Bankdaten und Kennungen werden erkannt und entfernt oder maskiert.
Deduplizieren
Exakte und nahezu gleiche Kopien werden gefunden, damit nichts im Training übergewichtet wird.
Sprache erkennen
Unabhängige Erkennungsverfahren stimmen ab, und eine Angabe bleibt nur, wenn sie übereinstimmen.
Qualität markieren
Jeder Datensatz wird geprüft. Datensätze geringer Qualität werden markiert oder entfernt, wie Sie es festlegen.
Strukturieren und berichten
Ausgabe in Ihrem Schema, mit Data Card und Benchmark-Bericht.
Was wir nicht versprechen: Automatische Erkennung personenbezogener Daten findet nicht alles. Wir berichten erkannte Raten und bekannte Grenzen und vereinbaren für sensible Daten vor der Lieferung einen Prüfschritt mit Ihnen.
Formate und Leistungen
Geliefert im Format Ihrer Pipeline.
Fine-Tuning-Daten
Instruction-, Chat-, Präferenz- (DPO) und Completion-Formate, passend zum Framework, mit dem Sie trainieren.
Pre-Training-Daten
Spaltenbasiertes Parquet, bereit für Hugging Face Datasets, Spark, S3 oder BigQuery.
Retrieval (RAG)
Segmentierung, Chunking und Metadaten, abgestimmt auf Ihre Vektordatenbank und Ihr Embedding-Modell.
Evaluierungsdatensätze
Zurückgehaltene Testdatensätze nach Ihren Kriterien, geliefert mit einem Bewertungsskript.
Wiederkehrende Pipelines
Wiederholbare Batch-Jobs mit automatischen Qualitätsberichten, für Teams mit stetigem Datenfluss.
White-Label
Beratungen und Datenanbieter können die Pipeline ihren eigenen Kunden unter eigenem Namen anbieten.
Datenschutz
Gebaut für Daten unter strenger Kontrolle.
Erst der Vertrag
Ein Auftragsverarbeitungsvertrag nach Art. 28 DSGVO wird unterzeichnet, bevor wir Daten anfassen. Eine NDA ist Standard.
Verarbeitet in Deutschland
Auf unseren eigenen Rechnern in Deutschland oder auf Ihren. Ihre Daten werden nicht in einen Cloud-Speicher hochgeladen.
Verschlüsselt gespeichert
Daten werden nur für die Dauer des Projekts verschlüsselt gespeichert.
Nach der Lieferung gelöscht
Ihre Quelldaten werden am Projektende gelöscht, und Sie erhalten eine schriftliche Bestätigung.
Zwei Betriebsarten
Auf unseren Rechnern oder auf Ihren.
| Merkmal | Auf unseren Rechnern | In Ihrer Umgebung |
|---|---|---|
| So funktioniert es | Sie übertragen die Daten verschlüsselt. Wir verarbeiten sie in Deutschland und löschen sie nach der Lieferung. | Wir betreiben die Pipeline in Ihrer Umgebung, per Fernzugriff auf einem von Ihnen bereitgestellten Rechner oder vor Ort. |
| Geeignet für | KI-Teams, Softwareunternehmen und Daten, die Ihr Netzwerk vertraglich geregelt verlassen dürfen. | Banken, Versicherungen, Gesundheitswesen, Pharma und Behörden, deren Daten das Haus nicht verlassen dürfen. |
| Ihre Daten | Nur für die Dauer des Projekts verschlüsselt gespeichert. | Verlässt nie Ihre Infrastruktur. |
Für wen
Organisationen mit ungenutzten Archiven.
Banken und Versicherungen
Verträge, Korrespondenz und Vorgangsakten als Trainings- und Retrieval-Daten, ohne personenbezogene Angaben.
Gesundheitswesen und Pharma
Berichte, Studienunterlagen und Sprachaufnahmen, aufbereitet für Fachmodelle unter strengem Datenschutz.
Öffentlicher Sektor und Recht
Gescannte Akten, Urteile und Verwaltungsdokumente, durchsuchbar und nutzbar gemacht.
Beratungen und Datenanbieter
Die Pipeline unter Ihrem Namen, für Ihre eigenen Kunden.
So läuft ein Projekt ab
Klein starten. Dann skalieren.
Scoping
Ein Gespräch über Ihre Daten, Formate, Mengen und Datenschutzanforderungen.
Pilot
Wir bereiten eine Stichprobe von etwa 1.000 Datensätzen auf und zeigen das Ergebnis mit einem Qualitätsbericht.
Angebot
Ein Festpreis auf Grundlage dessen, was der Pilot gezeigt hat, nicht auf Grundlage einer Schätzung.
Gesamtlauf
Der gesamte Datenbestand durchläuft die Pipeline, mit Zwischenständen während des Laufs.
Lieferung
Daten, Data Card und Bericht werden geliefert. Ihre Quelldaten werden gelöscht und die Löschung bestätigt.
Fragen zur Datenaufbereitung.
Müssen unsere Daten unser Haus verlassen?
Nein. Die Pipeline kann in Ihrer Umgebung laufen, auf einem Rechner, den Sie bereitstellen. Wenn Sie möchten, übermitteln Sie uns die Daten unter einem Auftragsverarbeitungsvertrag, und wir verarbeiten sie auf unseren eigenen Rechnern in Deutschland.
Schließen Sie einen Auftragsverarbeitungsvertrag ab?
Ja. Ein Vertrag nach Art. 28 DSGVO wird unterzeichnet, bevor wir Daten erhalten, zusammen mit einer NDA.
Welche Dateitypen können Sie verarbeiten?
PDF einschließlich Scans, Office-Dokumente, HTML, reiner Text, CSV- und Datenbankexporte sowie Audio- und Videodateien. Scans durchlaufen OCR, Aufnahmen eine Spracherkennung.
Welche Sprachen werden unterstützt?
Die Spracherkennung deckt ein sehr breites Spektrum ab, auch ressourcenarme Sprachen, denn die Pipeline wurde für ein Korpus mit mehr als 130 Sprachen gebaut. Die Qualität von OCR und Spracherkennung schwankt je nach Sprache, auch deshalb starten wir mit einem Pilot.
Wie wird ein Projekt bepreist?
Pro Projekt, nach Menge, Formaten und Betriebsart. Der Pilot liefert beiden Seiten echte Zahlen, und das Angebot ergibt sich daraus.
Beschreiben Sie uns Ihre Daten.
Formate, ungefähre Menge und wofür Sie sie nutzen möchten. Wir antworten mit einem Pilotvorschlag.