Kuracja danych

Twoje dane. Gotowe na AI.

Stosujemy nasz pipeline kuracji do Twoich dokumentów, skanów, nagrań audio i wideo. Na naszych własnych maszynach w Niemczech na podstawie umowy powierzenia przetwarzania danych albo w Twoim środowisku.

Co trafia na wejście

  • Pliki PDF, w tym zeskanowane strony
  • Dokumenty Office, HTML i eksporty e-maili
  • Pliki CSV, logi i eksporty baz danych
  • Nagrania audio i wideo

Co otrzymujesz na wyjściu

  • Ustrukturyzowany JSONL lub Parquet w uzgodnionym schemacie
  • Dane osobowe usunięte lub zamaskowane zgodnie z Twoją polityką
  • Język, znaczniki jakości i hash treści przy każdym rekordzie
  • Karta danych i raport jakości „przed i po”

Pipeline

Osiem kroków od surowych plików do danych treningowych.

Ten sam pipeline, którym budujemy własne korpusy. Każdy krok można włączyć lub wyłączyć dla Twojego projektu.

  1. Ekstrakcja

    Tekst jest wydobywany z dokumentów. Zeskanowane strony przechodzą optyczne rozpoznawanie znaków.

  2. Transkrypcja

    Nagrania audio i wideo są konwertowane i transkrybowane na tekst.

  3. Czyszczenie

    Usuwamy błędy kodowania, znaczniki, nagłówki, stopki i powtarzalne formułki, a tekst normalizujemy.

  4. Usuwanie danych osobowych

    Imiona i nazwiska, adresy e-mail, numery telefonów, dane bankowe i identyfikatory są wykrywane i usuwane lub maskowane.

  5. Deduplikacja

    Wyszukujemy dokładne i niemal identyczne kopie, by nic nie było nadreprezentowane w treningu.

  6. Wykrywanie języka

    Niezależne detektory głosują, a etykieta zostaje tylko wtedy, gdy się zgadzają.

  7. Oznaczanie jakości

    Każdy rekord jest sprawdzany. Rekordy niskiej jakości są oznaczane lub usuwane, zgodnie z Twoją decyzją.

  8. Strukturyzacja i raport

    Wynik w Twoim schemacie, z kartą danych i raportem benchmarkowym.

Czego nie obiecujemy: automatyczne wykrywanie danych osobowych nie znajduje wszystkiego. Raportujemy wykryte wskaźniki i znane ograniczenia, a dla danych wrażliwych uzgadniamy z Tobą etap weryfikacji przed dostawą.

Formaty i usługi

Dostarczane w formacie Twojego pipeline'u.

Dane do fine-tuningu

Formaty instrukcji, czatu, preferencji (DPO) i uzupełnień, dopasowane do frameworka, w którym trenujesz.

Dane do pretreningu

Kolumnowy Parquet, gotowy dla Hugging Face Datasets, Spark, S3 lub BigQuery.

Wyszukiwanie (RAG)

Segmentacja, chunking i metadane dostrojone do Twojej wektorowej bazy danych i modelu embeddingów.

Zbiory ewaluacyjne

Wydzielone zbiory testowe zbudowane według Twoich kryteriów, dostarczane ze skryptem oceniającym.

Cykliczne pipeline'y

Powtarzalne zadania wsadowe z automatycznymi raportami jakości, dla zespołów ze stałym napływem danych.

White label

Firmy doradcze i dostawcy danych mogą oferować pipeline własnym klientom pod własną marką.

Ochrona danych

Zbudowany dla danych pod ścisłą kontrolą.

Najpierw umowa

Umowę powierzenia przetwarzania danych zgodnie z art. 28 RODO podpisujemy, zanim dotkniemy jakichkolwiek danych. NDA to standard.

Przetwarzanie w Niemczech

Na naszych własnych maszynach w Niemczech albo na Twoich. Twoje dane nie są wysyłane do chmury.

Szyfrowane w spoczynku

Dane są przechowywane w postaci zaszyfrowanej wyłącznie przez czas trwania projektu.

Usuwane po dostawie

Twoje dane źródłowe są usuwane po zakończeniu projektu, a Ty otrzymujesz pisemne potwierdzenie.

Dwa sposoby uruchomienia

Na naszych maszynach albo na Twoich.

AspektNa naszych maszynachW Twoim środowisku
Jak to działaPrzesyłasz dane szyfrowanym transferem. Przetwarzamy je w Niemczech i usuwamy po dostawie.Uruchamiamy pipeline w Twoim środowisku, zdalnie na dostarczonej przez Ciebie maszynie lub na miejscu.
Dla kogoZespoły AI, firmy programistyczne i dane, które na mocy umowy mogą opuścić Twoją sieć.Banki, ubezpieczyciele, ochrona zdrowia, farmacja i instytucje publiczne, których dane nie mogą opuścić budynku.
Twoje danePrzechowywane zaszyfrowane wyłącznie przez czas trwania projektu.Nigdy nie opuszczają Twojej infrastruktury.

Dla kogo

Organizacje z niewykorzystanymi archiwami.

Banki i ubezpieczyciele

Umowy, korespondencja i akta spraw zamienione w dane treningowe i wyszukiwawcze, bez danych osobowych.

Ochrona zdrowia i farmacja

Raporty, dokumentacja badań i nagrana mowa przygotowane dla modeli dziedzinowych przy ścisłej ochronie danych.

Sektor publiczny i prawny

Zeskanowane akta, orzeczenia i dokumenty administracyjne, które można przeszukiwać i wykorzystywać.

Firmy doradcze i dostawcy danych

Pipeline pod Twoją marką, dla Twoich własnych klientów.

Jak przebiega projekt

Zacznij od małej skali. Potem skaluj.

  1. Rozpoznanie

    Rozmowa o Twoich danych, formatach, wolumenach i wymaganiach dotyczących ochrony danych.

  2. Pilotaż

    Przygotowujemy próbkę około 1000 rekordów i pokazujemy wynik wraz z raportem jakości.

  3. Wycena

    Stała cena oparta na tym, co pokazał pilotaż, a nie na szacunkach.

  4. Pełne przetwarzanie

    Cały zbiór danych przechodzi przez pipeline, z wynikami pośrednimi w trakcie.

  5. Dostawa

    Dostarczamy dane, kartę danych i raport. Twoje dane źródłowe są usuwane, a usunięcie potwierdzane.

Pytania o kurację danych.

Czy nasze dane muszą opuścić naszą siedzibę?

Nie. Pipeline może działać w Twoim środowisku, na dostarczonej przez Ciebie maszynie. Jeśli wolisz, przesyłasz nam dane na podstawie umowy powierzenia przetwarzania, a my przetwarzamy je na naszych własnych maszynach w Niemczech.

Czy podpisujecie umowę powierzenia przetwarzania danych?

Tak. Umowę zgodną z art. 28 RODO podpisujemy, zanim otrzymamy jakiekolwiek dane, razem z NDA.

Jakie typy plików możecie przetwarzać?

PDF, w tym skany, dokumenty Office, HTML, zwykły tekst, eksporty CSV i baz danych oraz pliki audio i wideo. Skany przechodzą OCR, a nagrania rozpoznawanie mowy.

Jakie języki są obsługiwane?

Wykrywanie języka obejmuje bardzo szeroki zakres języków, także niskozasobowych, ponieważ pipeline powstał dla korpusu w ponad 130 językach. Jakość OCR i rozpoznawania mowy zależy od języka, co jest jednym z powodów, dla których zaczynamy od pilotażu.

Jak wyceniany jest projekt?

Indywidualnie dla projektu, według wolumenu, formatów i sposobu uruchomienia. Pilotaż daje obu stronom prawdziwe liczby, a wycena z nich wynika.

Opisz nam swoje dane.

Formaty, przybliżony wolumen i do czego chcesz ich użyć. Odpowiemy propozycją pilotażu.