Kuracja danych
Twoje dane. Gotowe na AI.
Stosujemy nasz pipeline kuracji do Twoich dokumentów, skanów, nagrań audio i wideo. Na naszych własnych maszynach w Niemczech na podstawie umowy powierzenia przetwarzania danych albo w Twoim środowisku.
Co trafia na wejście
- Pliki PDF, w tym zeskanowane strony
- Dokumenty Office, HTML i eksporty e-maili
- Pliki CSV, logi i eksporty baz danych
- Nagrania audio i wideo
Co otrzymujesz na wyjściu
- Ustrukturyzowany JSONL lub Parquet w uzgodnionym schemacie
- Dane osobowe usunięte lub zamaskowane zgodnie z Twoją polityką
- Język, znaczniki jakości i hash treści przy każdym rekordzie
- Karta danych i raport jakości „przed i po”
Pipeline
Osiem kroków od surowych plików do danych treningowych.
Ten sam pipeline, którym budujemy własne korpusy. Każdy krok można włączyć lub wyłączyć dla Twojego projektu.
Ekstrakcja
Tekst jest wydobywany z dokumentów. Zeskanowane strony przechodzą optyczne rozpoznawanie znaków.
Transkrypcja
Nagrania audio i wideo są konwertowane i transkrybowane na tekst.
Czyszczenie
Usuwamy błędy kodowania, znaczniki, nagłówki, stopki i powtarzalne formułki, a tekst normalizujemy.
Usuwanie danych osobowych
Imiona i nazwiska, adresy e-mail, numery telefonów, dane bankowe i identyfikatory są wykrywane i usuwane lub maskowane.
Deduplikacja
Wyszukujemy dokładne i niemal identyczne kopie, by nic nie było nadreprezentowane w treningu.
Wykrywanie języka
Niezależne detektory głosują, a etykieta zostaje tylko wtedy, gdy się zgadzają.
Oznaczanie jakości
Każdy rekord jest sprawdzany. Rekordy niskiej jakości są oznaczane lub usuwane, zgodnie z Twoją decyzją.
Strukturyzacja i raport
Wynik w Twoim schemacie, z kartą danych i raportem benchmarkowym.
Czego nie obiecujemy: automatyczne wykrywanie danych osobowych nie znajduje wszystkiego. Raportujemy wykryte wskaźniki i znane ograniczenia, a dla danych wrażliwych uzgadniamy z Tobą etap weryfikacji przed dostawą.
Formaty i usługi
Dostarczane w formacie Twojego pipeline'u.
Dane do fine-tuningu
Formaty instrukcji, czatu, preferencji (DPO) i uzupełnień, dopasowane do frameworka, w którym trenujesz.
Dane do pretreningu
Kolumnowy Parquet, gotowy dla Hugging Face Datasets, Spark, S3 lub BigQuery.
Wyszukiwanie (RAG)
Segmentacja, chunking i metadane dostrojone do Twojej wektorowej bazy danych i modelu embeddingów.
Zbiory ewaluacyjne
Wydzielone zbiory testowe zbudowane według Twoich kryteriów, dostarczane ze skryptem oceniającym.
Cykliczne pipeline'y
Powtarzalne zadania wsadowe z automatycznymi raportami jakości, dla zespołów ze stałym napływem danych.
White label
Firmy doradcze i dostawcy danych mogą oferować pipeline własnym klientom pod własną marką.
Ochrona danych
Zbudowany dla danych pod ścisłą kontrolą.
Najpierw umowa
Umowę powierzenia przetwarzania danych zgodnie z art. 28 RODO podpisujemy, zanim dotkniemy jakichkolwiek danych. NDA to standard.
Przetwarzanie w Niemczech
Na naszych własnych maszynach w Niemczech albo na Twoich. Twoje dane nie są wysyłane do chmury.
Szyfrowane w spoczynku
Dane są przechowywane w postaci zaszyfrowanej wyłącznie przez czas trwania projektu.
Usuwane po dostawie
Twoje dane źródłowe są usuwane po zakończeniu projektu, a Ty otrzymujesz pisemne potwierdzenie.
Dwa sposoby uruchomienia
Na naszych maszynach albo na Twoich.
| Aspekt | Na naszych maszynach | W Twoim środowisku |
|---|---|---|
| Jak to działa | Przesyłasz dane szyfrowanym transferem. Przetwarzamy je w Niemczech i usuwamy po dostawie. | Uruchamiamy pipeline w Twoim środowisku, zdalnie na dostarczonej przez Ciebie maszynie lub na miejscu. |
| Dla kogo | Zespoły AI, firmy programistyczne i dane, które na mocy umowy mogą opuścić Twoją sieć. | Banki, ubezpieczyciele, ochrona zdrowia, farmacja i instytucje publiczne, których dane nie mogą opuścić budynku. |
| Twoje dane | Przechowywane zaszyfrowane wyłącznie przez czas trwania projektu. | Nigdy nie opuszczają Twojej infrastruktury. |
Dla kogo
Organizacje z niewykorzystanymi archiwami.
Banki i ubezpieczyciele
Umowy, korespondencja i akta spraw zamienione w dane treningowe i wyszukiwawcze, bez danych osobowych.
Ochrona zdrowia i farmacja
Raporty, dokumentacja badań i nagrana mowa przygotowane dla modeli dziedzinowych przy ścisłej ochronie danych.
Sektor publiczny i prawny
Zeskanowane akta, orzeczenia i dokumenty administracyjne, które można przeszukiwać i wykorzystywać.
Firmy doradcze i dostawcy danych
Pipeline pod Twoją marką, dla Twoich własnych klientów.
Jak przebiega projekt
Zacznij od małej skali. Potem skaluj.
Rozpoznanie
Rozmowa o Twoich danych, formatach, wolumenach i wymaganiach dotyczących ochrony danych.
Pilotaż
Przygotowujemy próbkę około 1000 rekordów i pokazujemy wynik wraz z raportem jakości.
Wycena
Stała cena oparta na tym, co pokazał pilotaż, a nie na szacunkach.
Pełne przetwarzanie
Cały zbiór danych przechodzi przez pipeline, z wynikami pośrednimi w trakcie.
Dostawa
Dostarczamy dane, kartę danych i raport. Twoje dane źródłowe są usuwane, a usunięcie potwierdzane.
Pytania o kurację danych.
Czy nasze dane muszą opuścić naszą siedzibę?
Nie. Pipeline może działać w Twoim środowisku, na dostarczonej przez Ciebie maszynie. Jeśli wolisz, przesyłasz nam dane na podstawie umowy powierzenia przetwarzania, a my przetwarzamy je na naszych własnych maszynach w Niemczech.
Czy podpisujecie umowę powierzenia przetwarzania danych?
Tak. Umowę zgodną z art. 28 RODO podpisujemy, zanim otrzymamy jakiekolwiek dane, razem z NDA.
Jakie typy plików możecie przetwarzać?
PDF, w tym skany, dokumenty Office, HTML, zwykły tekst, eksporty CSV i baz danych oraz pliki audio i wideo. Skany przechodzą OCR, a nagrania rozpoznawanie mowy.
Jakie języki są obsługiwane?
Wykrywanie języka obejmuje bardzo szeroki zakres języków, także niskozasobowych, ponieważ pipeline powstał dla korpusu w ponad 130 językach. Jakość OCR i rozpoznawania mowy zależy od języka, co jest jednym z powodów, dla których zaczynamy od pilotażu.
Jak wyceniany jest projekt?
Indywidualnie dla projektu, według wolumenu, formatów i sposobu uruchomienia. Pilotaż daje obu stronom prawdziwe liczby, a wycena z nich wynika.
Opisz nam swoje dane.
Formaty, przybliżony wolumen i do czego chcesz ich użyć. Odpowiemy propozycją pilotażu.