DEV Community

Cover image for Krisp Voice Isolation im Test: Das Doppelstimmen-Problem bei Voice-AI-Agenten beheben
Emre Demir
Emre Demir

Posted on Originally published at apidog.com

Krisp Voice Isolation im Test: Das Doppelstimmen-Problem bei Voice-AI-Agenten beheben

Wenn ein Voice Agent bei echten Anrufen versagt, ist oft nicht das LLM oder die Stimme die Ursache. Das Problem beginnt einen Schritt früher, in dem Audio, das der Agent hört – egal, ob es in eine Speech-to-Text-Engine (STT) oder direkt in ein Speech-to-Speech-Modell geht. Moderne STT-Systeme kommen gut mit Verkehrslärm und Klimaanlagen klar. Was sie nicht verkraften, ist eine zweite sprechende Person: ein Kollege, ein Fernseher, der Agent am Nebentisch in einem Callcenter. Die STT hört auch ihm zu, und der Agent reagiert auf Worte, die der Anrufer nie gesagt hat.

Testen Sie Apidog noch heute

Krisp Voice Isolation sitzt vor der STT und entfernt jede Stimme außer der des Hauptlautsprechers. Für diesen Test habe ich Krisps Benchmarks und Dokumentation gelesen, mich für die Self-Serve-API angemeldet und acht echte Aufnahmen aus Krisps öffentlichem Datensatz hindurchgeschickt. Anschließend habe ich das Audio vor und nach der Verarbeitung mit einem Open-Source-STT-Modell transkribiert, um zu sehen, was sich tatsächlich verändert hat.

Das Fazit in Kürze: Wenn Ihr Agent Anrufe aus Büros, Wohnungen, Callcentern oder überall dort entgegennimmt, wo Menschen im Hintergrund sprechen, lohnt sich Voice Isolation in Ihrer Pipeline. In meinem Test fielen Hintergrundstimmen, die 331 Wörter falschen Transkripts erzeugt hatten, auf null. Die Nachteile sind real, aber klein: eine leichte Einbuße bei sauberem Telefon-Audio, eine API-Region nur in den USA und weniger Modelle in der API als im SDK.

Das Problem: Stimmen im Hintergrund, nicht Hintergrundgeräusche

STT-Modelle sind darauf trainiert, Sprache zu erfassen – nicht zu entscheiden, wessen Sprache zählt. Geräusche lassen sich herausfiltern, weil sie nicht wie Sprache aussehen. Eine zweite Stimme sieht exakt wie Sprache aus, weil sie es auch ist.

Krisps eigenes Beispiel ist ein gutes: Ein Anrufer möchte ein Abo kündigen, während ein Kollege in der Nähe nach dem Mittagessen fragt. Die STT gibt einen einzigen Wortstrom zurück, ohne Markierung, welche Worte vom Anrufer stammen – der Agent bekommt also beides als eine Anfrage.

Das bringt einen Voice Agent auf drei Arten aus dem Konzept:

  • Falsche Transkripte. Die Worte des Umstehenden landen im Transkript, und das LLM beantwortet Dinge, die der Anrufer nie gesagt hat.
  • Falsche Unterbrechungen. Der Agent hört den Umstehenden, hält das für eine Einmischung des Anrufers und bricht mitten im Satz ab.
  • Gestörtes Sprecherwechsel-Handling. Hintergrundrede wirkt so, als spräche der Anrufer noch, daher kann der Agent nicht erkennen, wann der Sprecherwechsel beendet ist.

In allen diesen Fällen funktioniert die Logik des Agents wie konzipiert. Sie reagiert auf eine Stimme, die sie nie hätte hören dürfen.

Die Zahlen zeigen, wie groß die Lücke ist. In Krisps Release-Test zu Voice Isolation 2.5 erreichten 10 STT-Systeme auf sauberem Ein-Sprecher-Audio im Schnitt eine Wortfehlerrate (WER) von 2,10 %. Sprach eine zweite Person über den Anrufer hinweg, lag der Durchschnitt derselben Systeme bei 35,92 %. Rauschunterdrückung schließt diese Lücke nicht, denn die Störung ist ja Sprache.

Was Krisp Voice Isolation ist

Die Krisp Voice Isolation API & SDK entfernt Hintergrundstimmen und Geräusche aus einem Live-Audiostream und reicht nur die Stimme des Hauptlautsprechers weiter. Sie ist für Voice-AI-Agents gebaut und basiert auf derselben Kerntechnologie, die Krisp für menschliche Anrufe unter dem Namen Background Voice Cancellation (BVC) anbietet.

Sie steht an erster Stelle der Agent-Pipeline, sodass jedes nachfolgende Modell nur eine Stimme hört:

Where Voice Isolation sits in a voice agent pipeline

Die Position von Voice Isolation in einer Voice-Agent-Pipeline

Diese Platzierung ist entscheidend. Ohne sie hören auch VAD und Turn Detection den Umstehenden – daher rühren die falschen Unterbrechungen.

Krisp arbeitet seit rund neun Jahren an Voice AI und verarbeitet nach eigenen Angaben mehr als 1 Billion Minuten Sprache pro Jahr. Voice Isolation ist eines der Produkte in der Voice-AI-API- und SDK-Palette von Krisp. Es ist Teil von VIVA, Krisps Suite von Echtzeitmodellen für Voice Agents, neben Turn-Taking, Interrupt Prediction und VAD. Es ergänzt Turn-Taking, ersetzt es aber nicht.

Spezifikation Voice Isolation 2.5
Rechenleistung Nur CPU, keine GPU nötig
Algorithmische Latenz 15 ms (laut Krisps SDK-Dokumentation liegt die zusätzliche Latenz bei etwa 20 ms)
STT-Engines Beliebig. Das Modell arbeitet auf dem Audiosignal, daher gibt es kein Setup pro Sprache oder Engine
Telefon-Audio Schmalband-Telefonie, G.711, G.722, G.729, Opus, Bluetooth-Headsets
Stimm-Enrollment Nicht erforderlich
Mikrofon-Abstand Near-field; als grober Richtwert etwa innerhalb von 30 cm (1 ft), je nach Akustik
Modelle Default, Balanced, Lite, HD

Die vier Modelle geben Ihnen Kontrolle darüber, wie aggressiv Hintergrundstimmen und Geräusche entfernt werden. Bei voller Aggressivität (der Standardkonfiguration) entfernt Default am meisten. Balanced verarbeitet die Hauptstimme schonender, bei gleicher Rechenlast. Lite benötigt etwa ein Drittel der Rechenleistung von Default. HD ist für 32-kHz-WebRTC-Streams statt für Telefon-Audio gedacht. Die Aggressivität ist eine Laufzeiteinstellung, die Sie anpassen können, ohne die Rechenleistung zu verändern; in der API ist es der Parameter suppression_level mit Werten von 0 bis 100.

Eine Einschränkung sollte man von vornherein kennen: Die stementfernenden Modelle gehen davon aus, dass sich der Sprecher nah am Mikrofon befindet. Als grober Richtwert gilt: Jenseits von etwa 30 cm kann auch die eigene Stimme des Hauptlautsprechers unterdrückt werden. Das ist keine feste Regel, sondern eine allgemeine Empfehlung; der tatsächliche Abstand hängt von den akustischen Bedingungen ab. Für Weitfeld-Geräte wie Smart Speaker bietet Krisp ein separates Modell an, das nur Geräusche entfernt.

Version 2.5 erschien im August 2026, und Krisp veröffentlichte im September einen offenen Benchmark und Datensatz. Das Modell ist inzwischen sowohl als Self-Serve-API als auch als SDK verfügbar.

Was Krisps Benchmarks zeigen

In Krisps offenem Benchmark senkte Voice Isolation die durchschnittliche Wortfehlerrate von 23,24 % auf 6,24 % – ein Rückgang um 73 %.

Krisp Benchmark Ergebnis

Krisps Benchmark-Seite fasst das zentrale Ergebnis zusammen.

Der Benchmark nutzt 265 echte Aufnahmen aus Büros, Wohnungen, vier aktiven Callcenter-Etagen und Autos. Nichts wurde simuliert oder nachträglich eingemischt. Die meisten Aufnahmen folgen demselben Drehbuch: Der Hauptlautsprecher spricht, eine zweite Person mischt sich ein, der Hauptlautsprecher verstummt, während die andere weiterspricht, dann meldet sich der Hauptlautsprecher zurück. Diese stille Phase ist der eigentliche Test, denn das korrekte Transkript dafür ist leer. Jede Datei wurde durch 11 STT-Konfigurationen von neun Engines geschickt, mit und ohne Isolation.

Quelle: Krisp Voice Isolation Benchmark, Okt. 2026 · 11 STT-Konfigurationen, alle Szenarien zusammengefasst

Jede Engine hat sich verbessert, keine ist schlechter geworden. Der aufschlussreichere Befund betrifft die Lücke zwischen den Engines: Bei rohem Audio beträgt sie rund 20 Prozentpunkte, nach der Isolation schrumpft sie auf etwa 5. Wenn Ihr Agent Hintergrundstimmen hört, verändert eine Bereinigung des Eingangssignals Ihre WER stärker als der Wechsel zu einem anderen STT-Anbieter.

Benchmark nach Szenario

Nach Szenario hängt der Gewinn davon ab, ob eine zweite Stimme vorhanden ist:

Szenario Rohes Audio Mit Voice Isolation
Arbeit (Büros, Wohnungen, Meetingräume) 31,84% 6,30%
Callcenter 23,83% 6,86%
Telefonanrufe (keine konkurrierende Stimme) 3,48% 3,91%
Alle 265 Dateien 23,24% 6,24%

Wo es nicht hilft

Krisp veröffentlicht seine Schwachstellen offen, und das halte ich für den überzeugendsten Teil dieser Ausarbeitung.

  • Sauberes Telefon-Audio wird leicht schlechter. Ohne eine zweite Stimme, die entfernt werden könnte, kann die Isolation nur die Hauptstimme anfassen. Die WER bei Telefonanrufen stieg von 3,48 % auf 3,91 %, und eine Datei verschlechterte sich von 9,42 % auf 21,65 %. Das Balanced-Modell schneidet hier mit 3,53 % am besten ab.
  • Starker Nachhall bleibt ein Problem. Im separaten Release-Test zu 2.5 erreichten Ein-Sprecher-Aufnahmen mit schwieriger Akustik 11,61 % mit Isolation gegenüber 8,02 % ohne. Das ist deutlich besser als Version 2.1 (15,42 %), aber immer noch schlechter als gar keine Verarbeitung.
  • Überisolation verursacht stille Fehler. Krisp erklärt, dass frühere Modelle manchmal Teile der Hauptstimme entfernt haben. Ein Mensch verstand das Audio noch, aber die STT ließ ganze Satzteile weg, und das Transkript las sich sauber – nur mit Löchern. Version 2.5 wurde deshalb auf STT statt auf menschliche Ohren optimiert.

Six sample recordings on Krisp's benchmark page, each playable raw and through Voice Isolation 2.5, including Sample 153 which gets worse

Auf der Benchmark-Seite lassen sich sechs Aufnahmen im Rohzustand und verarbeitet abspielen. Sample 153, ein Telefonanruf, ist als „Gets worse" (wird schlechter) gekennzeichnet.

Zwei weitere Punkte sollte man im Hinterkopf behalten. Die 73-%-Zahl und die 46,4-%-Zahl auf Krisps Website stammen aus verschiedenen Tests: 265 Aufnahmen im offenen Benchmark und 1.685 Aufnahmen im Release-Test zu 2.5. Und Krisps Ergebnisse vergleichen Audio mit und ohne seine eigene Isolation – nicht mit Isolationsprodukten anderer Anbieter.

Die Aufnahmen, handschriftlichen Transkripte, Segment-Labels und die Ausgaben jedes Modells sind öffentlich auf Hugging Face verfügbar, sodass jeder den Test nachstellen kann. Genau das habe ich als Nächstes getan.

Praxistest: Die Voice Isolation API unter der Lupe

In meinem Test entfernte Voice Isolation jedes Wort der Hintergrundrede aus den Transkripten, und die zusammengefasste WER fiel von 40,1 % auf 10,2 %.

Setup

Die Anmeldung im Developers Portal geht schnell – mit Google, Microsoft oder E-Mail. Der Trial gab mir 30 $ an Guthaben und ein Limit von zwei gleichzeitigen Sessions. Von dort geht es weiter zu API Keys → Create key, und man erhält einen Schlüssel, den man nur einmal kopieren kann.

Voice Isolation im Developers Portal

Die Voice-Isolation-Seite im Developers Portal im Trial-Tarif.

API-Schlüssel

Der API-Schlüssel, den ich für diesen Test erstellt habe. Ein Schlüssel funktioniert für alle Krisp-API-Produkte, einschließlich der Voice Translation API.

Die API ist ein WebSocket. Ihr Backend tauscht den API-Schlüssel gegen einen kurzlebigen Session-Token, der Client sendet ein kleines JSON-Hello, wartet auf ready und streamt dann 16-Bit-Mono-PCM und erhält das bereinigte Audio Frame für Frame zurück:

URL = "wss://streaming.krisp.ai/voice-isolation"

async with websockets.connect(URL, additional_headers={"Authorization": f"api-key {session_token}"}) as ws:
    await ws.send(json.dumps({"model": "VIVA-tel", "sample_rate": 16000, "suppression_level": 100}))
    hello = json.loads(await ws.recv())  # {"type": "ready", ...}
    # then send exactly 30 ms of audio per message (960 bytes at 16 kHz)
    # and write each binary message you receive to your output
Enter fullscreen mode Exit fullscreen mode

Das ist nah an Krisps API-Quickstart, einem kurzen Python-Skript, das eine WAV-Datei bereinigt. Eine Regel bringt viele zur Verzweiflung: Jede Audio-Nachricht muss exakt 30 ms lang sein. Alles andere beendet die Session mit einem invalid_frame_duration-Fehler, also polstern Sie den letzten Frame mit Stille auf.

Für den Test wählte ich acht Aufnahmen aus Krisps öffentlichem Datensatz: drei Büro-Aufnahmen, drei von Callcenter-Etagen und zwei Telefonanrufe aus einem Auto, insgesamt etwa 11 Minuten. Ich streamte jede davon in Echtzeit durch die API – aus Asien. Anschließend transkribierte ich das rohe und das bereinigte Audio mit NVIDIAs Open-Source-Modell Parakeet TDT 0.6B v2, einer der Engines in Krisps Benchmark, und bewertete jedes gelabelte Segment gegen die menschlichen Transkripte.

Ergebnisse

Aufnahmen WER roh WER mit Voice Isolation
Büro (3 Dateien) 36,6% 3,6%
Callcenter (3 Dateien) 53,4% 15,8%
Telefonanrufe, keine zweite Stimme (2 Dateien) 5,8% 5,2%
Alle 8 Dateien 40,1% 10,2%

Fast die gesamte Verbesserung kam aus einer einzigen Quelle: den Abschnitten, in denen der Hauptlautsprecher schwieg und jemand anderes weiterredete. Bei rohem Audio verwandelte Parakeet diese Hintergrundrede in 331 Transkript-Wörter. Nach Voice Isolation entstand daraus keines. Die Hintergrundstimme war in diesen Abschnitten 13 bis 34 dB leiser, während der Pegel des Hauptlautsprechers kaum schwankte (innerhalb von 1 dB).

My test · Krisp API (VIVA-tel), transcribed with Parakeet TDT 0.6B v2 · the 6 recordings with a background-only window

Mein Test · Krisp API (VIVA-tel), transkribiert mit Parakeet TDT 0.6B v2 · die 6 Aufnahmen mit einem reinen Hintergrund-Abschnitt

Das Callcenter-Beispiel zeigt, warum das wichtig ist. Während der Agent, den ich testete, pausierte, führte der Agent am Nebentisch ein anderes Gespräch. Das rohe Transkript nahm dieses Gespräch Wort für Wort mit auf:

thank you for calling meridian bank before i begin i will need to confirm your identity for security could you give me your full name your date of birth...

Ein Voice Agent würde das als Rede des Anrufers behandeln. Mit Voice Isolation kam derselbe Abschnitt leer zurück.

Wenn beide Personen gleichzeitig sprachen, war die Veränderung gering: 13,2 % roh gegenüber 12,5 % bereinigt. Parakeet bevorzugte in diesen Passagen ohnehin die lautere, nähere Stimme. Die meisten verbleibenden Fehler dort sind Zahlenformatierungen in meiner Bewertung (Telefonnummern, Preise, Postleitzahlen), die beide Versionen gleichermaßen betreffen.

Bei den beiden sauberen Telefonanrufen gewann eine Datei einen zusätzlichen Fehler dazu, die andere verlor zwei. Das deckt sich mit Krisps eigenem Befund, dass der Preis bei sauberem Audio gering ist.

Latenz und Zuverlässigkeit von außerhalb der USA

Die API läuft derzeit nur in der US-Region, und Krisps Dokumentation warnt, dass Clients anderswo zusätzliche Latenz erleben. Aus Asien betrug die mediane Round-Trip-Zeit für ein Frame (Senden bis Rückkehr des bereinigten Audios) je nach Session 260–520 ms, und der Aufbau einer Session dauerte meist 1,5–3 Sekunden. Das ist Netzwerkentfernung, nicht das Modell: Krisp gibt 15 ms algorithmische Latenz an. Aber wenn Ihr Agent Nutzer weit von den USA entfernt bedient, werden Sie es spüren – und das SDK auf eigenen Servern umgeht das Problem.

Eine meiner neun Sessions brach nach etwa 70 Sekunden mit einem abnormalen Close ab. Ein erneuter Lauf funktionierte. Ich schreibe das der langen Route aus Asien zu und nicht dem Dienst selbst, aber es erinnert daran, Reconnects in der Produktion zu behandeln.

Zu diesem Test: Acht Dateien sind eine kleine Stichprobe, kein Benchmark. Ich habe die 32-kHz-Aufnahmen für das Telefonie-Modell (VIVA-tel) auf 16 kHz resampelt, eine einzige STT-Engine verwendet und die Textnormalisierung einfach gehalten, daher sind meine absoluten Zahlen nicht mit denen von Krisp vergleichbar. Prüfen wollte ich Richtung und Ausmaß der Veränderung – und das entsprach dem, was Krisp berichtet.

Entwicklererfahrung: API oder SDK

Voice Isolation gibt es in zwei Varianten, und welche Sie nutzen können, hängt von Ihrem Tarif ab.

Voice Isolation API VIVA SDK
Läuft auf Krisps Cloud (US-Region) Ihren eigenen Servern, auf CPU
Verwendung Audio über einen WebSocket streamen, bereinigtes Audio zurückbekommen Ein Modell laden und Audio-Frames im eigenen Code verarbeiten
Sprachen Alles mit einem WebSocket-Client Python, Node.js, Go, Rust, C++ und C
Audio 8 oder 16 kHz (VIVA-tel), 32 kHz (VIVA-pro), 16-Bit-Mono-PCM 8 kHz bis 32 kHz, je nach Modell (HD unterstützt Eingaben bis 32 kHz)
Modelle Zwei: VIVA-tel für Telefon-Audio, VIVA-pro für 32-kHz-Breitband Default, Balanced, Lite, HD
Zugang Self-Serve, API-Schlüssel aus dem Portal Kommerzielle Lizenz, Enterprise-Tarif
Enthält außerdem Voice Translation API Turn-Taking und VAD

Die API ist der einfache Einstieg: keine Modell-Dateien auszuliefern und nichts auf Ihrer CPU zu betreiben. Die Nachteile: Ihr Audio geht in Krisps Cloud, und Sie erhalten zwei Modelle statt vier: VIVA-tel für 8- oder 16-kHz-Telefon-Audio und VIVA-pro für 32-kHz-Breitband-Audio. VIVA-pro ist noch nicht in der API-Referenz, aber es ist im Playground des Portals verfügbar, die API akzeptierte es in meinem Test, und Krisp hat die Verfügbarkeit bestätigt.

Playground im Portal

Mit dem Playground des Portals lassen sich beide API-Modelle mit dem eigenen Mikrofon testen, bevor man Code schreibt.

Das SDK hält das Audio auf Ihren eigenen Servern und geht nur online, um seine Lizenz zu prüfen. Hier wird auch die Kostenfrage interessant. Krisps CPU-Beitrag zeigt, dass ein einzelnes SDK-Flag, enableLowPrecisionExecution, die Zahl der Anrufe, die ein Server auf CPUs mit FP16-Unterstützung bereinigen kann, ungefähr verdoppelt. Eine 16-vCPU-AWS-Graviton3-Instanz kam von 76 live Anrufen auf 137, und das Lite-Modell bewältigt etwa dreimal so viele Streams wie die vollwertigen Modelle. Auf älteren Intel-Ice-Lake-Chips bewirkt das Flag nichts.

Integrationen

  • Pipecat bietet einen fertigen Filter. Sie fügen KrispVivaFilter() als Audio-Eingangsfilter Ihres Transports hinzu und können ihn mit KrispVivaTurn für die Turn Detection kombinieren. Beachten Sie: Er nutzt das SDK, daher brauchen Sie SDK-Zugang und die Modell-Dateien, nicht nur einen API-Schlüssel.
  • LiveKit bietet Krisp-Modelle in LiveKit Cloud an, darunter Background Voice Cancellation (noise_cancellation.BVC()) für Agents. LiveKit berechnet für seine Voice-Isolation-Modelle einen Aufpreis.
  • WebRTC- und Telefonie-Pipelines können das SDK direkt nutzen, und die API funktioniert mit allem, was einen WebSocket öffnen kann.

Die Dokumentation ist klar und aktuell. Der Quickstart funktionierte beim ersten Versuch, und die Fehlermeldungen sagen genau, was schiefgelaufen ist – bis hin zur erwarteten und empfangenen Frame-Größe. Mein einziger Kritikpunkt ist die Namensgebung: Im Blog sind Default, Balanced, Lite und HD die Rede, die SDK-Downloads verwenden Dateinamen wie krisp-viva-vi-tel-v2.5.1, und die API nennt ihre Modelle VIVA-tel und VIVA-pro, von denen nur das erste in der API-Referenz auftaucht. Eine Zuordnungstabelle in der Doku würde helfen.

Preise

Die API wird pro Stunde Audio abgerechnet und ist günstig genug, dass die Kosten nicht über Ihre Entscheidung bestimmen sollten.

Krisp Entwicklerpreise

Krisps Entwicklerpreise, November 2026.

Im nutzungsbasierten Starter-Tarif kostet die Voice Isolation API 0,18 $ pro Stunde Audio, ohne monatliche Grundgebühr. Der Satz ist für beide API-Modelle gleich, VIVA-tel und VIVA-pro. Growth kostet 400 $ pro Monat, enthält 400 $ Nutzungsvolumen und senkt den Satz auf 0,12 $ pro Stunde, mit höherer Concurrency und Priority Support. Enterprise ist individuell und der einzige Tarif, der das SDK, eine SLA sowie HIPAA und SOC 2 einschließt.

Das Startguthaben von 30 $ deckt beim Starter-Satz etwa 166 Stunden Audio ab – mehr als genug zum Testen. Guthaben gilt 12 Monate, die Abrechnung erfolgt minutengenau. Zur Einordnung: Ein 5-minütiger Anruf kostet bei Starter etwa 1,5 Cent zur Bereinigung.

Das SDK gibt es nur im Enterprise-Tarif zum vereinbarten Preis; wer die Modelle auf eigenen Servern betreiben will, muss also mit dem Vertrieb sprechen. Die Preise stammen von Krisps Preisseite, geprüft im November 2026.

Alternativen

Krisp ist nicht die einzige Option zur Entfernung von Hintergrundstimmen, aber einen unabhängigen Direktvergleich dieser Produkte gibt es bislang nicht. Jeder Anbieter veröffentlicht eigene Zahlen auf eigenen Daten – betrachten Sie die folgenden Werte also als Behauptungen.

Option Was sie macht Gut zu wissen
DeepFilterNet Echtzeit-Rauschunterdrückung Arbeitet bei 48 kHz in 20-ms-Fenstern mit insgesamt etwa 40 ms Latenz – schnell genug für einen einzelnen CPU-Thread. Ziel sind Geräusche, nicht eine zweite Stimme.
DPDFNet Echtzeit-Rauschunterdrückung, aufbauend auf DeepFilterNet2 Kausale, eingängige Modelle von Ceva unter Apache-2.0, mit einem reinen CPU-ONNX-Paket (pip install dpdfnet). Es ist Rauschunterdrückung, keine Stimentfernung.
ClearerVoice-Studio Toolkit für Verbesserung, Separierung und Ziel-Sprecher-Extraktion Die rein audio-basierte Sprecher-Extraktion benötigt eine Referenzaufnahme des Zielsprechers und läuft mit 8 kHz. Andere Extraktionsmodi nutzen Video, Gesten oder EEG.
SpeechBrain SepFormer (WHAMR!) Sprachtrennung Apache-2.0-Modell für 8-kHz-Einkanal-Audio, das einen Mix in einzelne Stimmen aufspaltet. Sie müssen trotzdem entscheiden, welche Ausgabe der Anrufer ist.
Keine Isolation Verlass auf die eigene Rauschbehandlung der STT Kostenlos und in Ordnung, wenn Anrufer meist allein sind; Deepgram hat argumentiert, dass Vorfilterung der STT schaden kann

Womit sich Krisp abhebt, sind die Belege. Es ist hier der einzige Anbieter mit einem offenen, reproduzierbaren Benchmark über 11 STT-Konfigurationen, und er veröffentlicht auch die Fälle, in denen er verliert. Außerdem ist es am flexibelsten zu deployen: Cloud-API, SDK auf eigenen Servern oder integriert in LiveKit und Pipecat.

Fazit

Krisp Voice Isolation ist die Lösung, wenn ein Voice Agent bei echten Anrufen stolpert, im Test aber einwandfrei läuft. Es entfernt die Stimmen, die Ihr Agent nicht hören sollte, funktioniert mit jeder STT, die Sie bereits einsetzen, und Krisps Benchmark wie auch mein eigener Test zeigen dasselbe: Hintergrundrede erreicht das Transkript nicht mehr.

Pro

  • Entfernt Hintergrundstimmen, nicht nur Geräusche – und das ist genau das Problem, das die STT nicht allein lösen kann
  • Funktioniert mit jeder STT-Engine, ohne Setup pro Sprache oder Stimm-Enrollment
  • Läuft auf CPU mit 15 ms algorithmischer Latenz
  • Offener, reproduzierbarer Benchmark, der auch die Fälle einschließt, in denen es verliert
  • Self-Serve-API mit 30 $ Startguthaben und günstig mit 0,12–0,18 $ pro Stunde
  • Fertiger Pipecat-Filter und LiveKit-Unterstützung

Contra

  • Leichte Genauigkeitseinbuße bei sauberem Telefon-Audio, und in Räumen mit starkem Nachhall weiterhin schlechter als rohes Audio
  • Die API läuft nur in der US-Region, was anderswo spürbare Latenz bedeutet
  • Die API bietet zwei Modelle gegenüber vier im SDK; On-Premise-Nutzung erfordert das Enterprise-SDK

Für wen es geeignet ist: Teams, deren Agents Anrufe aus Callcentern, Büros, Wohnungen, Autos oder überall dort entgegennehmen, wo andere Menschen in der Nähe sprechen. Beginnen Sie mit der API, um die Wirkung auf Ihren eigenen Aufnahmen zu messen, und wechseln Sie zum SDK, wenn Sie die anderen Modelle, geringere Latenz außerhalb der USA oder Audio benötigen, das auf Ihren Servern bleibt.

Wer es überspringen kann: Agents, deren Anrufer fast immer allein in ruhigen Räumen sind, sowie Weitfeld-Geräte wie Smart Speaker, für die die stementfernenden Modelle nicht ausgelegt sind.

Sie können die Krisp Voice Isolation API mit dem kostenlosen Guthaben ausprobieren und Ihre eigenen Aufnahmen an einem Nachmittag hindurchschicken.

FAQ

Ist Voice Isolation dasselbe wie Rauschunterdrückung? Nein. Rauschunterdrückung entfernt sprachfremde Geräusche wie Verkehr oder Tastatur. Voice Isolation entfernt auch die Stimmen anderer Personen, die die Rauschunterdrückung durchlässt.

Funktioniert Krisp Voice Isolation mit meinem STT-Anbieter? Ja. Es verarbeitet das Audio selbst und arbeitet daher vor jeder STT-Engine. Krisp hat es mit 11 Konfigurationen getestet, darunter Modelle von Deepgram, AssemblyAI, ElevenLabs, Soniox, Google, Cartesia und NVIDIA. Es kann auch vor Speech-to-Speech-Modellen sitzen. Ergebnisse für dieses Setup hat Krisp noch nicht veröffentlicht, aber nichts hält Sie vom Ausprobieren ab.

Ersetzt es die Turn Detection? Nein. Es sitzt vor VAD und Turn Detection und liefert ihnen saubereres Audio. Turn-Taking bietet Krisp als separates Modell im selben VIVA SDK an.

Müssen Nutzer ihre Stimme registrieren? Nein. Es erfordert kein Enrollment und kein Training auf der Stimme des Nutzers.

Wie viel Latenz kommt hinzu? Krisp gibt 15 ms algorithmische Latenz an, und die SDK-Dokumentation beziffert die zusätzliche Latenz auf etwa 20 ms. Bei der Cloud-API kommt die Netzwerkzeit zur US-Region noch obendrauf.

Funktioniert es bei Telefonanrufen? Ja. Es verarbeitet Schmalband-Telefonie-Audio, gängige Codecs wie G.711, G.722, G.729 und Opus sowie Bluetooth-Headsets.

Was ist mit Anrufen von Mensch zu Mensch? Dieselbe Technologie ist als Background Voice Cancellation (BVC) in Krisps RTC SDK enthalten, das auf dem Gerät des Nutzers in Browsern sowie Desktop- und Mobil-Apps läuft. Contact Center mit menschlichen Agents erhalten sie über Krisps Call-Center-AI-Produkt, wo sie die Stimmen benachbarter Agents aus Kundengesprächen heraushält.

Top comments (0)