Whisper

Whisper ist ein allgemeines Spracherkennungsmodell, das von OpenAI entwickelt wurde. Es wurde auf einem großen Datensatz mit vielfältigen Audioinhalten trainiert und ist auch ein Multitasking-Modell, das mehrsprachige Spracherkennung sowie Sprachübersetzung und Sprachidentifikation durchführen kann. Whisper verwendet ein Transformer-Sequenz-zu-Sequenz-Modell, das auf verschiedene Aufgaben der Sprachverarbeitung trainiert wurde, einschließlich mehrsprachiger Spracherkennung, Sprachübersetzung, Identifikation gesprochener Sprachen und Sprachaktivitätsdetektion. Diese Aufgaben werden gemeinsam als eine Sequenz von Token dargestellt, die vom Dekodor vorhergesagt werden sollen, wodurch ein einziges Modell mehrere Stufen einer traditionellen Sprachverarbeitungspipeline ersetzen kann. Das Multitasking-Trainingsformat verwendet eine Reihe spezieller Token, die als Aufgabenbezeichner oder Klassifikationsziele dienen.