Juvoly maakt werken in de zorg leuker en persoonlijker

Sinds de verschijning van Careless Whisper (https://arxiv.org/abs/2402.08021) zijn er talloze artikelen verschenen op mediakanalen, maar ook op LinkedIn (zie dit bericht). In dit artikel wil ik graag delen wat Whisper is, waarom we problemen ondervinden met Whisper en hoe we hier bij Juvoly mee omgaan.

Wat is Whisper?

Whisper is een end-to-end spraakherkenningsmodel. De bron van Whisper wordt niet benoemd in de paper zelf, maar het is zeer waarschijnlijk dat het model getraind is op YouTube-data. Veel video’s zijn daar ondertiteld door de makers zelf—zeer bruikbare trainingsdata dus! Echter, TV Gelderland is een van de grootste aanbieders van video’s met ondertiteling op YouTube. Het komt daarom regelmatig voor dat Whisper aan het einde van een zin, zodra er stilte valt, de tekst “Ondertiteld door TV GELDERLAND 2021” produceert.

Whisper is beschikbaar in verschillende varianten, maar de meest gebruikte is de large versie met 1550 miljoen parameters—de helft voor de encoder en de andere helft voor de decoder. Er zijn drie versies van Whisper Large:

Whisper Large V1

Getraind op basis van de originele Whisper-dataset

Percentage foute woorden op Common Voice: 7,1%

Hallucineert het minst op audiodata

Whisper Large V2

Getraind op de Whisper-dataset met data-augmentatie

Percentage foute woorden op Common Voice: 5,8%

Hallucineert middelmatig vaak

Whisper Large V3

Getraind op YouTube-video’s die door Whisper zelf zijn ondertiteld

Percentage foute woorden op Common Voice: 4,3%