Gids

Wispr Flow zonder stem: Lipflow leest lippen

Door Redactie Ai-stemmen

Je zit in de stiltecoupé met een mail die nog vóór Utrecht weg moet. Inspreken met Wispr Flow gaat sneller dan typen, maar dan hoort de hele coupé je antwoord aan je baas. Dus typ je. Langzaam.

Daar had Amy (@amypretzel) ook last van. “i wanted to voice dictate without bothering everyone so I made this lip reading app lol”, schreef ze donderdag om 05.16 uur Nederlandse tijd.

Haar app heet Lipflow en ze noemt hem zelf “Wispr Flow for your lips”. Je houdt een toets ingedrukt, beweegt je lippen zonder geluid, en de tekst verschijnt waar je cursor staat. Rond 07.25 uur stond de post op 268 likes en 10.676 weergaven.

Wispr Flow is de dicteerapp waarvan Lipflow het idee leent: je praat, en Flow maakt er nette tekst van in elke app. Lipflow doet hetzelfde zonder microfoon. Gratis, open source en lokaal op je Mac.

Klinkt als een gat in de markt. Maar wij hebben de code en de uitleg doorgelezen, het model zelf op Nederlands losgelaten, en er zitten drie haken aan.

Lipflow tegenover Wispr Flow

Wispr Flow zegt zelf al dat je er heel zacht tegen kunt praten. Op de site staat dat Flow spraak aankan “as quiet as a whisper”, zolang je microfoon dicht bij je mond zit.

Voor wie alleen bang is om de coupé te storen, kan fluisteren in een gewone dicteerapp dus al genoeg zijn.

Haak één: hij spreekt alleen Engels

Onder de post vroeg iemand of Lipflow ook andere talen kan. Amy antwoordde “Ooh not yet but feel free to add languages to the repo!” Het lipleesmodel eronder, Auto-AVSR van Imperial College London, is getraind op Engelstalige TED-fragmenten.

Wij wilden zien wat dat betekent als je er toch Nederlands tegen praat. Een Mac hebben we op deze server niet, dus draaiden we het lipleesmodel uit Lipflow los, met dezelfde code die de app gebruikt voor videobestanden.

Twee fragmenten: Amy’s eigen uitleg uit haar video, en twaalf seconden van de persconferentie van de minister-president van 25 september, waar hij recht in de camera praat.

Bij het Engels raakte het model de kern: “public”, “crazy talking to my computer”. Toch ging 44 procent van de woorden mis, en van “lip reading app” werd “pretty happy”.

Het Nederlands leverde zestien keer een naam op. Het model en zijn taalmodel kennen alleen Engels, dus zoeken ze tussen Engelse woorden naar iets wat op de lipbewegingen lijkt, en blijven ze hangen.

Dit is niet hoe Amy Lipflow gebruikt. Wij draaiden zonder het opschoonmodel dat de beste gokken tot een zin maakt, zonder training op een eigen gezicht, en met hardop gesproken in plaats van stil gemompelde woorden.

In Amy’s clip zit bovendien haar ondertiteling deels in beeld. Ons Engelse cijfer zegt dus weinig over hoe goed de app bij Amy zelf werkt. Voor het Nederlands verandert opschonen niets: van zestien keer een naam maakt geen taalmodel een Nederlandse zin.

Haak twee: Lipflow leest meer dan je lippen

Bij de eerste keer opstarten vraagt Lipflow drie rechten in macOS: camera, invoerbewaking (Input Monitoring) en toegankelijkheid. De eerste snap je. De andere twee zijn breed.

Invoerbewaking is nodig om te zien dat je de sneltoets indrukt. Toegankelijkheid gebruikt Lipflow om tekst te plakken en om mee te lezen in het venster waarin je typt.

Dat laatste staat netjes in de code: bij elke druk op de toets leest Lipflow de app, de venstertitel en de tekst rond je cursor, om er namen uit te halen.

Volgens de uitleg in dat bestand wordt dat nergens opgeslagen of verstuurd. In de demo zie je waarom het werkt: Amy typt aan ene Jake, en wat er geplakt wordt is “Hello Jake, my name is Amy.”

Er is meer. Gebruik je Wispr Flow, dan leest Lipflow bij het instellen je dicteergeschiedenis uit de map “Wispr Flow” in je Library, alleen-lezen, om je eigen zinnen en namen te leren.

De laatste 100 dictaten bewaart hij als reeks zwart-witte mondplaatjes van 96 bij 96 pixels, zonder geluid.

Ook dat kan uit in de instellingen. En verbeter je binnen ongeveer 30 seconden een woord dat hij typte, dan leest hij dat tekstveld terug en bewaart hij de verbetering als oefenmateriaal. Dat laatste kun je uitzetten.

Alles blijft op je Mac, met één uitzondering.

Zet je een sleutel van Anthropic in je instellingen, dan gaat bij elk dictaat een verzoek naar Claude: de beste gokken van de liplezer, je vorige dictaten, je lijst met eigen woorden en een paar oude zinnen van jezelf die erop lijken.

Zonder sleutel doet een klein model op je eigen Mac dat werk.

Haak drie: de code is gratis, het model niet voor alles

De code van Lipflow staat onder de MIT-licentie. Daarmee mag je bijna alles. Maar de gewichten van het lipleesmodel downloadt de app los, en die komen uit de LRS3-dataset.

De README zegt het zonder omwegen: “The LRS3-trained weights are for non-commercial research use.” De makers van LRS3 zetten de annotaties van hun dataset onder een Creative Commons-licentie die commercieel gebruik uitsluit.

Voor thuis knutselen maakt dat weinig uit. Wil iemand er een betaalde app van maken, dan moet er eerst een ander model onder. Dat is meteen de reden dat dit voorlopig een project voor liefhebbers blijft en niet de goedkope Wispr Flow-vervanger waar sommige reacties op hopen.

Een README die zijn eigen foutcijfers noemt

Wat ons het meest opviel: de README zet de slechte cijfers gewoon neer. Als de app alleen naar je lippen kijkt, ging op testzinnen 31,9 procent van de woorden fout.

Met de fluisterstand, waarin hij ook naar een zachte fluistering luistert, was dat 6,9 procent. Amy schrijft er zelf bij dat een echte fluistering minder duidelijk is dan die testclips. Dat vinden wij sterk: wie zo open is over zijn eigen foutcijfers, geloof je ook op de rest.

Tegelijk is één op de drie woorden fout geen dicteren meer. Het idee is ook niet nieuw. Lipflow bouwt voort op Chaplin van Amanvir Parhar, dat in februari 2025 online kwam met hetzelfde lipleesmodel en dat volgens Lipflow zelf “the original ’type what you mouth’ idea” was.

Chaplin staat op 757 sterren. Lipflow voegt vooral gemak toe: een echte Mac-app, oefenen op je eigen gezicht en leren van je Wispr Flow-geschiedenis.

Welke apps mogen meelezen op jouw Mac?

Of je Lipflow nu installeert of niet: dicteerapps, schermopnametools en toetsenbordhulpjes vragen deze rechten vaak, en ze blijven staan als je de app al lang niet meer gebruikt. Zo loop je ze na:

1. Open Systeeminstellingen op je Mac.
2. Ga naar Privacy en beveiliging.
3. Open Toegankelijkheid en kijk welke apps daar aanstaan.
4. Doe hetzelfde bij Invoerbewaking.
5. Zet uit wat je niet herkent of niet meer gebruikt.

Wil je alleen maar spraak naar tekst zonder gedoe, dan is een gewone opname vaak de snelste route. Op ai stemmen kun je een opname omzetten naar tekst, en wie liever andersom werkt, laat tekst voorlezen met een ai stem.

Over praten met AI schreven we eerder over de Claude voice mode en over ChatGPT Voice met je agenda en mail.

Een Nederlandse versie hangt aan één ding

Amy nodigt iedereen uit om talen toe te voegen. Voor het Nederlands is dat geen vertaalklus maar een trainingsklus: er moet een model komen dat duizenden uren Nederlandse monden met uitgeschreven tekst heeft gezien, met een licentie die gebruik toestaat.

Grote bedrijven kijken er wel naar. Apple kocht eerder dit jaar Q.ai, het bedrijf waar een reageerder onder Amy’s post naar wees met “Q.ai is doing the same I think”.

Investeerder GV noemt het “Apple’s second-largest acquisition in its history”. Wat Apple ermee gaat doen, heeft het nog niet laten zien. Zolang er geen Nederlands model is, is zacht fluisteren tegen Wispr Flow de route die vandaag werkt.