Google lanceert Gemini 4, maar intern zijn er twijfels over prestaties

Google is begonnen met de uitrol van Gemini 4 Argon, zijn nieuwste en krachtigste AI-model. Op officiële tests scoort het model sterk, maar binnen Google bestaat volgens bronnen van Bloomberg twijfel over hoe goed Gemini 4 in de praktijk werkt.

Vooral bij programmeertaken zouden de prestaties wisselvallig zijn. Google spreekt dat tegen en zegt dat Gemini 4 tot de beste AI-modellen van dit moment behoort.

Gemini 4 scoort goed op tests, maar praktijk blijkt lastiger

Google gaf woensdag een kleine groep vertrouwde cybersecuritypartners als eerste toegang tot Gemini 4. Na verdere tests moet het model beschikbaar komen voor meer gebruikers, te beginnen bij betalende abonnees.

Volgens Google behaalt Gemini 4 hele goede scores op verschillende belangrijke AI-tests. Op een test voor cybersecurityvaardigheden zou het model zelfs beter presteren dan Astra van OpenAI.

Toch vertellen meerdere medewerkers dat die cijfers niet het volledige verhaal laten zien. Wanneer Gemini 4 voor echte werkzaamheden wordt ingezet, zouden de prestaties op sommige gebieden tegenvallen.

Vooral programmeren wordt genoemd. Het model zou moeite hebben met bepaalde programmeertaken en volgens een bron ook minder sterk zijn in het ontwerpen van de voorkant van apps en websites.

Google bestrijdt dat beeld. Een medewerker die betrokken is bij de ontwikkeling zegt dat er binnen het bedrijf juist brede overeenstemming bestaat dat Gemini 4 tot de absolute top behoort. Volgens Google laten uitgebreide interne tests ook niet zien dat het model moeite heeft met complex programmeerwerk uit de praktijk.

Binnen het bedrijf lopen de meningen dus uiteen. Sommige medewerkers vinden dat Anthropic en OpenAI zich sneller ontwikkelen en verwachten dat Gemini 4 op bepaalde onderdelen achterblijft. Anderen denken juist dat Google de achterstand inmiddels heeft ingehaald.

Google kan zich geen nieuwe tegenvaller veroorloven

Er staat veel op het spel. Gemini vormt de basis voor AI-functies in vrijwel alle grote producten van Google, waaronder Search, Gmail, Maps en Chrome. Die diensten hebben ieder meer dan een miljard gebruikers.

Tegelijkertijd proberen OpenAI en Anthropic verder te groeien dan alleen hun AI-modellen. Ze bouwen steeds meer eigen toepassingen, waaronder AI-agenten die zelfstandig programmeerwerk en andere taken kunnen uitvoeren.

Google heeft juist op het gebied van AI-programmeren moeite om terrein te winnen. Een zwakke plek bij Gemini 4 zou concurrenten daarom extra ruimte kunnen geven om ontwikkelaars en bedrijven naar hun eigen platforms te trekken.

Daar komt bij dat Google eerder al een tegenslag moest verwerken. Het bedrijf wilde in juni Gemini 3.5 Pro uitbrengen, maar die versie verscheen uiteindelijk nooit. Volgens bronnen van Bloomberg werd het model geschrapt nadat de ontwikkeling niet aan de interne verwachtingen voldeed.

Dat kan een dure beslissing zijn geweest. Het trainen van een AI-model van dit formaat kan volgens Bloomberg Intelligence tot 400 miljoen dollar kosten. De salarissen van gespecialiseerde AI-onderzoekers komen daar nog bovenop.

Goede tests zeggen niet altijd alles

De discussie rond Gemini 4 raakt aan een groter probleem binnen de AI-sector. Bedrijven gebruiken zogeheten benchmarks om te meten hoe goed hun modellen presteren. Klanten en ontwikkelaars kijken vervolgens naar die scores om verschillende modellen met elkaar te vergelijken.

Maar een hoge score betekent niet automatisch dat een model in de praktijk beter werkt.

Binnen de sector wordt daarom gesproken over ‘benchmaxxing’. Daarbij wordt een AI-model zo sterk geoptimaliseerd voor bepaalde tests dat de scores verbeteren, terwijl die vooruitgang niet altijd even duidelijk zichtbaar is bij alledaagse taken.

Volgens twee bronnen van Bloomberg speelt die discussie ook rond Gemini 4. Edwin Chen, oprichter van AI-bedrijf Surge AI, vergelijkt het met een leerling die uitstekend scoort op een examen, terwijl dat nog weinig zegt over hoe goed diegene de kennis in de echte wereld kan toepassen.

Gemini 4 heeft volgens betrokkenen ook duidelijke sterke punten. Het model zou goed overweg kunnen met informatie die verder gaat dan tekst, bijvoorbeeld het analyseren van video. Ook op het gebied van cybersecurity, veiligheid en natuurlijke communicatie zou het sterk presteren.

Google zegt dat Gemini 4 is ontwikkeld voor langdurige en complexe werkzaamheden op het gebied van softwareontwikkeling, financiën, recht en cybersecurity. Het model kan bovendien veel meer informatie tegelijk verwerken dan zijn voorganger, met maximaal één miljoen tokens, volgens Google vergelijkbaar met ongeveer 750.000 woorden.