Tijdens de maandmeeting op ons kantoor in Utrecht gaf Zeno een review van de QA AI-tool Spur. Hij was bij zijn opdrachtgever betrokken bij een pilot om te zien of deze QA AI Agent een geschikte automatiseringstool zou zijn voor de e-commerce partij.
Zeno, het testteam en de opdrachtgever zijn na deze pilot niet overtuigd geraakt om verder te gaan met de oplossing. Er waren meerdere oorzaken, maar het feit dat een LLM probabilistisch te werk gaat was een hele belangrijke. Dit zorgde ervoor dat de tests eigenlijk nooit volledig te vertrouwen waren. False positives, flakiness, performance... voor hem is deze tool nog ver weg van een oplossing. Tijdens de presentatie nam hij ons mee in wat wel, of juist nog niet goed werkt. Thanks, Zeno!
