- Hoofdonderzoeker van AI Yann LeCun van Meta zegt dat er vier menselijke trekken zijn die AI nu mist.
- Om die in de technologie naar boven te laten komen, moet AI op een andere manier getraind worden.
- Toevallig heeft Meta ook de oplossing met het V-JEPA non-generatieve AI-model.
- Lees ook: AI-onderzoekers leggen uit hoe je AI kunt gebruiken om een succesvolle carrière te hebben
Alle mensen hebben vier dingen gemeen die AI niet heeft, stelt Meta’s hoofd AI-wetenschapper Yann LeCun.
“Er zijn vier essentiële kenmerken van intelligent gedrag die elk dier – of relatief slim dier – heeft, en zeker mensen,” zei hij in een gesprek met IBM’s AI director Anthony Annunziata. “De fysieke wereld begrijpen, een blijvend geheugen hebben, kunnen redeneren en kunnen plannen en complexe acties plannen, vooral hiërarchisch plannen.”
LeCun zei dat AI, vooral grote taalmodellen (LLM’s, de technologie achter AI-chatbots), deze drempel nog niet hebben bereikt en dat het opnemen van deze capaciteiten een verschuiving zou vereisen in de manier waarop ze worden getraind. Daarom voegen veel van de grootste techbedrijven mogelijkheden toe aan bestaande modellen in hun race om het AI-spel te domineren, zei hij.
Er is nu geen menselijkheid in AI, wat we zien zijn slechts ‘hacks’ om het menselijk te laten lijken
“Om de fysieke wereld te begrijpen, train je een apart zichtsysteem. En dan zet je het vast op de LLM. Voor het geheugen gebruik je RAG (Retrieval-Augmented Generation), of je doet er een associatief geheugen bovenop, of je maakt je model gewoon groter,” zei hij.
RAG is een manier om de uitvoer van grote taalmodellen te verbeteren met behulp van externe kennisbronnen. Het is ontwikkeld bij Meta.
Dit zijn echter allemaal slechts "hacks", aldus LeCun.
LeCun heeft bij verschillende gelegenheden gesproken over een alternatief dat hij wereldgebaseerde modellen noemt. Dit zijn modellen die getraind zijn op scenario's uit het echte leven en een hoger cognitieniveau hebben dan patroongebaseerde AI. LeCun gaf in zijn gesprek met Annunziata een andere definitie.
"Je hebt een idee van de staat van de wereld op tijdstip T, je stelt je een actie voor, het wereldmodel voorspelt wat de staat van de wereld zal zijn op basis van de actie die je hebt ondernomen," zei hij.
LeCun stelt dat de echte wereld zich echter ontwikkelt via een oneindige en onvoorspelbare reeks aan mogelijkheden, de enige manier om daarvoor te trainen is door abstractie.
V-JEPA AI voorspelt missende delen
Meta experimenteert al met die abstractie door middel van V-JEPA, een model dat in februari is vrijgegeven voor het publiek. Meta beschrijft het als een niet-generatief model dat leert door ontbrekende of gemaskeerde delen van een video te voorspellen.
"Het basisidee is dat je niet voorspelt op pixelniveau. Je traint een systeem om een abstracte representatie van de video uit te voeren zodat je voorspellingen kunt doen in die abstracte representatie, en hopelijk elimineert deze representatie alle details die niet voorspeld kunnen worden," aldus LeCun.
Het concept is vergelijkbaar met hoe scheikundigen een fundamentele hiërarchie voor de bouwstenen van materie vaststelden.
"We creëerden abstracties. Deeltjes, hier bovenop atomen, hier bovenop moleculen, hier bovenop materialen," legde hij uit. "Elke keer dat we een laag omhoog gaan, elimineren we veel informatie over de lagen eronder die irrelevant zijn voor het soort taak dat we willen uitvoeren."
Dat is in wezen een andere manier om te zeggen dat we geleerd hebben om de fysieke wereld te begrijpen door hiërarchieën te creëren.