Varför minns inte en AI som en människa?

Inledning

Mitra:
‍Hej och välkomna till ett nytt avsnitt av Syntra. I dag kommer vi prata om minne. Och innan vi dyker in i dagens avsnitt – för dig som inte har lyssnat på Syntra-podden tidigare: det här är podden för dig som driver din funktion framåt och vill förstå hur samspelet mellan system och användare påverkar vårt arbetssätt. Vi delar med oss av insikter om hur nya tekniska möjligheter transformerar vårt sätt att arbeta och interagera med teknik. Varmt välkomna tillbaka, Martin och Glenn!

Glenn & Martin:
‍Tack, tack.

Mitra:
‍I dag ska vi prata om minne. Vad är det ni tänker på? Vad är det vi menar med minne egentligen?

Vad menar vi med minne?

Glenn:
‍Jag tycker det är väldigt intressant. Det jag menar med minne i dagens konversation är egentligen agenter – hur de hanterar minne, eller snarare: den agent vi interagerar med till vardags, den har inget minne alls. Och vilka effekter får det?

Martin:
‍Precis. Det är viktigt att börja med någon form av definitionsfrågor. Vad menar vi faktiskt med minne? Det är kontexten för en LLM kanske – en stor språkmodell. Jag tänker att de flesta interagerar till vardags med ett chatgränssnitt, och ett chatgränssnitt kopplat till en LLM har egentligen inget minne. Man försöker ju lösa det, men det är ett diffust problem. En LLM som sådan har inget minne inbyggt – en LLM, eller stor språkmodell som man säger på svenska. Den har ett korttidsminne. Den kommer inte ihåg någonting från en tidigare session.

Glenn:
‍Precis. Det kan upplevas som att den har väldigt gott minne inom en konversation, men det beror på att hela konversationen – varje gång man ställer en ny fråga eller tillför något – skickas till den i sin helhet, inklusive vad man pratade om tidigare i samma session. Vilket egentligen är ganska lustigt: att skicka tillbaka hela konversationen fram till den sista punkten. Men när man har en lång konversation med en AI börjar det bli väldigt mycket att skicka tillbaka. Då är det lätt att en AI börjar gå vilse i vad som egentligen är relevant för den här konversationen. Kanske det vi pratade om i den här konversationen för två veckor sen? Kanske inte relevant, men den har detaljerna med ändå.

Martin:
‍Nej, och om man inte är införstådd med att det är så en LLM fungerar, finns det ju också en risk att man inte byter konversation när man byter ämne – när man pratar om väldigt vitt skilda saker i en och samma, ibland ohanterbar, kontext. Det kan bli väldigt förvirrande.

Varför är minne viktigt för agenter?

Mitra:
‍Men vad föranledde att vi pratar om det nu? Varför är det här ett ämne vi kände att vi måste ta upp?

Glenn:
‍Det är väl den här trenden med att det är så mycket agenter på frammarsch. Om de egentligen ska kunna hjälpa till i vardagen, måste de ju veta saker om vad de har gjort tidigare, om sin omgivning, om sitt uppdrag.

Martin:
‍Ja, och jag tror att vi har nått en punkt nu där AI är så pass smart att den kan göra nästan allting – men den vet inte vad den ska göra, den vet inte vad du faktiskt behöver, för den behöver komma ihåg lite saker om dig. Man pratar ofta om kontext – att de behöver rätt kontext för att lösa sitt problem. Det är inte det vi sitter fast i, utan det är just minnesfrågan. Hur ska den kunna veta vad du behöver?

Glenn:
‍Och det blir tydligt när man tänker på det: så fort jag ska nyttja ett verktyg behöver jag prompta och ge agenten kontext, och så fort jag ska nyttja ett nytt verktyg behöver jag återigen upprepa den processen och ge agenten kontexten. Om det inte finns ett system för det, får man hantera långtidsminnet manuellt.

Martin:
‍Precis, korttidsminnet var vi inne på lite grann redan – det är ganska enkelt att lösa, man skickar bara med hela konversationen. Men långtidsminnet – att komma ihåg saker mellan konversationer – det är en helt annan uppgift. Ofta hamnar man i problem med att man pratar om vitt skilda saker. Ska man verkligen dela minne mellan de här två konversationerna? Om jag ena stunden pratar om att byta bild på en kaffemaskin och andra stunden pratar om produktsök, kanske det inte är relevant att utbyta minnen däremellan.

Glenn:
‍Eller kan det det? Tänk att den kan se mönster däremellan. Fast det kan tyvärr vara mönster den inte borde se. Det kan blanda ihop minnen – det kan vara en abstraktion av något och den tycker att "det här är superrelevant information, vi drar nytta av det vi pratade om i förmiddags" – men det kanske ger ett felaktigt resultat, bara för att modellen inte är smart nog just där och då att skilja på de olika minnena.

Hur hanteras AI-minne idag?

Martin:
‍Så som man löser minne idag är egentligen med att man, via något typ av externt system, letar fram lite text om vad man pratat om tidigare. Men man skickar alltid med det konkreta, specifika minnet – man skickar inte med koncept eller mönster som sådana.

Glenn:
‍Det är ett svårt sätt att förklara, men man skickar bara med text – specifika minnen. Det är ju inte alls som vårt minne fungerar, inte på det sätt vi är vana att förhålla oss till minne.

Martin:
‍Nej, precis. Minnen hänger ihop med olika trådar som kan vara väldigt svåra att definiera utifrån. Och det är inte alltid logiskt. Jag tänker på en röd boll och det får mig att tänka på något helt annat – det är hur associationskedjorna fungerar. De är inte alltid språkbaserade – episodiska minnen kan ju vara väldigt triggas av dofter, synintryck eller situationer. Det förlitar vi oss på i vardagen, men LLMs måste förhålla sig till språk.

Mitra:
‍Men om vi fortsätter prata om problemet – vi har börjat definiera vad vi menar med minne. Vad är det för problematik ni ser, framför allt hos kunderna, men också i takt med att vi börjar använda de här agenterna mer och mer?

Glenn:
‍Det handlar mycket om att kunna få ut fullt värde av de här LLMs. Man kan ha en chatbot – du kan få lite värde av det, men du sparar inte så mycket tid som om man jämför med att göra arbetsuppgifterna själv. Men du kan få en AI som blir mer agentisk och kan ta egna beslut och agera åt dig. Då kan du spara jättemycket mer tid. Då kan AI egentligen leva upp till sitt löfte – om alla de här pengar som trycks in i AI. Marknaden tror ju på att AI kommer att kunna expandera det värde den ger. Men om vi ska kunna uppnå den punkten, behöver vi frigöra oss lite mer från AI:n – vi behöver inte beskriva allting i minsta detalj – och det är det minnet ska lösa.

Selektivt minne och utmaningen att lära sig

Martin:
‍Precis, för en AI måste ju hitta rätt minne vid rätt tillfälle. Om man kanske har en snäv agent som gör en viss sak, kan det vara ganska lätt att peka ut: det är de här specifika typerna av minnen som är relevanta för den operationen. Men det är optimalt – och den måste ju också kunna uppdatera sitt minne selektivt. "Nu vill jag lära mig något nytt om den här grejen och applicera det." Om en operation inte gick riktigt bra, måste den kunna uppdatera sitt minne på ett sätt som gör att den inte skapar villfarelser – att den tror att det felaktiga sättet att göra något är det rätta sättet.

Glenn:
‍Hela det här handlar om att en AI är stokastisk. Om vi tar ett väldigt basalt exempel på när man kan använda AI i verksamheten: du använder en AI för att skapa texter – beskriva en produkt. Enkelt exempel. Men du har behov av att produkter i samma kategori alltid ska följa ungefär samma mönster. Det är jättesvårt att uttrycka för en AI, för den kan inte komma ihåg vad den ska följa. Vi kan inte ens uttrycka för en AI att den ska vara konsekvent, för den kan inte komma ihåg mönster. Det du kan göra är att skicka med andra exempeltexter och säga "så här har jag skrivit". Men då skickar du specifika exempel. Och du som konfigurerar jobbet måste bestämma det i förväg – vilka exempel är relevanta just här?

Martin:
‍Vi vill att AI ska konsultera sig till det i mindre grad och säga: "Känner vi till några produkter som vi vet att vi har fått högt betyg för tidigare? Kanske kan vi plocka fram dem som exempel." Men de beskriver kanske något annat än just det här.

Glenn:
‍Varför kan den inte minnas det? Den kan ju minnas specifikt – om vi implementerar den typen av verktyg kan du hämta in en specifik kontext från något som gjordes tidigare. Men då får du specifikt minne. Du får den exakta produkttexten. Men inte känslan av det – att du minns vad du försökte uttrycka, mönstret i det. En AI kan du ge hela texten som ett minne. Och om du kombinerar det med att en AI är som en härmmaskin – det du matar in är det som den fortsätter i samma riktning – då får du att den beskriver liknande produkter igen.

Mitra:
‍Om jag förstår rätt: jag kan ge en AI instruktioner och en kontext, och den kan komma ihåg den specifika kontexten. Men det finns mer information som jag inte har delat med mig av – information kring exempelvis känslan eller sammanhanget runt den här informationen. Det är information jag kanske inte har gett till AI:n, och därför är den väldigt nischad i det den kan ta del av.

Glenn:
‍Det finns egentligen två utmaningar. Den ena är hur man lagrar informationen på ett sätt som gör den mer lik mänskligt minne. Det är en människa som granskar utkomster av AI-produktion och bedömer – det här var rätt eller det var fel. Men att konsolidera det som ett minne är inte så enkelt. Man letar kanske inte efter ett specifikt exempel. Om jag ska titta på en specifik artikel av typen spik, är det mer ett holistiskt typ av minne – skruv är ganska likt spik och så vidare. Man bygger ett nät av hur man förväntar sig att saker hänger ihop, som inte är konkret. Den andra utmaningen är hur AI ska formulera frågor till en databas för att hämta rätt. Klassisk databaslagring söker ofta på nyckel-värde. Du vet att du har en nyckel och söker efter ett index. Du vet exakt vad du är ute efter. Men om det är ett vagt formulerat behov – mer som mänskliga minnen – hur beskriver du det när du ska hämta ur databasen? "Jag är intresserad av saker som liknar spikar." Hur beskriver du "spikliknande"?

Är mänskligt minne målet?

Mitra:
‍Är målbilden att AI ska få ett liknande minne som vi människor, och fungera på samma sätt? Är det vad vi strävar efter?

Glenn:
‍Vi som människor är det bästa exemplet vi har på minne som fungerar bra. Men det är inte nödvändigtvis den bästa lösningen.

Martin:
‍Jag tror att vi kan ta mycket inspiration från oss människor. Vi har ju superkraften att faktiskt kunna glömma saker. Vi kommer ihåg koncept utan att vi kommer ihåg detaljer – det är ett lite självförstärkande system. Man minns de bra grejerna och man har ingen nytta i vardagen av att minnas de dåliga sakerna. Så man glömmer det man inte använder ofta. Ett sätt som LLM-tillverkarna försöker angripa det här problemet är att utöka kontextfönstret – hur mycket mer text du kan mata in till modellen, att du kan ge den hela böcker. Då kan du ge den hur mycket minne som helst. Men det skapar också en komplikation: du skickar fortfarande inte med en känsla. Du skickar med mycket råinformation och du vet inte vad du frågar efter i en lång text. Och kanske mycket irrelevant information som den måste processa, vilket är kostsamt.

Glenn:
‍Och är känslan det vi egentligen vill skicka med? Eller är det snarare den begränsning vi identifierat? Hur stor skillnad är det egentligen på hur man bör angripa minnesfrågan beroende på användningsområde? Sysslar man med en viss uppgift kanske minnet kärnar ihop på ett visst sätt. Gör man en distinkt annorlunda uppgift, är det kanske en annan typ av minne. Finns det en ultimat perfekt lösning? Antagligen inte.

Kan AI lära sig?

Mitra:
‍En sak jag har hört från flera olika kunder är just: "Kan inte AI lära sig?" Om vi vet att det i det här tillfället brukar uppstå ett visst fel – kan inte den bara lära sig? "Nu vet du att du har att göra med den här situationen. Kom ihåg de tio föregående gångerna då det här hände. Kan du lära dig det?" Är det något ni kan uppnå?

Glenn:
‍Det är den heliga gralen. Det kan ses som en sorts inlärning om det fungerar – att förstå att den har gjort ett misstag och sedan bli bättre. Men de system vi har på plats idag kan faktiskt inte det, överhuvudtaget. Vi stöter på den frågan ofta – när ska man kunna komma ihåg saker? Men att dessutom lära sig är väldigt nära besläktat med minne, och jag har inte sett något som egentligen kan det på ett bra sätt.

Martin:
‍Nej, det är ju teoretiskt fullt möjligt. Det känns som en hanterbar uppgift. Vi har ju tool-calling i våra modeller. De kan utföra uppgifter, påverka ett system, hämta minne från en databas och skriva tillbaka minne till en databas. Men just att förebygga att det finns saker som faktiskt bara är hallucinationer men lagras som riktiga minnen – det kräver ett typ av ramverk som förmodligen går att uppnå. Men är vi där nu? Det är ju ett område som utforskas jättemycket. Det kommer nya verktyg varje vecka. Men alla lider av ett och samma problem egentligen: vem ska äga det här minnet?

Glenn:
‍För jag interagerar med massor av olika verktyg. Jag vill ju att de på något sätt ska dela minne – men ändå inte. Vissa delar av mitt minne vill jag ta med mig mellan olika applikationer, vissa inte. Och lägger man det på modellen eller den specifika agenten – ska vi välja ett globalt minne som vi kommer ihåg i alla ord och situationer? Eller är det minne just för den här LLM:en?

Hur kan företag förhålla sig till minne idag?

Mitra:
‍Hur kan företag idag förhålla sig till minnet? Vad finns det idag som man som användare av verktygen kan göra för att nyttja det bättre i sin avdelning? Finns det något jag kan göra för att påverka minnet och underlätta?

Glenn:
‍Det beror helt och hållet på vilken typ av verktyg man sitter i, vilken typ av agent man använder i vardagen. Om man sitter i Copilot, har det inte ett minne som sådant. Men det har åtminstone tillgång till all företagets dokumentation. Det är ett sätt att hantera en organisations minne – att du kan söka i filer. Men det är ändå bara analogier: det är bara specifika exempel du kan söka in. Du kan inte få in den här "känslan".

Martin:
‍Men egentligen, oavsett vilket system man sitter i, är det ett knep jag ofta använder när jag hoppar mellan system: att be LLM:en om en minnessummering. Den berättar allting utifrån den här konversationen – inte en inbyggd minnesfunktion. Du har sedan allting i ett format, som en text du kan kopiera vidare till nästa system där du behöver innehållet av en konversation. Då kan man egentligen konsolidera – heter det så? – en lång konversation till en mer abstrakt form. Du kan få det uttryckt som kanske tre meningar istället för en femtimmars diskussion. Då kan du ta med den vidare och det fungerar ungefär som ett abstrakt minne. Men det är fortfarande uttryckt i text, inte som en känsla.

Glenn:
‍Men du slipper också att behöva ge prompten eller kontexten igen till den – du kan ta det och använda det som en ingång till en annan modell och klistra in det. Det förbättrar loopen lite.

Martin:
‍Precis. Men det är fortfarande ett manuellt moment – du måste själv be om att göra det, och du måste ta med kontexten vidare till en annan situation. Nästa steg kanske är att man enkelt kan ge en instruktion att göra den här övningen varje gång och skicka vidare den automatiskt. Men det behöver fortfarande nån som håller ordning på det.

Glenn:
‍Så fort man håller på med copy-paste mellan flera olika system tycker jag att vi är i en omogen situation. Vi har inte landat i vad minne ska vara. Vi är i en helt öppen diskussion, och om vi tar samma diskussion om ett år, tror jag att det finns något typ av ramverk på plats – en global standard för hur minne hanteras.

Martin:
‍Precis. Eller några stycken. Det kan finnas situationer och tillämpningar där vi är bättre på ett än ett annat. Eller kanske det finns flera typer av minne – en agent kanske har en lösning för det mer globala minnet som delas mellan agenter, och en annan lösning för just den här specifika LLM-sessionen.

Minne i praktiken

Mitra:
‍Men om vi tittar på kunden i vardagen, och framför allt de yrkesgrupper vi jobbar med – om vi blickar in i deras arbetsprocess: vilka verktyg sitter de med när de ska utföra en arbetsuppgift? De sitter i det här verktyget och utför den uppgiften. Här kan du ta och be om en konsoliderad data för att sen använda den informationen och mata in den i ett annat verktyg. Kan man på något sätt exemplifiera hur en sådan process kan se ut?

Glenn:
‍Många som har arbetsuppgifter tror jag egentligen börjar i någon typ av ärendehanteringssystem, eller i en excelfil du har fått från nångstans, med en arbetsuppgift. "Jag behöver jobba med den här typen av artikeldata, jag ska uppdatera priser på några artiklar och det ska publiceras ut på en e-handel." En normal uppgift kan vara att jag fått en excelfil från en leverantör. Jag behöver läsa den här filen och hitta ett sätt att läsa in den i systemet, transformera den så att den går att importera – och sedan ska den publiceras ut på e-handeln och jag ska validera den. Men de flesta sådana processer – vi har inte introducerat AI i dem ännu. Det finns potential att göra det, vi har inte riktigt landat i var det ska introduceras.

Martin:
‍AI är ju grym på att läsa in excel och transformera den med verktyg för att göra om den så att den går att läsa in. Om det är en del jag använder varje dag i mitt vardagliga arbete – att använda AI till att omvandla en excelfil – då hade det ju gett jättevärde att AI lärde sig hur jag vill att den ska transformera den. Det är egentligen dit vi inte kommit så långt än – att använda AI fullt ut i processerna.

Glenn:
‍Man kan titta på utvecklare. Det är egentligen en grupp som går först, för det är väldigt testbara resultat när du skriver kod. Det ligger väldigt långt fram. Och där ser jag väldigt tydligt de här problemen med minne. Allt när du ska byta minne mellan olika projekt – jag kanske har min favoritkodstack, jag vill alltid programmera i Python till exempel – men varje gång jag startar ett nytt projekt behöver jag beskriva det och vilka funktioner jag vill använda i Python, mitt sätt att skriva det. Det behöver jag ta med mig hela tiden. Varje gång jag startar ett nytt projekt är det blankt minne. Vi kommer att se samma problem när vi introducerar AI i andra roller också, inte bara för utvecklare. Det är den första testfasen.

Martin:
‍Det kan vi känna om vi tar ett mer vardagligt exempel: det är ju när man har haft ett möte och man inte har med sig alla personerna som egentligen borde ha lyssnat in på det mötet och den informationen. Det leder till en mötesserie där man behöver ha fler av samma möte, för man behöver upprepa samma kontext för nästa person. Det är väl det närmaste jag kommer på just nu – ett icke-automatiserat flöde som jag kan relatera till.

Glenn:
‍Det är en jättebra poäng. Det är samma problem – och du märker där hur svårt det är att repetera samma information nästa gång. För du känner det som att "jag har ju kommunicerat det här i förra mötet", men det är nya personer som inte har hört det. Och ett annat fenomen man kan hamna i är situationen där olika personer som faktiskt var med i båda delarna av möteserien har olika minnen. Precis. Och sen analogin till agenterna – jag har varit med i möten där man talat om en sak, sen kommer man tillbaka och: "men det var det vi beslutade om." Det är ett väldigt vanligt problem. Och just det här – att istället för att det här kunde ha blivit ett möte, blir det tre eller fyra. Det är framförallt tidsaspekten. Man hinner inte heller – även om informationen är viktig och ska spridas, finns det en tidsfaktor. Tvärtom kanske man känner att det här är jätteviktigt att repetera, men man hinner inte heller. Det är ett stort problem.

Vart är minnet på väg?

Mitra:
‍Men det som ni var inne på tidigare är att plocka bort steg i de här processerna, minimera dem. Vart är minnet på väg, kan du säga?

Martin:
‍Jag är väldigt fascinerad av hur man kan vektorisera text. Man kan ta en text och skapa en massa siffror av den, så att man kan mäta semantiken – mäta vad den här texten betyder. Ett knep man använder för att minska storleken på LLMs – de är egentligen också bara de här vektorerna, massa långa siffror – om du tar bort de sista siffrorna bakom decimaltecknet, så får du en mindre precis AI. Man skulle kunna göra samma sak på en semantisk vektor – bara trunkera de sista delarna av en text. Så får du en mindre precis innebörd av den här texten. Om du kan mata in det till en AI istället, kan du få koncept, du kan få mönster, men du får inte specifika detaljer. Om du kombinerar det med det traditionella sättet vi löser minne idag, kan du få superkraften som vi människor har – att vi kommer ihåg koncept och kan glömma saker – men du kan fortfarande komma ihåg specifika fakta med det traditionella minnet. Det förtätar minnet.

Glenn:
‍Det var ju superkult! Det är ju... Det är första gången... Du tänker alltså att det är att korta ner texten som vi vektoriserar?

Martin:
‍Jag tänkte att det är att korta ner själva vektorerna, så att de blir mindre precisa. Du vill fortfarande ha vektorerna och meningen, men du vill bara inte ha full precision. Nu ska det vara lite mer luddigt.

Glenn:
‍Absolut. Det jag har stött på relaterat till indexläggning är en vanlig teknik för att få plats i databassystem – man har helt enkelt inte plats med väldigt stora vektorer.

Martin:
‍Det kanske är en... Det är ju mer av nödvändighet, men du tänker att det skulle vara som en feature snarare än en eftergift.

Glenn:
‍Precis. Och att det här minnet man skapar med avkortade vektorer – om vi kallar det så – skulle man kunna skicka in som en förkontext till agenten, innan man börjar skicka in specifika instruktioner och text. Då kan man tillhandahålla det här. Då får man en agent som har ett abstrakt sätt att tänka och som kontinuerligt uppdaterar sin förståelse.

Summering

Mitra:
‍Tiden går väldigt, väldigt snabbt. Vi ska skicka med en liten summering till alla som har lyssnat på dagens ämne om minne. Vad skulle ni vilja skicka med dem?

Glenn:
‍En agent kommer aldrig ihåg allting. Någon måste se till att den får med sig all kontext. Varje gång jag interagerar med en agent – det tror jag är det viktigaste att ta med sig idag. De har inget minne.

Martin:
‍Ibland kan det vara implementerat, men som grundprincip finns det inget minne. Du måste uttrycka allting om och om igen.

Glenn:
‍Precis. Ja, jag håller med. Det är väldigt lätt att bli lurad av sin interaktion med en chatbot. "Jag klickar på dig och frågar vad vet du om mig – den vet en massa grejer." Men det är just för att den har lagrat i ett minne vi sitter i i den konversationen. Den har inte nödvändigtvis ett minne om mig. Den kan uppdatera sitt minne och där har den lagrat saker – det kan jag ändra om den har lagrat felaktiga saker.

Mitra:
‍Det här ska bli väldigt intressant att följa. Båda var inne på att man inte kommit så långt i processerna att man börjar nyttja AI fullt ut. Så jag är övertygad om att när vi börjar nyttja de här verktygen – och vi sitter i arbetsprocesserna och ska ge den kontext igen och förklara igen – kommer man nog att upptäcka en hel del saker som begränsar och förändrar, och som är kopplat just till minnet utöver de andra smarta funktionerna som är inbyggda. Så det ska bli spännande att följa.

Glenn:
‍Stort tack för detta!

Martin:
‍Jättekul att ha ett samtal med er här – den här gången om minne.

Mitra:
‍Stort tack till er som har lyssnat idag. Vi ser fram emot att höra av er igen. Nästa gång!

Glenn & Martin:
‍Ha det fint! Hejdå!

Du har lyssnat på Syntra, en podd från Fiwe.