Ekspertgruppen er kommet med sin anbefaling i forhold til hvordan blandt andet gymnasiesektoren bør forholde sig til GenAI og andre digitale hjælpemidler. Og det er til dels at GenAI bør integreres i undervisningen.

Hvilke typer af argumenter har vi at gøre med for at integrere GenAI i undervisningen? Jeg synes at have identificeret tre arketyper af argumenter - til dels på baggrund af ekspertgruppens arbejde (rapporten, kronikken, SoMe-opslag og oplæg af deltagerne i ekspertgruppen) og andre interessenter - EdTech, lærere, forskere og nysgerrige sjæle - både danske og internationale. De tre arketyper er som følgende:

  • GenAI er fremtiden og derfor skal vi klæde eleverne på til at kunne forholde sig til den og klare sig på fremtidens arbejdsmarked

  • Eleverne bruger alligevel GenAI, så vi kan ligeså godt anvende det i undervisningen

  • GenAI er en fantastisk mulighed for at lave et massivt læringsløft gennem 24/7 tilgængelig AI-tutor og muligheden for adaptiv læring

Jeg vil prøve at diskutere disse tre argumenter - en ad gangen for det kræver nok lidt plads at komme de forskellige nuancer igennem. I denne artikel om GenAI er fremtiden og hvorvidt vi derfor så skal klæde eleverne på til at kunne forholde sig til den og kunne klare sig på fremtidens arbejdsmarked.

Mit eget referencepunkt er selvfølgelig som lærer, men også som en nysgerrig sjæl og vidensjunkie. Men jeg vil bestemt ikke påstå at være ekspert, så hvis der er noget jeg misforstået eller misrepræsenterer modtager jeg gerne den information.

Er GenAI fremtiden?

Ja det er det nok - som minimum på en eller anden måde. Men hvordan? Chatbots som vi møder som de venlige service-organer på alverdens hjemmesider er nok kommet for at blive. De er meget afgrænsede GenAI. De er finetunet (i ordets stærkeste betydning) til at svare inden for en meget afgrænset ramme og vil derfor heller ikke begå fejl og vil i øvrigt ikke være ubehøvlet eller lave temmelig upassende output. De kan stadig være irriterende, men vil alt i alt formå at lave den indledende hjælp for mange forbrugere/borgere/klienter. Men vi kommer nok også til at møde mere end det. GenAI vil også fungere som en eller anden form for legeplads for alverdens trolde, fake-news generatorer og meme-fabrikanter. Og det selv i en version af fremtiden, hvor de store platforme mere eller mindre lukker ned. Da LLM'erne nu er ude af sækken og kan downloades og køre på en et lokalt netværk. Så hvis du lokalt har computerkraften kan du køre de fleste af de tilgængelig open source-modeller. På den måde vil LLM'er også kunne eksistere som en del af forskellige forskningsmæssige processer, som kan automatiseres. Herunder særligt transskribering af lyd, kodning af tekst og til at lave indledende analyser af data. Automatiseringer er også relevante i både virksomheder og offentlige institutioner, hvor systemer med human-in-the-loop formentlig vil blive sat op. I høj grad hvor der er eget ejerskab over model og data. Funktioner som i øvrigt ikke al sammen er såkaldt GenAI - der skal vi jo have et egentlig genereret output.

Den seneste tid antyder også at "big tech" er i fuld gang med at søge en løsning på omkostningsudfordringerne med LLM'erne - nemlig at de koster mange, mange penge at køre. Derfor søger man at lave mindre modeller (som nogle kalder SML), der kan køre på private enheder. Det vil betyde et tab i kvaliteten af output, men det kan måske accepteres af forbrugerne på Instagram?


Enshittification

Det er meget sandsynligt at LLM-platforme/værktøjer vil gennemgå den nyklassiske proces "enshittification". En proces der grundlæggende starter fordi der er ubalance mellem indkomst og udgift for udbyderen. Hele vejen gennem den moderne IT's historie (siden internettets folkelige gennembrud i 90'erne) har der været masser af eksempler på det. Det starter normalt ud med at et software-produkt starter med at være freemium - dvs. "gratis". Ganske simpelt for at vinde markedsandele og så håbe på at man som produkt har gjort sig mere eller mindre et nødvendigt produkt. Som de fleste efterhånden godt ved eksistere gratis produkter jo ikke rigtig. I en dansk velfærdsstat er "gratis lægehjælp" skatteyderbetalt. På nettet er en "gratis platform" oftest betalt med brugerens data (eller alternativt skatteyderbetalt). Men selvom data jo er den såkaldte digitale tids "olie", så opvejer det ikke omkostningerne ved det "gratis" forbrug. Konsekvensen kan være en forringelse af produktet, et skift væk fra at være freemium og/eller indførsel af et abonnementssystem. Og måske fortsætter man med at indhente data.

Det er ganske sandsynligt at LLM'erne som platforms-fænomen kommer til at gennemgå en lignende proces. Og måske endnu hurtigere end mange af de tidligere eksempler. Fordi omkostningerne ved produktet er endnu højere og konkurrencen virker også skarpere. Konkurrence formodes normalt at skabe bedre produkter. Det gør det nok også for det meste, men ikke altid. Og hvad konkurrere man eventuelt om? Om at skabe høj effektivitet til arbejdsmarkedet, om at afhjælpe verdens udfordringer (fx FN's verdensmål) eller for at fastholde brugerne på diverse SoMe-platforme? Er stærkere fastholdelsesmekanismer til Instagram eller SnapChat et bedre produkt? Det der skaber bedre regnskaber i et tech-firma er ikke nødvendigvis noget, der også forbedre samfundet bredt eller samfundsøkonomien eller noget andet bredere.

For LLM'erne virker omkostningsudfordringen også som en potentiel barriere for videre udvikling. Der er i skrivende stund ingen garantier for at vi ser nævneværdige forbedringer i de mest kraftfulde LLM'er fra OpenAI, Google og Anthropic - selvom fx OpenAI har bekendtgjort at der kommer en version 5. Omkostningsudfordringen er også koblet med dataudfordringen, hvor god data ikke er uendelig. Store dele af internettets tekst er blevet frasorteret af forskellige årsager. Dertil tyder det også på at LLM'erne også ramt et niveau for "diminishing return" af mere træning (kilde 1 og 2)- hvilket betyder at modellerne nu kræver en stigende mængde mer-data for en mindre forbedring.

Princippet for "aftagende gevinst" illustreret.


Så i stedet for en eksponentiel forbedring er der nærmere opstået et eksponentielt behov for mer-data. Umiddelbart har LLM'erne også en hård grænse i forhold til at mindske fejlapproksimering - de kan jo ikke blive mere en 100 % præcise! Så det virker også logisk, at LLM'erne træningseffekt mindskes efter et vis niveau. Der er dog også potentiale til at forbedre modellerne på forskellige kompetencer eller parametre. Potentialer kan også ligge i en omkostningseffektivisering ved at ændre i arkitekturen, så modellerne kræver mindre regnekraft og derved mindre energi. Kobling på internetsøgning er allerede implementeret og internettet har kun "så meget" information.

I værste tilfælde bliver LLM'erne dårligere. Helt konkret tales der om muligt modelkollaps. Fænomenet skyldes at modellerne begynder at træne på eget output. Det kan svække modellens evne til at skrive varieret - ganske simpelt fordi modellen har en tendens i ordvalg, syntaks osv. Så hvis den bliver trænet mere og mere på ensformet tekst vil det kunne skabe en potentiel selvforstærkende effekt af degression. Det kan formentlig modvirkes, men kræver vedligeholdelse. Formentlig dyr vedligeholdelse.


Integrationen på arbejdsmarkedet

Som nævnt vil vi med ret stor sikkerhed støde på GenAI i fremtiden. Udover service-chatbots vil vi formentlig også møde dem i mange situationer på arbejdsmarkedet. Men hvordan? Bent Dalager har beskrevet hvordan sygeplejesker kan bruge stemmegenkendelses- og transskriberingsværktøjer til at udarbejde rapporter "on-the-go" og mindske en del af den tid, der ellers ville blive brugt med bureaukratiske processer ved computeren. Og derved vinde mere tid til den såkaldte kerneydelse. Tilsvarende kunne man forestille sig at GenAI kan bruges til at udarbejde fortolkninger på tests som blodprøver og scanninger mv. Men det er formentlig i en form, hvor sygeplejersken eller lægen reelt ikke har den slags interaktion med en GenAI, som vi lige nu kender til - nemlig promptfeltet.

I skrivende stund har Google lanceret værktøjet Google AI Studio, som giver brugeren lidt flere muligheder udover bare at prompte. SkoleGPT leger lidt med en lignende ramme. Her har man som bruger mulighed for at sætte temperatur (som lidt forenklet bestemmer hvor præcist eller kreativ du vil have modellen til at være) samt top-p (som angiver mængden af ord, der skal indgå i sandsynlighedsrummet for det "næste ord"). Tilsvarende har forskellige virksomheder og open source-fællesskaber udviklet desktop-applikationer, hvor man lidt lettere kan prøve kræfter med forskellige sprogmodeller. Så slipper man lidt uden om de traditionelle CLI'er (Command-Line Interface) - en verden der stadig eksistere på vores PC'er, men som de populære styresystemer (OS - Windows og iOS) har gjort fuldstændig overflødige for den almindelige bruger. Men løsninger beskrevet ovenfor virker lidt til at være skabt af dygtige programmører til lidt mindre dygtige programmører. De skyder formentlig over den potentielle almindelige bruger.

Måske er det bare mig, men jeg tror ikke den gængse bruger gider forholde sig så meget til sådan noget. Og slet ikke CLI'erne. De vil bare gerne have et output. Så derfor er det sandsynligt at i lukkede domænefelter, som fx et sygehus eller en privat virksomhed vil være, vil der blive udviklet letanvendelige brugerflader (UI). Så brugeroplevelsen (UX) bliver så gnidningsfrit som muligt. Og det vil formentlig også inkludere at promptingfeltet som default er gemt væk eller måske slet ikke kan tilgås. Brugeren vil kunne krydse nogle bokse af og klikke på "output"-knappen. Det vil således i højere grad ligne meget af det man kender i dag. Indenfor dataanalyse og machine learning (ML) har der inden offentliggørelsen af GenAI været udviklet værktøjer. Det er ellers felter der kræver relativ tung forståelse af programmering og nogen forståelse for matematik. Men de var gjort lettere tilgængelig for almindelig dødelige mennesker, at foretage kompleks dataanalyse eller køre maskinlæringsmodeller på deres data. Hjemmeside-opsætning er blevet drag'n'drop - det er no-code løsninger. Den gennemsnitlige bruger vil nemlig gerne have ease of use. Og prædefineret interaktioner med GenAI i lukkede domænefelter vil formentlig blive udbredt - de steder hvor man tør at implementere teknologien.

CoPilot Studio fra Microsoft, som giver mulighed for at lave lidt mere komplekse handlingsmønstre, giver et indblik i hvordan noget af det måske kan komme til at se ud. Promptingen og de tekniske kundskaber er minimal. Meget mere afkrydsning og kliks med musen. Temperatur-begrebet er forsvundet. Man støder heller ikke på noget med token-counts. Meget af det vil ligne makro-systemerne, som de fleste pro-brugere af fx Excel kender til. Noget som kan sættes op med både programmeringsviden og bare med kliks. Førstnævnte giver selvfølgelig mere fleksibilitet, men det vil ikke være løsningen for den gængse bruger. Stadig relativt komplekst, men bestemt noget der vil være mere spiseligt for mange.

Microsoft har selvfølgelig også lanceret deres CoPilot i deres applikationer, hvor den fungere som en applikationsspecifik assistent. Det gør prompting-kravet mere simpelt fordi prompting-mulighederne vil være afgrænset. Det vil mange af os fx støde på i mail-programmerne fremover. Men det skal gøres let, lækkert og tilgængeligt for brugeren.

Derfor vil vi fremover også få brug for masser af programmører og designere, der kan kode systemerne og lave opsætningen af lokale LLM'er for store, mellemstore og små virksomheder. For den offentlige sektors mange institutioner. Både in-house og som SAAS (Software as a service) løsninger. Og de vil i langt de fleste tilfælde blive designet med "human-in-the-loop" med mulighed for at tjekke output - pga. risikoen for fejlapproksimeringer. Og nogle tiltag vil vinde stort indpas og andre blive smidt på historiens software-losseplads. Nogle vil blive integreret i de arbejdsplatforme vi allerede kender i dag, andre vil blive dyre abonnementer.

Integrationen i fritiden

Det er sandsynligt at vi her i højere grad vil støde på promptingfeltet. Et felt de fleste nok også har støt på før november 2022 - uden de vidste det. Nemlig via de service-chatbots, der allerede eksisterede inden. Det er bare beskrevet hvad man kan bede disse chatbots om. De større SoMe-platforme har nu lanceret indbyggede GenAI-funktioner. En del af dem dog igen uden, at brugeren skal prompte. Nogen der fx kender til filtre i SnapChat? Som i øvrige har været tilgængelig en del år. Og er et eksempel på prædefineret interaktioner.

Promptingen vil blive brugt på samme måde som informationssøgningen og det er sandsynligt at prompting-søgningen vil vinde andele overfor den traditionelle informationssøgning, som vi kender fra søgemaskinerne - først og fremmest Google. Simpelt hen fordi den er mere intuitiv. Ikke bedre! Mange elever behandlede Google som en prompting-maskine inden tilgængeligheden af GenAI. De skrev spørgsmål i søgefeltet og forventede et præcist svar. Hvor den bedste søge-metode dog var og er at anvende kombinationer af relevante søgeord. Eventuelt med kombination af udeladelser eller præcisering af domæne eller filtype mv. Men igen den gængse bruger vil have ease of use. Produktet bliver dog også bare derefter. I årene op til lanceringen af OpenAI's ChatGPT blev Google dog også bedre til at svare på spørgsmåls-inputtet. Måske fordi teknologien var blevet bedre til at udlede de vigtige ord i sætningen - lidt ligesom transformer-arkitekturen gør det i sprogmodellerne.

Personligt ville jeg dog hellere at eleverne skulle lære at lave ordentlig informationssøgning, da den ganske enkelt er betydelig bedre. Men det får vi nu formentlig mindre plads til, hvis vi også skal lære dem at prompte. Og de i højere grad vil søge informationen i promptingfeltet fremfor søgefeltet - fordi det er lettere. På promptingens præmisser fremfor søgningens præmisser.

Promptingen vil sandsynligvis også blive integreret, til en vis grad, i en række andre hverdagsprodukter. Der har længe været chatbotter som Siri, Google Assistant og Alexa. De vil formentlig blive opdateret eller udskiftet (hvis de ikke allerede er det) med bedre assistenter, som vil køre på de nye generationer af sprogmodeller. Og som nævnt vil SoMe-applikationer have chatbots integreret i UI, som brugeren kan interagere med - få til at komme med forslag til film, feriedestinationer, opskrifter; lave kunstige billeder og måske små videoer eller bare gifs; til at lave brugerdefineret billedefiltre, så vi alle kan ligne miss eller mr. perfect eller - lidt bedre - noget fjollet.

Sidst og ikke mindst kan det forestilles, at der vil blive udviklet personlige AI-agenter, som man kan interagere med omkring sit helbred, økonomi, kalender, planer, personlig udvikling osv. Det er fx en af finansmanden Lars Tvedes hedeste drømme ift. videreudviklingen af kunstig intelligens. Igen vil det nok variere hvor meget, der er behov for prompting og hvor meget der bliver indlejret i strukturer, hvor agenten er "selvkørende" og agerer på fx vores motionsmønstre og hvilke flueben i indstillingerne vi har krydset af. Men hvor skal disse agenter køres fra - lokalt eller server? Og hvem vil eje data? Og hvad vil de eventuelt koste?


Nogle af usikkerhederne

Som nævnt tidligere er omkostningerne en væsentlig usikkerhed. De helt store sprogmodeller vil fortsat kræve internetadgang og vil være omkostningstung at anvende. Abonnement eller pay-as-you-use vil blive påkrævet og omkostningerne vil således påvirke hvem og hvor meget værktøjerne kan bruges.

Der vil formentlig blive - eller der bliver - testet med on-device løsninger - eventuelt med minimal træk på serverkraft. Det vil kræve at enhederne er bygget til at kunne køre de nogle af de tunge beregninger lokalt. De fleste nyere gamer-computere kan til en vis grad kunne køre mange af modellerne (men ikke de tungeste) lokalt pga. deres kraftfulde GPU'er (Graphical Processing Unit). Men der er også en proces med at udvikle alternative chips-løsninger - fx såkaldte NPU'er (Neural Processing Unit), som er designet til netop nogle af de beregninger som er nødvendige i AI-modellerne. Apple's M-processorer kan også levere en del regnekraft og Apple har nok også haft fokus på at kunne være AI-kompatibel. Tilsvarende vil de nyeste mobiltelefoner også kunne køre nogle mindre sprogmodeller lokalt. Fx har Samsung lanceret deres nyeste topmodeller som værende AI-kompatibel. Men umiddelbart er det ikke uden at trække på serverkraft - endnu. Således vil nogle af de tungere AI-funktioner - efter planen - kræve abonnement efter 2025. De mindre modeller - de såkaldte SML'er - kan måske blive en løsning - men som nævnt vil outputtet nok også blive lidt dårligere og mere ustabilt.

Så den enkelte forbrugers økonomiske formåen kan meget vel komme til at betyde noget for adgangen til flere funktioner og til de mest præcise modeller. Og naturligvis adgangen til den lokale regnekraft.

Efterspørgslen vil have betydning for udbuddet af sprogmodellerne og vi vil formentlig se en udmattelseskonkurrence mellem de større aktører: Microsoft, Google og Amazon. Måske vil Tesla, Apple og Nvidia også byde sig til. Og kinesiske og indiske selskaber, hvis vi i Vesten lukker dem ind på markedet. I de bedste af verdener kan det føre til et "race to the bottom" pga. konkurrencen ift. omkostning og energiforbrug - dvs. effektivisering - og således også pris for forbrugeren, som så måske kan "nøjes" med at afgive sin data som betaling. Men kan også medføre enshittification efter en konsolideringsperiode.


Konsekvenser for undervisningen?

Men hvad betyder det så for hvad vi skal forberede eleverne til? At kunne prompte? At kunne interagere med GenAI på kreative måder? At være kritiske overfor teknologien ligesom de skal være kritiske overfor algoritmerne på SoMe? Som generelt fænomen i samfundet, ja. Og som dannede kritiske borgere og forbrugere, ja. Altså ikke meget anderledes end vi allerede skulle med andre - både analoge og digitale - fænomener i samfundet.

Som produktive medarbejdere eller iværksættere? Det kommer nok an på hvad de skal lave. Men mit personlige bud er at interaktionen med platforme som OpenAI's ChatGPT - på den måde de fleste mennesker kender til - ikke vil være en så efterspurgt kompetence. Den individuelle prompt-engineering kompetence vil formentlig ikke blive så efterspurgt. Det vil være nok være en kompetence, der vil være integreret i en bredere AI-kompetenceramme. Altså hvor vedkommende er i stand at designe og opsætte systemer for sine kolleger eller brugere. Altså en der i overvejende grad vil sidde i IT-afdelingen. Måske vil systemet interagere med ChatGPT via api (application programming interface), men det vil ikke være en information, der vil være relevant for hans kolleger. Fordi der er selvfølgelig sikret en data-aftale, der gør at OpenAI ikke må gemme virksomhedens data (ik sandt :) ?).

Så vi skal som uddannelsesinstitution selvfølgelig give dem indsigt i mulighederne og begrænsningerne i GenAI - men egentlig også AI generelt. Herunder algoritmer og øvrige principper i maskinlæring (men en del af dette ligger over niveau af hvad man kan nå i gymnasiesektoren). Men skal vi uddanne dem til såkaldte superbrugere, der er særdeles dygtige til at prompte? Eller skal de uddannes til teknikere? Der er efterspørgsel efter teknikere, men de skal jo ikke alle sammen blive det og kompetencerne til dette bør nok arbejdes på i specifikke fag som fx Informatik eller lignende. Superbruger-funktionen bliver måske ikke så efterspurgt igen - i de fleste tilfælde vil vi møde prompting-interfacet i et mere lukket domæne, der vil kræve mere simpel interaktion.

Den begrænsede uddannelsestid vil formentlig stadig være bedst udnyttet ved, at fokusere på at give de studerende solide domæne- og fagspecifikke kundskaber og kompetencer. Kundskaber og kompetencer der vil være meget centrale i forhold til at kunne forholde sig til den verden de skal ud i - analogt og digitalt. Og vil give dem viden og færdigheder, der vil gøre dem i stand til at være kritiske overfor værktøjer som GenAI og brugen deraf.

Jeg ved det selvfølgelig ikke - altså hvordan fremtiden vil se ud, men har her prøvet at diskutere nogle forskellige mulige måder GenAI, og LLM'er lidt bredere, vil indgå i fremtiden samfund. Og mit bedste bud - for at opsummere - er at det ikke vil se forfærdeligt meget anderledes ud end det gør nu eller før november 2022. I hvert fald ikke i den nærmeste fremtid. Efter chokket vil vi fortsætte den inkrementelle udvikling af AI - to skridt frem et tilbage. Med automatiseringer og effektiviseringer. Nu også med et potentielt generativt output fra de automatiseringsprocesser. Behov for ny regulering og ny tilpasning. Og så to skridt frem igen. Indtil vi måske får et nyt chok med en ny og stærkere form for generativ model. Der er i hvert fald nogle der har store drømme for LLN-teknologien (Liquid Neural Network), som ser ud til at kræve mindre ressourcer og har en bedre - og indlejret - tilpasningsevne.