TimbedIn English

Er jeres software et AI-system? En trappe i seks trin

AI er kommet ind i økonomi-, HR- og CRM-systemerne med en opdatering. En trappe i seks trin viser, hvornår software bliver et AI-system efter AI-forordningen, hvad leverandør og kunde skal kunne dokumentere, og hvorfor det er brugen, der afgør risikoen.

Jeg får tit det samme spørgsmål fra ledere og leverandører: »Vi har AI i produktet nu. Er vi så omfattet af AI-forordningen?«

Svaret afhænger af to ting, som ofte bliver blandet sammen. Den første er, om det overhovedet er et AI-system. Den anden er, hvad det bruges til. Det første afgør, om forordningen gælder. Det andet afgør, hvor meget den kræver.

Til det første bruger jeg en trappe i seks trin. Den er ikke juridisk præcis ned til sidste komma, og det er heller ikke meningen. Den skal hjælpe jer med at placere jeres egne systemer og stille de rigtige spørgsmål til jeres leverandører.

Udleder systemet selv, eller følger det regler?

Forordningen kalder noget et AI-system, når det ud fra det input, det får, selv udleder, hvordan det skal lave sit output: en forudsigelse, en tekst, en anbefaling eller en beslutning. Det kan også lære, mens det er i brug, men det er ikke et krav.

Det, der falder udenfor, er software, hvor mennesker har skrevet alle reglerne. Kommissionen nævner i sine retningslinjer også simpel databehandling som sortering, filtrering og statistik, faste tommelfingerregler som i et klassisk skakprogram, og simple forudsigelser som et gennemsnit af sidste uges tal. Kommissionens egne eksempler er en database, der finder alle kunder, som har købt et bestemt produkt sidste måned, et almindeligt regneark uden AI-funktioner og et salgsdashboard, der viser tallene uden at anbefale, hvad man skal gøre ved dem.

En AI-model er heller ikke i sig selv et AI-system. Den bliver det først, når nogen bygger noget rundt om den, for eksempel en brugergrænseflade. Den virksomhed, der bygger et produkt oven på en model fra OpenAI, Anthropic eller Google, er derfor selv udbyder af et AI-system. Modeludbyderen har sine egne pligter, men de dækker ikke produktet.

Trappen

Trin Hvad det er Kendte eksempler AI-system?
0 Traditionel software Mennesker har skrevet alle regler. Samme input giver samme output Et regneark uden AI-funktioner, en kundedatabase Nej
1 Software med automatik Regler, filtre, sortering, statistik, gennemsnit Regler i Outlook, faste regler i bankafstemningen i Dinero og Business Central Nej
2 Software med én AI-funktion Et afgrænset kald til en AI-model inde i et ellers almindeligt produkt Gemini-opsummering i Gmail, Copilot i bankafstemningen i Business Central Funktionen ja, resten nej
3 AI-drevet applikation Kernen er modellens svar på brugerens input, med instruktioner, data og kontekst rundt om ChatGPT, Microsofts Copilot til virksomheder Ja
4 Agent Tager selv flere skridt, bruger værktøjer og handler på brugerens vegne Payables Agent i Business Central, HubSpots Customer Agent Ja
5 Egen trænet model Leverandørens egen model, trænet på data og løbende opdateret, hvor output styrer beslutninger Stripe Radar mod betalingssvindel, Netflix’ anbefalinger Ja

Trinene adskiller sig på fire punkter: hvem der har skrevet logikken, hvor central AI er for produktet, hvor selvstændigt systemet handler, og om modellen er færdig, eller om den bliver ved med at lære.

Placér funktionen, ikke produktet. De filtre, man selv sætter op i Gmail, er trin 1. Spamfilteret bruger maskinlæring. Opsummeringen med Gemini er trin 2. Samme produkt, tre placeringer.

AI er allerede kommet ind i de systemer, I bruger

De fleste virksomheder har aldrig besluttet at købe et AI-system. Det kom med en opdatering. Her er nogle af de systemer, mange danske virksomheder bruger, placeret ud fra leverandørernes egen dokumentation.

Økonomi. Microsofts Business Central viser hele trappen i ét system. Bankafstemningen har faste matchregler, som Microsoft selv kalder den traditionelle vej uden AI. Det er trin 1. Det, reglerne ikke kan matche, kan Copilot prøve at finde, for eksempel en indbetaling, der dækker flere fakturaer på én gang. Det er trin 2, og intet gemmes, før brugeren har godkendt det. Payables Agent holder øje med en indbakke, læser leverandørfakturaer og laver kladder til købsfakturaer med sin egen brugeridentitet. Det er trin 4, men agenten bogfører ikke selv.

Dinero foreslår et match i bankafstemningen, når dato og beløb stemmer. Det er en regel. Dinero har også en AI-agent, som ifølge vilkårene bygger på sprogmodeller og kun giver vejledende forslag. Den hedder agent, men så vidt vilkårene beskriver den, handler den ikke selv, så den står på trin 2 eller 3. Navnet siger ikke noget om placeringen.

I Pleo skriver administratoren udgiftspolitikken i almindeligt sprog, og AI vurderer udgifterne op mod den. Mennesker har skrevet reglerne, men det er en model, der fortolker dem. Efter min vurdering er det derfor et AI-system.

HR og rekruttering. I Planday kan den, der lægger vagtplanen, vælge mellem regelbaseret matchning og anbefalinger, som ifølge Planday lærer af virksomhedens vagtmønstre. Den første er trin 1. Om den anden er AI i forordningens forstand, afhænger af, hvordan den lærer, og det er et spørgsmål til leverandøren. Workdays Peakon opsummerer medarbejdernes kommentarer med generativ AI, en typisk funktion på trin 2.

Det er i rekrutteringssystemerne, det for alvor bliver interessant. Teamtailors Co-pilot vurderer, om en kandidat opfylder jobbets kriterier, og kan sortere dem, der opfylder flest, øverst. Teamtailor skriver selv, at visse af selskabets AI-funktioner er klassificeret som højrisiko. Talentech, som også har overtaget det, der tidligere var HR Managers rekrutteringsværktøj, giver ansøgninger en score fra 1 til 10, og HR-ON beskriver en AI-score fra 1 til 5 stjerner.

Teknisk står den slags funktioner tit på trin 2: én funktion, der sender ansøgningen og jobopslaget til en sprogmodel. Men formålet er at vurdere ansøgere, og det er et af forordningens højrisikoområder. Bruger I en af dem, så spørg leverandøren, hvordan funktionen er klassificeret, og bed om begrundelsen på skrift. Funktioner, der kun skriver jobopslaget, er en anden sag. De laver tekst og vurderer ingen.

CRM og kundeservice. SuperOffice kan foreslå, hvilken kategori en kundehenvendelse hører til. Modellen trænes på et udvalg af virksomhedens egne henvendelser, og medarbejderen godkender hvert forslag. HubSpots Customer Agent svarer kunder på chat og andre kanaler, udfører handlinger, I har sat op, som at booke et møde, og giver samtalen videre til et menneske, når den er usikker. Det er trin 4, og fordi den taler direkte med jeres kunder, skal de vide, at det er en AI.

Hvad leverandør og kunde skal kunne dokumentere

Forordningen bruger to ord, som er værd at kende. Udbyderen er den, der udvikler systemet og sætter det på markedet, typisk leverandøren. Idriftsætteren er den virksomhed, der bruger det i sit arbejde, altså kunden. Den tredje part er udbyderen af den almene model, for eksempel OpenAI, Anthropic eller Google.

Trin 0 og 1. AI-forordningen stiller ingen krav. Leverandøren bør alligevel have en kort, skriftlig begrundelse for, at produktet ikke er et AI-system, for kunderne spørger. Kunden bør have placeret systemet, så det ikke dukker op som et hul, når nogen spørger. Og husk, at medarbejderne sandsynligvis bruger ChatGPT eller lignende ved siden af. Så er I idriftsætter alligevel.

Trin 2. Leverandøren skal kunne vise:

  • Hvilke funktioner der bruger AI, og hvilken model fra hvilken udbyder der ligger bag
  • Aftalen med modeludbyderen: hvor data behandles, om de bruges til træning, og hvor længe de gemmes
  • At modeludbyderen står som underdatabehandler i databehandleraftalen, og hvordan en eventuel overførsel til USA er dækket (Data Privacy Framework eller standardkontraktbestemmelser)
  • At personalet har de AI-færdigheder, det kræver at bygge og drive funktionen
  • Om genereret indhold skal mærkes maskinlæsbart som kunstigt genereret. Rene redigeringshjælpere er undtaget, så det kræver en konkret vurdering

Kunden skal kunne vise, at de medarbejdere, der bruger funktionen, ved, hvad den kan og ikke kan, at den ikke bruges til et højrisikoformål, og at listen over underdatabehandlere er opdateret. Hold øje med, når en opdatering bringer en ny AI-funktion med, for det er tit sådan, de kommer ind.

Trin 3. Leverandøren skal kunne vise det samme som på trin 2 og desuden:

  • At brugerne får at vide, at de taler med en AI, medmindre det er indlysende
  • Hvad systemet er beregnet til, og hvad det ikke må bruges til. Det er her, risikoklassen starter
  • Den dokumentation om modellens evner og begrænsninger, som modeludbyderen har pligt til at stille til rådighed
  • Hvis systemet kan bruges inden for et højrisikoområde: en skriftlig vurdering af, hvorfor det ikke er højrisiko. Konkluderer leverandøren det, skal systemet også registreres i EU’s database

Kunden skal have en brugspolitik for, hvad medarbejderne må bruge systemet til, og hvilke data de må lægge ind. Kunden skal også kunne vise, hvad systemet faktisk bruges til, og hvorfor det ikke er højrisiko. AI-genererede billeder, video og lyd, der ligner virkeligheden, skal mærkes, og tekst til offentligheden om samfundsforhold skal enten mærkes eller have været igennem redaktionel kontrol. Indebærer brugen af persondata en høj risiko for dem, det handler om, kræver databeskyttelsesreglerne en konsekvensanalyse.

Trin 4. Forordningen har ingen særlige regler for agenter. Men en agent gør ting: den sender, gemmer, bestiller og ændrer. En fejl er ikke længere et dårligt svar, men en handling. Leverandøren skal derfor også kunne vise, hvilke værktøjer og systemer agenten kan bruge, hvad den må uden at spørge, hvordan handlinger logges, og hvordan et menneske stopper den. Kunden skal kunne vise, at agenten kun har adgang til det, den skal bruge, hvem der godkender det, den ikke må gøre alene, og at nogen ser loggen igennem.

Trin 5. Leverandøren skal også kunne vise, hvor træningsdata kommer fra, og hvilket grundlag der er for at bruge dem, og hvordan modellen testes og overvåges, når den ændrer sig. Bruger leverandøren kundernes data til at træne sin egen model, er leverandøren ikke længere kun databehandler for kunden på det punkt, og det skal stå i aftalen. Kunden skal vide, om egne data bruges til træning, og hvem der kan underkende systemets beslutninger.

Trinnet afgør, om det er et AI-system. Brugen afgør risikoklassen

Det er hele pointen med trappen. Forordningen inddeler efter brug, ikke efter teknik:

  • Forbudt, for eksempel at aflæse medarbejderes følelser ud fra ansigt eller stemme eller at bedømme folk socialt
  • Højrisiko, når systemet bruges inden for de områder, forordningen lister: blandt andet rekruttering og personaleledelse, optagelse på og bedømmelse i uddannelse, kreditvurdering, forsikring, adgang til offentlige ydelser og kritisk infrastruktur, og AI som sikkerhedskomponent i produkter som maskiner og medicinsk udstyr
  • Gennemsigtighed, for chatbots og for genereret indhold
  • Resten, hvor kravene er AI-færdigheder og almindelig omtanke

Tag ChatGPT. Bruger marketing det til et udkast til nyhedsbrevet, er der ikke meget at dokumentere. Bruger HR det til at sortere ansøgere, er det samme værktøj pludselig i et højrisikoområde. Og fordi I selv har ændret formålet, kan I ende med at blive betragtet som udbyder af et højrisikosystem, og så gælder højrisikokravene jer. Den fælde er let at gå i, og den sidder ikke i teknikken. Den sidder i en beslutning, ingen har skrevet ned.

Det virker også den anden vej. Stripe Radar står på trin 5: en model, Stripe selv har trænet på data fra hele sit netværk, og som blokerer betalinger, den vurderer som svindel. Alligevel er den ikke højrisiko, for svindelopdagelse er udtrykkeligt holdt ude af højrisikoreglerne for kreditvurdering. Det højeste trin betyder ikke den højeste risiko.

Hvornår gælder hvad

Forordningen blev ændret i juli 2026, og flere frister er flyttet.

Fra Hvad
2. februar 2025 Forbuddene og kravet om AI-færdigheder. Efter ændringen skal virksomheder støtte udviklingen af medarbejdernes færdigheder, men ikke garantere et bestemt niveau
2. august 2025 Pligterne for udbydere af almene modeller
2. august 2026 Gennemsigtighed: chatbots, mærkning af genereret indhold, deepfakes
2. december 2026 Mærkning af genereret indhold for systemer, der var på markedet før 2. august 2026, og nye forbud mod seksualiserede deepfakes uden samtykke
2. december 2027 Højrisikokravene for de listede områder, som rekruttering, uddannelse og kredit
2. august 2028 Højrisikokravene for AI i regulerede produkter

Kommissionens retningslinjer for, hvornår noget er højrisiko, ligger stadig kun som udkast.

To ting, I kan gøre nu

  1. Placér hver AI-funktion på trappen, både jeres egne og dem, der er kommet med leverandørernes opdateringer, og skriv begrundelsen ned. Det er ikke et stort projekt, og det giver jer svaret, næste gang en kunde, en revisor eller en bestyrelse spørger.
  2. Skriv ned, hvad I bruger dem til, og hvad de ikke må bruges til. Det er brugen, der afgør risikoklassen, og den styrer I selv.

Kilder