Artikel 5: Förbjudna AI‑metoder

1. Varför finns artikel 5? Koppling till grundläggande rättigheter

AI‑förordningen (Artificial Intelligence Act, förordning (EU) 2024/1689) innehåller i artikel 5 en lista över AI‑metoder som är helt förbjudna inom EU.

Syftet med artikel 5 är att sätta en absolut röd linje för vissa typer av AI‑användning som anses oförenliga med:

• Mänsklig värdighet (artikel 1 i EU:s stadga om de grundläggande rättigheterna)
• Rätten till privatliv och dataskydd (artiklarna 7–8 i stadgan)
• Icke‑diskriminering (artikel 21)
• Barnets rättigheter (artikel 24)
• Rätten till ett effektivt rättsmedel och rättvis rättegång (artikel 47)

Till skillnad från högrisk‑AI (som får användas om kraven uppfylls) är de metoder som räknas upp i artikel 5 förbjudna oavsett teknisk kvalitet.

I den här modulen går vi steg för steg igenom:

1. Vilka metoder som är förbjudna enligt artikel 5
2. Vilka snäva undantag som finns (särskilt för brottsbekämpning)
3. Hur artikel 5 hänger ihop med grundläggande rättigheter
4. Hur du kan analysera fallstudier och egna projekt i ljuset av artikel 5

> Tidskontext: AI‑förordningen antogs 2024 och har gradvis börjat tillämpas. Förbuden i artikel 5 har en central roll i den praktiska tillsynen från och med mitten av 2020‑talet.

2. Översikt: Vad förbjuder artikel 5 egentligen?

Artikel 5 listar förbjudna AI‑metoder. Förenklat kan de grupperas så här (med nuvarande lydelse och numrering):

1. Subliminal och manipulativ påverkan

• AI som använder omedveten eller medvetet manipulerande teknik för att väsentligt snedvrida en persons beteende på ett sätt som orsakar eller sannolikt kan orsaka betydande skada.

1. Utnyttjande av sårbarheter

• AI som utnyttjar en persons sårbarheter (särskilt på grund av ålder, funktionsnedsättning, social eller ekonomisk situation) för att väsentligt snedvrida beteende och orsaka/skapa risk för betydande skada.

1. Social poängsättning (social scoring) av offentliga myndigheter

• AI‑system som används av offentliga myndigheter (eller på deras vägnar) för att klassificera personer utifrån socialt beteende eller personliga egenskaper på ett sätt som leder till orättvis eller oproportionerlig behandling.

1. Biometrisk kategorisering för känsliga egenskaper

• AI‑system som använder biometriska data (t.ex. ansiktsbild, röst) för att härleda eller kategorisera människor efter känsliga egenskaper, t.ex. politisk åsikt, religiös övertygelse, sexuell läggning, etnicitet.

1. Fjärrbiometrisk identifiering i realtid i offentligt tillgängliga utrymmen i brottsbekämpande syfte

• Som huvudregel förbjudet, men med snäva undantag för särskilt allvarliga brott och strikt reglerad användning.

1. Viss användning av biometrisk identifiering i efterhand (post‑remote identification)

• Begränsas kraftigt och anses i vissa fall förbjuden om den inte uppfyller de strikta villkoren i förordningen.

I kommande steg bryter vi ned varje kategori, ger exempel och kopplar till grundläggande rättigheter.

3. Psykologisk manipulation och subliminal påverkan

Artikel 5.1 a förbjuder AI‑system som:

> använder subliminala tekniker eller medvetet manipulerande tekniker utöver en persons medvetna uppfattningsförmåga, för att väsentligt snedvrida en persons beteende på ett sätt som orsakar eller sannolikt kan orsaka betydande skada.

Nyckelord:

• Subliminal: påverkan under medvetandets tröskel (t.ex. mycket snabba visuella stimuli som hjärnan registrerar men personen inte är medveten om).
• Medvetet manipulerande: design som syftar till att kringgå rationellt beslutsfattande (t.ex. extremt aggressiva dark patterns styrda av AI).
• Betydande skada: t.ex. fysisk skada, psykisk skada, betydande ekonomisk förlust.

Exempel – förbjudna scenarier

1. AR‑glasögon i köpcentrum

• Glasögonen använder AI för att visa subliminala bilder som triggar köpimpulser utan att användaren märker det.
• Systemet är optimerat för att få personer med spelberoende att göra impulsköp i spelbutiker.
• Risk för stor ekonomisk skada → troligen förbjudet.

1. Barnapp med manipulerande belöningssystem

• En AI‑styrd app riktad till barn justerar innehåll i realtid för att få barnet att fortsätta spela och göra köp, trots att barnet är trött eller stressat.
• Appen utnyttjar barns kognitiva begränsningar och orsakar risk för psykisk ohälsa och ekonomisk skada för familjen → troligen förbjudet (överlappar även med utnyttjande av sårbarhet).

Exempel – troligen tillåtet

• Rekommendationssystem i e‑handel som föreslår produkter baserat på tidigare köp, utan att använda subliminala signaler eller särskilt manipulativ design.
• A/B‑testning av layout för att göra en webbplats mer användarvänlig, så länge det inte finns ett uttalat syfte att kringgå användarens fria vilja på ett skadligt sätt.

> Koppling till rättigheter: Här skyddas bl.a. mänsklig värdighet och autonomi. Individen ska inte behandlas som ett objekt som kan "hackas" psykologiskt av AI.

4. Reflektionsövning: Är detta otillåten manipulation?

Läs scenariot och fundera på frågorna.

Scenario:

Ett socialt medieföretag använder ett AI‑system som analyserar användares humör i realtid via deras inlägg och interaktioner. När systemet bedömer att en person är nedstämd visar det mer innehåll som triggar starka känslor (t.ex. ilska, rädsla) eftersom det ökar engagemanget. Detta leder till att vissa användare fastnar i negativa spiraler och mår psykiskt dåligt.

Fundera (gärna skriv ned korta svar):

1. Skulle du säga att detta är subliminal påverkan, manipulativ påverkan eller ingetdera? Varför?
2. Finns det risk för betydande skada? Vilken typ (psykisk, ekonomisk, social)?
3. Om du arbetade i utvecklingsteamet: vilka designändringar skulle du föreslå för att minska risken att hamna i artikel 5‑förbudet?

> Tips: Försök koppla dina svar till begreppen autonomi, mänsklig värdighet och psykisk hälsa.

5. Utnyttjande av sårbarheter

Artikel 5.1 b förbjuder AI‑system som:

> utnyttjar en persons eller en grupp personers sårbarheter på grund av ålder, funktionsnedsättning, social eller ekonomisk situation för att väsentligt snedvrida beteende på ett sätt som orsakar eller sannolikt kan orsaka betydande skada.

Vad menas med sårbarhet?

• Ålder: t.ex. barn, äldre personer.
• Funktionsnedsättning: kognitiva, psykiska eller fysiska funktionsnedsättningar som påverkar förmågan att fatta informerade beslut.
• Social/ekonomisk situation: t.ex. personer i skuldsättning, arbetslösa, migranter utan stabil status.

Exempel – förbjudna scenarier

1. Låneapp riktad till högskuldsatta

• AI identifierar personer med ekonomiska problem och visar dem särskilt aggressiva låneerbjudanden med höga räntor.
• Systemet är designat för att trigga impulsiva beslut → troligen förbjudet.

1. AI‑leksak för barn

• En interaktiv leksak använder röstigenkänning och känsloanalys för att övertala barn att köpa fler tillbehör eller ge bort personlig information.
• Utnyttjar barns bristande förståelse för reklam och integritet → troligen förbjudet.

Exempel – troligen tillåtet

• AI‑baserat stöd för personer med kognitiv funktionsnedsättning som förenklar information och hjälper till att fatta bättre beslut, utan att styra mot ett visst kommersiellt intresse.
• Ekonomicoach‑app som förklarar risker och hjälper skuldsatta personer att minska skulder, utan att driva dem mot dyra produkter.

> Koppling till rättigheter: Här skyddas särskilt barnets rättigheter, icke‑diskriminering och skydd för utsatta grupper.

6. Snabbtest: Manipulation eller utnyttjande av sårbarhet?

Välj det bästa svaret utifrån artikel 5.

7. Social poängsättning och biometrisk kategorisering

Två centrala förbud i artikel 5 gäller hur AI får användas för att bedöma och kategorisera människor.

7.1 Social poängsättning (artikel 5.1 c)

Förbjudet är AI‑system som används av offentliga myndigheter (eller för deras räkning) för social scoring när:

1. bedömningen bygger på en persons sociala beteende eller personliga egenskaper, och
2. bedömningen leder till orättvis eller oproportionerlig behandling i andra, obesläktade sammanhang, och
3. detta sker under en viss tid eller baseras på tidigare beteende.

Exempel – förbjudet

• En kommunal myndighet ger lägre prioritet till bostadskö för personer som fått låga "medborgarpoäng" baserat på sociala medier, betalhistorik och umgänge.
• En statlig myndighet använder ett AI‑system som sammanställer data om "laglydnad" och "socialt ansvar" och använder poängen för att neka pass eller offentliga tjänster.

Exempel – troligen tillåtet

• En bank som använder kreditvärdering (inom ramarna för konsument‑ och dataskyddslagstiftning). Detta kan vara känsligt och reglerat, men faller inte automatiskt under social scoring‑förbudet, eftersom det inte är en offentlig myndighet som gör bred social värdering i flera sammanhang.

> Koppling till rättigheter: Skyddar mot system som liknar "social credit systems" och mot godtycklig, diskriminerande behandling.

---

7.2 Biometrisk kategorisering för känsliga egenskaper (artikel 5.1 d)

Förbjudet är AI‑system som använder biometriska data (t.ex. ansikte, röst, gångstil) för att härleda eller kategorisera människor utifrån särskilda kategorier av personuppgifter, t.ex.:

• politiska åsikter
• religiös eller filosofisk övertygelse
• sexuell läggning
• etniskt ursprung
• hälsa

Exempel – förbjudet

• Ett system som påstår sig känna igen sexuell läggning eller politisk åsikt från ansiktsbilder.
• En kamera i ett köpcentrum som delar in besökare i etniska grupper baserat på ansiktsigenkänning för riktad reklam.

Exempel – troligen tillåtet

• Ansiktsigenkänning för att låsa upp din egen mobiltelefon, där syftet inte är att härleda känsliga egenskaper utan att verifiera identitet (obs: regleras ändå av GDPR m.m.).

> Koppling till rättigheter: Starkt skydd för privatliv, dataskydd och icke‑diskriminering. Förbudet ligger nära skyddet för särskilda kategorier av personuppgifter i GDPR (artikel 9).

8. Fjärrbiometrisk identifiering i offentliga utrymmen

En av de mest omdiskuterade delarna i AI‑förordningen gäller fjärrbiometrisk identifiering (remote biometric identification, RBI) i offentligt tillgängliga utrymmen.

Vad är fjärrbiometrisk identifiering?

• Ett AI‑system som på avstånd identifierar personer genom biometriska data (t.ex. ansikte) i realtid eller i efterhand.
• Typiskt exempel: kameror på en gata som matchar passerande personer mot en databas över efterlysta.

Huvudregel: förbud (artikel 5.1 e–g m.fl.)

• Realtids‑RBI i offentligt tillgängliga utrymmen i brottsbekämpande syfte är som huvudregel förbjudet.
• Det finns snäva undantag där detta kan tillåtas, t.ex. vid:
• sökande efter offer för vissa allvarliga brott
• förebyggande av specifika, överhängande terrorhot
• lokalisering av personer som misstänks för särskilt allvarliga brott

Dessa undantag är hårt reglerade:

• Kräver i regel förhandstillstånd (t.ex. domstol eller oberoende myndighet)
• Måste vara nödvändiga och proportionella
• Begränsas i tid, plats, databasens storlek och syfte

> För andra användningar (t.ex. kommersiella) är omfattande fjärrbiometrisk identifiering i offentliga utrymmen i praktiken mycket svårt eller omöjligt att förena med AI‑förordningens krav.

Varför så strikt?

• Risk för massövervakning
• Avkylande effekt på yttrandefrihet och mötesfrihet
• Risk för diskriminering (t.ex. sämre träffsäkerhet för vissa etniska grupper)

> Koppling till rättigheter: Direkt kopplad till rätten till privatliv, dataskydd, yttrandefrihet och mötesfrihet i EU:s stadga.

9. Fallstudier: Förbjudet eller tillåtet?

Bedöm varje scenario. Motivera kort för dig själv om det troligen omfattas av artikel 5‑förbuden eller inte.

Scenario A – Ansiktsigenkänning på universitetet

Ett universitet vill använda kameror med ansiktsigenkänning för att automatiskt registrera närvaro i föreläsningssalar.

• Frågor att fundera på:
• Är detta fjärrbiometrisk identifiering i offentligt utrymme?
• Finns något undantag för brottsbekämpning här?
• Strider det mot förbuden i artikel 5, eller faller det snarare under andra regler (t.ex. högrisk, GDPR)?

Scenario B – Jobbmatchnings‑AI

En offentlig arbetsförmedling använder ett AI‑system som beräknar en "anställningsbarhetspoäng" baserat på utbildning, tidigare jobb, bostadsområde och nätverk. Poängen används för att avgöra vem som får delta i ett särskilt program.

• Frågor att fundera på:
• Liknar detta social poängsättning? Varför/varför inte?
• Är det en allmän social värdering eller en mer specifik bedömning kopplad till ett visst ändamål?
• Kan det ändå vara problematiskt ur diskriminerings‑ eller högriskperspektiv, även om det inte är direkt förbjudet enligt artikel 5?

Scenario C – Hälsokiosk i köpcentrum

En kommersiell hälsokiosk skannar ditt ansikte och påstår sig kunna avgöra din etnicitet och vissa hälsorisker. Den använder detta för att visa riktad reklam.

• Frågor att fundera på:
• Är detta biometrisk kategorisering för känsliga egenskaper?
• Skulle det omfattas av artikel 5.1 d?
• Hur påverkas rätten till privatliv och icke‑diskriminering?

> Försök att identifiera vilken punkt i artikel 5 som är mest relevant för varje scenario (om någon).

10. Begreppskoll: Centrala termer i artikel 5

Använd korten för att repetera centrala begrepp.

11. Använd artikel 5 i egen design: Checklista

Tillämpa nu artikel 5 på ett eget (eller fiktivt) AI‑projekt. Svara kort på följande frågor:

1. Målgrupp:

• Vilka användare riktar sig systemet till? Finns det särskilt sårbara grupper (barn, personer med funktionsnedsättning, ekonomiskt utsatta)?

1. Påverkansmekanismer:

• Använder systemet någon form av beteendepåverkan (nudging, rekommendationer, dark patterns)?
• Skulle detta kunna ses som subliminalt eller medvetet manipulerande på ett skadligt sätt?

1. Bedömning och kategorisering:

• Kategoriserar systemet människor utifrån socialt beteende, personliga egenskaper eller biometriska data?
• Finns risk att det liknar social poängsättning eller biometrisk kategorisering av känsliga egenskaper?

1. Biometrisk identifiering:

• Använder systemet ansiktsigenkänning eller annan biometrik i offentligt tillgängliga utrymmen?
• Skulle det kunna användas för fjärrbiometrisk identifiering av många personer samtidigt?

1. Skadenivå:

• Vilken typ av skada skulle kunna uppstå vid missbruk eller felaktig användning (psykisk, fysisk, ekonomisk, social, rättslig)?

> Om du svarar ja eller osäker på någon punkt som kopplar till artikel 5: flagga det som en röd varning i designprocessen och analysera vidare tillsammans med juridisk expertis.

12. Avslutande kunskapscheck

Testa din förståelse av artikel 5.