SkarpSkarp

Chapter 7 of 8

Myndigheternas verktyg från dokument till källkod

AI-tillsyn kan kräva betydligt mer än en okulär kontroll av produkten. Myndigheter kan behöva granska teknisk dokumentation, datamängder, loggar och i särskilda fall även källkod för att förstå hur riskerna uppstår.

9 min readsv

1. Börja med rätt tillsynsram

Tillsyn går djupare än en okulär kontroll

En AI-styrd hjälm eller ett uppkopplat andningsskydd kan behöva granskas som fysisk produkt, programvara, dataflöde och beslutsprocess. Frågan är inte bara vad produkten gör, utan också varför den gör det.

Två centrala EU-regler

Förordning (EU) 2019/1020 ger ramen för marknadskontroll. AI-förordningen, förordning (EU) 2024/1689, kopplar AI-system till den ramen. PPE-förordningen, (EU) 2016/425, gäller fortsatt för personlig skyddsutrustning.

Viktig datumkontroll

Den 19 augusti 2026 tillämpas AI-förordningen i huvudsak sedan den 2 augusti 2026. Kraven i artikel 6.1 för AI som är säkerhetskomponent i produkter börjar däremot tillämpas den 2 augusti 2027.

2. Myndighetens undersökningsverktyg

Proportionalitet styr tillsynen

Myndigheten ska välja åtgärder som är relevanta för utredningen och proportionerliga i förhållande till den möjliga skadan. Ett mindre dokumentfel motiverar normalt inte samma granskning som en akut säkerhetsrisk.

Vad kan begäras in?

Relevant dokumentation, tekniska specifikationer, data, information om leveranskedjan och produktprover kan begäras. Myndigheten kan även göra oanmälda inspektioner och fysiska kontroller.

Fjärrinspektion

Material kan granskas på distans från exempelvis molnarkiv, via säkra datauttag eller i en testmiljö. Börja med dokument och eskalera till loggar, testning eller programvara först när det behövs för att förstå risken.

3. Exempel: Den AI-styrda skyddshjälmen

Händelsen

Två personer faller utan att den AI-styrda hjälmen varnar. Hjälmen är inte synligt skadad. Tillsynsfrågan blir därför: var i kedjan från sensor till varning uppstod felet?

Bygg en felhypotes

Undersök om orsaken är sensordata, modellens klassificering, en programuppdatering eller användargränssnittet. En tydlig felhypotes avgör vilket underlag som är relevant att begära in.

Jämför löfte och bevis

Företagets påstående om fallvarning måste kunna jämföras med testresultat, loggar och versionshistorik. Ett korrekt marknadsföringspåstående är inte bevis på att funktionen fungerade i den aktuella situationen.

4. Välj första bevissteget

Tänk efter: vad begär du först?

Företaget uppger att den berörda hjälmen nyligen fått en trådlös programuppdatering. De två uteblivna varningarna inträffade dagen efter uppdateringen.

Välj tre underlag som du skulle prioritera först:

  • produktens färg och yttre skick
  • versionshistorik och ändringslogg
  • händelseloggar från de två hjälmarna
  • företagets senaste marknadsföringskampanj
  • testprotokoll för den nya versionen
  • listan över företagets kontorsmöbler

Förslag till lösning

De tre mest träffsäkra underlagen är versionshistorik och ändringslogg, händelseloggar och testprotokoll. Tillsammans kan de koppla en specifik ändring till systemets faktiska beteende och visa om ändringen verifierades innan den användes.

Den yttre kontrollen av hjälmen kan fortfarande vara relevant, men den är inte första prioritet när tidssambandet pekar mot en programvaruändring.

5. Dokumentationen som förklarar ett AI-fel

Teknisk dokumentation ska göra systemet granskningsbart

Bilaga IV till AI-förordningen omfattar bland annat systemets ändamål, versioner, arkitektur, datahantering, testning, riskhantering och övervakning efter marknadslansering. Dokumentationen ska hållas uppdaterad.

Loggar knyter felet till tidpunkten

Loggar kan visa vilka indata systemet tog emot, vilken version som kördes, vilket beslut som fattades och om en varning skickades. För hög-risk-AI ska systemet tekniskt möjliggöra automatisk händelseloggning.

Begär inte mer än nödvändigt

Ett representativt, spårbart datautdrag är ofta bättre än en obegränsad dataleverans. Ange tidsperiod, version, relevanta fält och kopplingen till riskhypotesen. Det stärker både proportionalitet och bevisvärde.

6. Kunskapskontroll: rätt underlag

En AI-uppdatering misstänks ha gjort att en skyddshjälm missar vissa fallrisker. Vilket underlag ger starkast direkt koppling mellan uppdateringen och det misstänkta felet?

Vilket underlag bör prioriteras?

  1. Produktbilder från webbshoppen
  2. Versionshistorik, händelseloggar och testprotokoll för den aktuella programvaruversionen
  3. En generell beskrivning av AI från företagets årsredovisning
  4. En lista över alla kunder som någonsin köpt produkten
Show Answer

Answer: B) Versionshistorik, händelseloggar och testprotokoll för den aktuella programvaruversionen

Versionshistorik visar vad som ändrades, händelseloggar visar systemets faktiska beteende och testprotokoll visar om den nya versionen verifierades. Tillsammans kan de pröva felhypotesen.

7. När räcker programvara - och när blir källkod relevant?

Inbäddad programvara är inte samma sak som all källkod

Marknadskontrollmyndigheter kan kräva åtkomst till inbäddad programvara när det behövs för att bedöma överensstämmelse. Detta är inte en obegränsad rutinrätt till hela företagets källkod.

Eskalera stegvis

Börja med dokument. Gå sedan till loggar och data, kontrollerad testning och programvarugranskning. Källkod kan bli relevant först när den behövs för att klarlägga en specifik risk eller ett fel som inte kan förstås på annat sätt.

Sekretess och dataskydd gäller

Tillsynsbefogenheter ska användas proportionerligt och med skydd för bland annat affärshemligheter och personuppgifter. Myndighetens beslut ska också kunna motiveras och normalt föregås av att företaget får yttra sig.

8. Bedömning och åtgärd: tre olika problem

Bristande överensstämmelse

Saknad teknisk dokumentation kan vara formell bristande överensstämmelse. Myndigheten kan först kräva rättelse. Om bristen kvarstår kan den begränsa eller förbjuda tillhandahållandet och kräva återkallelse eller tillbakadragande.

Risk trots korrekt dokumentation

Ett AI-system kan vara dokumenterat och ändå medföra risk, exempelvis om hjälmen systematiskt missar en relevant användargrupp. Riskutvärderingen gäller faktisk säkerhet, inte bara om formella dokument finns.

Allvarlig incident och rapportering

För hög-risk-AI ska allvarliga incidenter rapporteras enligt AI-förordningens tidsfrister. För GPSR-produkter ska allvarliga olyckor anmälas utan onödigt dröjsmål via Safety Business Gateway.

9. Kunskapskontroll: vilken åtgärd passar?

En granskning visar att hjälmen har korrekt CE-märkning och tillgänglig dokumentation. Däremot missar AI-systemet upprepade gånger fallrisk för en tydligt identifierbar användargrupp. Företaget kan inte omedelbart visa en säker korrigering.

Vilken åtgärd är mest proportionerlig som första ingripande?

  1. Acceptera felet eftersom dokumentationen finns
  2. Kräv enbart att företaget ändrar sin marknadsföring
  3. Kräv att risken elimineras och begränsa eller stoppa tillhandahållandet tills en säker korrigering kan visas
  4. Kräv alltid fullständig källkod utan att först ange varför
Show Answer

Answer: C) Kräv att risken elimineras och begränsa eller stoppa tillhandahållandet tills en säker korrigering kan visas

Detta är en faktisk säkerhetsrisk, inte bara en dokumentbrist. Myndigheten kan kräva korrigerande åtgärder och, om risken kvarstår, begränsa eller förbjuda tillhandahållandet. Källkod kan vara relevant senare, men måste vara nödvändig och proportionerlig.

10. Repetition: centrala begrepp

Vänd korten och repetera nyckelbegreppen. Försök sedan använda varje begrepp i fallet med den AI-styrda skyddshjälmen.

Marknadskontroll
Myndigheters kontroll av produkter på marknaden för att upptäcka och hantera bristande överensstämmelse och risker.
Teknisk dokumentation
Spårbar dokumentation om exempelvis systemets ändamål, versioner, arkitektur, data, riskhantering, testning och övervakning.
Fjärrinspektion
Granskning på distans, exempelvis av dokument i molnarkiv, loggutdrag, konfiguration eller testmiljöer.
Inbäddad programvara
Programvara som ingår i eller styr produkten. Åtkomst kan krävas när den är nödvändig för att bedöma produktens överensstämmelse.
Bristande överensstämmelse
Att en produkt eller ett AI-system inte uppfyller ett tillämpligt krav. Det kan vara formellt, exempelvis saknad dokumentation, eller materiellt.
Produkt som medför risk
En produkt eller ett AI-system som kan hota hälsa, säkerhet eller, för AI-system, även grundläggande rättigheter. Detta kan gälla även när dokumentationen finns.
Allvarlig incident
AI-förordningens term för vissa mycket allvarliga händelser kopplade till hög-risk-AI, med särskilda rapporteringsfrister.
Återkallelse
En åtgärd för att få tillbaka en produkt som redan har gjorts tillgänglig för slutanvändare, när det behövs för att hantera risken.

Key Terms

GPSR
Förordning (EU) 2023/988 om allmän produktsäkerhet.
händelselogg
Registrering av systemhändelser, exempelvis indata, modellbeslut, varningar, fel och tidpunkter.
återkallelse
Åtgärd för att få tillbaka en produkt från slutanvändare.
AI-förordningen
Europaparlamentets och rådets förordning (EU) 2024/1689 om harmoniserade regler för artificiell intelligens.
marknadskontroll
Myndighetsarbete för att kontrollera produkter på marknaden och ingripa mot brister eller risker.
riskutvärdering
Systematisk bedömning av farans art, sannolikheten för att den inträffar och konsekvenserna.
tillbakadragande
Åtgärd för att hindra att en produkt fortsätter att tillhandahållas i distributionskedjan.
PPE-förordningen
Förordning (EU) 2016/425 om personlig skyddsutrustning.
allvarlig incident
En särskilt allvarlig händelse enligt AI-förordningen som kan utlösa rapporteringsskyldighet för hög-risk-AI.
teknisk dokumentation
Underlag som visar hur en produkt eller ett AI-system är utformat, testat, riskhanterat och övervakat.

Finished reading?

Test your understanding with a custom practice exam on this chapter.

Test yourself