SkarpChapter 5 of 25
Korkean riskin järjestelmien vaatimustenmukaisuuden suunnittelu
Johdanto-osan kappaleet tekevät korkean riskin asemasta elinkaaren mittaisen suunnittelu- ja hallintokurin. Riskienhallintaa, datan laatua, lokitusta, ihmisen suorittamaa valvontaa ja häiriönsietokykyä käsitellään toisiaan tukevina valvontatoimina erillisten paperityövelvollisuuksien sijaan.
Johdanto-osan 64 kappale: Vaatimustenmukaisuus on kumulatiivista, ei valinnaista
Miksi vaatimuksia sovelletaan
Johdanto-osan 64 kappale yhdistää suuririskisiä järjestelmiä koskevat vaatimukset riskien lieventämiseen ja luotettavuuteen. Tarjoajien olisi otettava huomioon käyttötarkoitus, käyttöyhteys, tekniikan taso, oikeasuhteisuus ja tehokkuus.
Vaatimustenmukaisuus kasautuu
Tuote voi kuulua useamman kuin yhden unionin yhdenmukaistamislainsäädäntöön kuuluvan säädöksen soveltamisalaan. Se voidaan saattaa markkinoille tai ottaa käyttöön vain, jos se on kaiken sovellettavan lainsäädännön mukainen.
Tekoälysäännöt täydentävät alakohtaisia sääntöjä
Tekoälyä sisältävät koneet tai lääkinnälliset laitteet voivat aiheuttaa riskejä, joita alakohtainen terveys- ja turvallisuuslainsäädäntö ei käsittele, koska nämä riskit ovat ominaisia tekoälyjärjestelmille.
Yhdistäminen on sallittua, poisjättäminen ei
Tarjoajat voivat yhdistää tekoälyn testauksen, raportoinnin, tiedot ja dokumentaation olemassa oleviin alakohtaisiin prosesseihin. Tämä joustavuus ei saa heikentää kaikkien sovellettavien vaatimusten täysimääräistä noudattamista.
Johdanto-osan 65 kappale: Riskienhallinta koko elinkaaren ajan
Täsmällinen elinkaariperiaate
"Riskienhallintajärjestelmän olisi koostuttava jatkuvasta, iteratiivisesta prosessista, joka suunnitellaan ja toteutetaan suuririskisen tekoälyjärjestelmän koko elinkaaren ajan."
Tarkista, päivitä, dokumentoi
Prosessia olisi tarkistettava ja päivitettävä säännöllisesti sen jatkuvan tehokkuuden varmistamiseksi. Merkittävät päätökset ja toimet olisi perusteltava ja dokumentoitava.
Ennakoitavissa oleva väärinkäyttö on merkityksellistä
Riskien tunnistamiseen sisältyy kohtuudella ennakoitavissa oleva väärinkäyttö: ennakoitavat ihmisten käyttötavat, jotka voivat poiketa ilmoitetusta käyttötarkoituksesta tai käyttöohjeista.
Valitse ja selitä toimenpiteet
Tarjoajien olisi valittava tekniikan tason valossa asianmukaisimmat toimenpiteet, dokumentoitava ja selitettävä valintansa sekä otettava tarvittaessa mukaan asiantuntijoita tai ulkoisia sidosryhmiä.
Riskien elinkaarisuunnittelua koskeva harjoitus
Skenaario: tekoälyavusteinen kiireellisen vastaanoton potilasluokittelu
Tarjoaja kehittää suuririskisen tekoälyjärjestelmän, joka asettaa saapuvat potilaat etusijajärjestykseen kliinistä arviointia varten. Sen käyttötarkoituksena on auttaa henkilöstöä tunnistamaan potilaat, jotka saattavat tarvita nopeaa huomiota. Todellisessa käytössä henkilöstö alkaa kohdella sen prioriteettipistemäärää automaattisena ohjeena tukisignaalin sijaan.
Käy läpi seuraavat kehotteet ennen vastauksen paljastamista:
- Elinkaari: Missä vaiheissa tarjoajan olisi toteutettava riskienhallintaa: vain ennen julkaisemista vai ennen julkaisemista ja koko käyttöönoton ajan?
- Ennakoitavissa oleva väärinkäyttö: Onko henkilöstön liiallinen tukeutuminen järjestelmään käyttötarkoituksen ulkopuolella, mutta silti käyttötapa, jota voidaan kohtuudella odottaa helposti ennakoitavan ihmisten käyttäytymisen perusteella?
- Lieventäminen: Mitä käyttöohjeissa voitaisiin dokumentoida olosuhteista, joissa pistemäärä voi aiheuttaa terveyteen, turvallisuuteen tai perusoikeuksiin kohdistuvia riskejä?
- Näyttöketju: Mitkä päätökset olisi perusteltava ja dokumentoitava, kun tarjoaja valitsee lieventämistoimenpiteitä?
Ehdotettu analyysi
Johdanto-osan 65 kappaleen mukaan riskienhallintaa olisi toteutettava jatkuvasti ja iteratiivisesti koko järjestelmän elinkaaren ajan. Pistemäärän kohteleminen automaattisena ohjeena voi uskottavasti olla kohtuudella ennakoitavissa olevaa väärinkäyttöä, jos se seuraa ennakoitavasta ihmisten käyttäytymisestä tässä toimintaympäristössä. Tarjoajan olisi tunnistettava ja lievennettävä riski, kirjattava perustelunsa ja sisällytettävä käyttöohjeisiin merkitykselliset tunnetut tai ennakoitavissa olevat riskiolosuhteet. Johdanto-osassa ei todeta, että tarjoajan on koulutettava järjestelmä uudelleen jokaisen ennakoitavissa olevan väärinkäytön varalta; siinä todetaan, ettei lisäkoulutusta edellytetä tätä tarkoitusta varten, vaikka tarjoajia kannustetaan harkitsemaan sitä, kun se on tarpeellista ja asianmukaista.
Suunnitteluhavainto: vaatimustenmukaisuustietueen olisi osoitettava yhteys tunnistetun riskin, valitun toimenpiteen, sen valinnan perustelun ja käyttöönottajalle toimitettujen tietojen välillä.
Johdanto-osan 66–70 kappale: Datahallinta, yksityisyys ja vinoumat
Toisiaan tukevat hallintatoimet
Johdanto-osan 66 kappale yhdistää riskienhallinnan, datan laadun, dokumentaation, lokikirjauksen, läpinäkyvyyden, ihmisen suorittaman valvonnan, vankkuuden, tarkkuuden ja kyberturvallisuuden välttämättömiksi riskienlieventämisvaatimuksiksi.
Täsmällinen datan laatustandardi
"Koulutukseen, validointiin ja testaukseen käytettävien datajoukkojen, mukaan lukien niiden merkintöjen, olisi oltava merkityksellisiä, riittävän edustavia sekä käyttötarkoitus huomioon ottaen mahdollisimman virheettömiä ja täydellisiä."
Vinouma on dynaamista
Datalla olisi oltava asianmukaiset tilastolliset ominaisuudet tarkoitettuja käyttäjiä tai ryhmiä varten. Historialliset ja käyttöönoton synnyttämät vinoumat voivat voimistua erityisesti silloin, kun tuotoksista tulee palautesilmukoiden kautta syötteitä.
Yksityisyys koko elinkaaren ajan
Johdanto-osan 69 kappaleessa sovelletaan tietojen minimointia sekä sisäänrakennettua ja oletusarvoista tietosuojaa. Toimenpiteisiin voi kuulua anonymisointi, salaus ja algoritmien tuominen datan luo sen sijaan, että dataa kopioitaisiin.
Poikkeuksellinen erityisiin henkilötietoryhmiin kuuluvien tietojen käsittely
Johdanto-osan 70 kappaleen mukaan tarjoajien olisi vinoumien havaitsemiseksi ja korjaamiseksi, ainoastaan silloin kun se on ehdottoman välttämätöntä, poikkeuksellisesti "voitava käsitellä myös erityisiin henkilötietoryhmiin kuuluvia tietoja huomattavan yleisen edun vuoksi", suojatoimien ja edellytysten mukaisesti.
Tietovisa: Datan laatu ja ennakoitavissa oleva väärinkäyttö
Valitse vastaus, joka noudattaa lähimmin johdanto-osan 65 ja 67 kappaletta.
Mikä lähestymistapa vastaa parhaiten lähdetekstiä tarjoajalle, jonka suuririskisen tekoälyjärjestelmän tuotokset vaikuttavat myöhempiin koulutussyötteisiin?
- Käytä mitä tahansa historiallisesti saatavilla olevaa dataa, jos mallin kokonaistarkkuus on korkea.
- Arvioi, voivatko palautesilmukat ylläpitää tai voimistaa vinoumaa, ja käytä käyttötarkoitukseen ja vaikutuksen kohteena oleviin ryhmiin soveltuvia datahallintakäytäntöjä.
- Jätä ennakoitavissa oleva väärinkäyttö huomiotta, koska vain käyttöohjeissa nimenomaisesti luetelluilla käyttötavoilla on merkitystä.
- Vältä yksityisyyttä suojaavia tekniikoita, koska datajoukkojen on oltava täysin virheettömiä.
Show Answer
Answer: B) Arvioi, voivatko palautesilmukat ylläpitää tai voimistaa vinoumaa, ja käytä käyttötarkoitukseen ja vaikutuksen kohteena oleviin ryhmiin soveltuvia datahallintakäytäntöjä.
Johdanto-osan 67 kappaleessa palautesilmukat yksilöidään nimenomaisesti tilanteeksi, jossa vinoumat voivat vaikuttaa tulevaan toimintaan ja voimistaa syrjintää. Se edellyttää myös käyttötarkoitussidonnaista merkityksellisyyttä, edustavuutta ja datahallintaa. Johdanto-osan 65 kappale edellyttää huomion kiinnittämistä kohtuudella ennakoitavissa olevaan väärinkäyttöön, ei vain nimenomaisesti tarkoitettuun käyttöön. Lähdetekstissä todetaan myös, ettei täydellisyyttä ja virheettömyyttä koskevan odotuksen pitäisi vaikuttaa yksityisyyttä suojaaviin tekniikoihin.
Johdanto-osan 71–72 kappale: Jäljitettävyys ja käyttökelpoinen läpinäkyvyys
Mitä teknisen dokumentaation olisi sisällettävä
Johdanto-osan 71 kappale yksilöi ominaisuudet, valmiudet, rajoitukset, algoritmit, datan, koulutuksen, testauksen, validoinnin ja riskienhallintajärjestelmän. Dokumentaation olisi oltava selkeää, kattavaa ja ajan tasalla.
Automaattista lokikirjausta koskeva vaatimus
"suuririskisten tekoälyjärjestelmien olisi teknisesti mahdollistettava tapahtumien automaattinen tallentaminen lokien avulla järjestelmän koko elinkaaren ajan."
Dokumentaatio ja lokit tekevät eri asioita
Dokumentaatio selittää järjestelmän suunnittelun ja vaatimustenmukaisuutta koskevan näytön. Lokit tallentavat tapahtumia toiminnallisen ajan kuluessa ja tukevat jäljitettävyyttä, seurantaa ja markkinoille saattamisen jälkeistä seurantaa.
Ohjeet mahdollistavat tietoon perustuvan käytön
Ohjeissa olisi selitettävä ominaisuudet, rajoitukset, riskit, käyttöönottajan suorituskykyyn vaikuttavat toimet, ennalta määrätyt vaatimustenmukaisuusarvioidut muutokset ja ihmisen suorittamaa valvontaa koskevat toimenpiteet ymmärrettävällä kielellä.
Johdanto-osan 73 kappale: Ihmisen suorittama valvonta, joka voi todella puuttua toimintaan
Valvonta suunnitellaan sisään
Johdanto-osan 73 kappale edellyttää, että tarjoajat tunnistavat asianmukaiset ihmisen suorittamaa valvontaa koskevat toimenpiteet ennen järjestelmän markkinoille saattamista tai käyttöön ottamista.
Toimintakykyinen ihmisen rooli
Tarvittaessa valvonta tarkoittaa toiminnallisia rajoitteita, joita järjestelmä ei voi ohittaa, reagointikykyä käyttäjään sekä henkilöitä, joilla on toimimiseen tarvittava pätevyys, koulutus ja toimivalta.
Puuttuminen ja pysäyttäminen
Järjestelmän olisi tarvittaessa ohjattava valvojaa siitä, puuttuuko toimintaan, milloin ja miten, kielteisten seurausten välttämiseksi tai järjestelmän pysäyttämiseksi, kun se ei toimi tarkoitetulla tavalla.
Tehostettu biometrinen suojatoimi
"käyttöönottaja ei saa toteuttaa mitään toimea tai tehdä mitään päätöstä järjestelmän tuottamaan tunnistukseen perustuen, ellei vähintään kaksi luonnollista henkilöä ole erikseen varmistanut ja vahvistanut sitä."
Johdanto-osan 74–78 kappale: Tarkkuus, vankkuus ja kyberturvallisuus
Ilmoita suorituskykyä koskevat odotukset
Johdanto-osan 74 kappaleen mukaan järjestelmien olisi toimittava johdonmukaisesti koko elinkaarensa ajan asianmukaisella tarkkuuden, vankkuuden ja kyberturvallisuuden tasolla. Odotetut suorituskykymittarit olisi ilmoitettava käyttöohjeissa.
Vankkuuteen sisältyy turvallinen keskeytys
Johdanto-osan 75 kappale kattaa virheet, viat, epäjohdonmukaisuudet ja odottamattomat tilanteet. Toimenpiteisiin voi kuulua varajärjestelyjä, jotka keskeyttävät toiminnan turvallisesti poikkeamien aikana tai ennalta määrättyjen rajojen ulkopuolella.
Täsmällinen kyberturvallisuusperiaate
"Kyberturvallisuudella on ratkaiseva merkitys sen varmistamisessa, että tekoälyjärjestelmät kestävät yritykset muuttaa niiden käyttöä, toimintaa tai suorituskykyä tai vaarantaa niiden turvallisuusominaisuudet"
Tekoälykohtaiset hyökkäykset
Johdanto-osassa yksilöidään datan myrkyttäminen, adversaariset hyökkäykset, jäsenyyspäättely ja tekoälyn digitaalisten resurssien tai taustalla olevan tieto- ja viestintäteknisen infrastruktuurin haavoittuvuudet merkityksellisiksi kyberturvallisuusongelmiksi.
Kaksi sääntelypolkua voi olla vuorovaikutuksessa
Johdanto-osan 77–78 kappaleessa kuvataan, miten kyberturvallisuuden vaatimustenmukaisuus horisontaalisen digitaalisia elementtejä sisältäviä tuotteita koskevan järjestelmän nojalla voi osoittaa tekoälyn kyberturvallisuusvaatimusten noudattamisen, samalla kun säilytetään määriteltyjen tärkeiden ja kriittisten tuotteiden erityinen arviointikohtelu.
Tietovisa: Lokikirjaus, valvonta ja häiriönsietokyky
Valitse väittämä, joka yhdistää oikein johdanto-osan 71, 73 ja 76 kappaleessa kuvatut vaatimukset.
Mikä väittämä on oikea?
- Lokit ovat valinnaisia kuvailevia yhteenvetoja, jotka laaditaan vasta vaaratilanteen jälkeen, ja biometriset osumat voivat suoraan määrätä käyttöönottajan toimenpiteen.
- Tarjoajan olisi mahdollistettava tapahtumien automaattinen tallentaminen järjestelmän koko elinkaaren ajan; tietyt biometriseen tunnistamiseen perustuvat toimet edellyttävät vähintään kahden luonnollisen henkilön erillistä varmennusta ja vahvistusta; kyberturvallisuustoimien olisi käsiteltävä tekoälykohtaisia hyökkäyksiä, kuten datan myrkyttämistä.
- Ihmisen suorittama valvonta edellyttää, että kaksi luonnollista henkilöä vahvistaa jokaisen päätöksen, jonka jokainen suuririskinen tekoälyjärjestelmä tekee.
- Kyberturvallisuus koskee vain taustalla olevaa verkkoa eikä koskaan koulutusdataa tai koulutettuja malleja.
Show Answer
Answer: B) Tarjoajan olisi mahdollistettava tapahtumien automaattinen tallentaminen järjestelmän koko elinkaaren ajan; tietyt biometriseen tunnistamiseen perustuvat toimet edellyttävät vähintään kahden luonnollisen henkilön erillistä varmennusta ja vahvistusta; kyberturvallisuustoimien olisi käsiteltävä tekoälykohtaisia hyökkäyksiä, kuten datan myrkyttämistä.
Johdanto-osan 71 kappale edellyttää teknistä kykyä tallentaa tapahtumia automaattisesti lokien avulla järjestelmän koko elinkaaren ajan. Johdanto-osan 73 kappaleessa luodaan kahta luonnollista henkilöä koskeva suojatoimi tiettyjen biometristen tunnistusjärjestelmien tuottamaa tunnistusta varten, ei kaikkia suuririskisiä järjestelmiä varten. Johdanto-osan 76 kappaleessa datan myrkyttäminen ja koulutettuihin malleihin kohdistuvat hyökkäykset sisällytetään nimenomaisesti tekoälykohtaisiin kyberturvallisuusongelmiin.
Muistikortit: Suuririskisten järjestelmien vaatimustenmukaisuusarkkitehtuuri
Käännä jokainen kortti ja selitä sitten, miten termi liittyy toiseen elinkaarisuunnittelun hallintatoimeen.
- Jatkuva, iteratiivinen riskienhallinta
- Prosessi, joka suunnitellaan ja toteutetaan suuririskisen tekoälyjärjestelmän koko elinkaaren ajan ja jota tarkistetaan ja päivitetään säännöllisesti jatkuvan tehokkuuden varmistamiseksi.
- Kohtuudella ennakoitavissa oleva väärinkäyttö
- Käyttötarkoituksen tai ohjeiden ulkopuolinen käyttö, jota voidaan silti kohtuudella odottaa helposti ennakoitavan ihmisten käyttäytymisen perusteella järjestelmän erityisessä yhteydessä.
- Datan laatustandardi
- Koulutukseen, validointiin ja testaukseen käytettävien datajoukkojen, mukaan lukien merkintöjen, olisi oltava merkityksellisiä, riittävän edustavia sekä käyttötarkoituksen kannalta mahdollisimman virheettömiä ja täydellisiä.
- Palautesilmukka
- Tilanne, jossa tekoälyn tuotokset vaikuttavat tulevien toimintojen syötteisiin, jolloin vinouma voi vähitellen kasvaa, jatkua tai voimistaa syrjintää.
- Tekninen dokumentaatio
- Selkeä, kattava ja ajan tasalla oleva tieto ominaisuuksista, valmiuksista, rajoituksista, algoritmeista, datasta, koulutuksesta, testauksesta, validoinnista ja riskienhallintajärjestelmästä.
- Automaattiset lokit
- Suuririskisten tekoälyjärjestelmien olisi teknisesti mahdollistettava tapahtumien automaattinen tallentaminen lokien avulla järjestelmän koko elinkaaren ajan.
- Ihmisen suorittama valvonta
- Tarjoajan tunnistamat toimenpiteet, joiden avulla luonnolliset henkilöt, joilla on pätevyys, koulutus ja toimivalta, voivat tarvittaessa valvoa, puuttua järjestelmän toimintaan tai pysäyttää sen.
- Tehostettu biometrinen valvonta
- Käyttöönottaja ei saa toteuttaa mitään toimea tai tehdä mitään päätöstä tunnistustuloksen perusteella, ellei vähintään kaksi luonnollista henkilöä ole erikseen varmistanut ja vahvistanut sitä, jollei ilmoitetusta oikeasuhteisuuspoikkeuksesta muuta johdu.
- Tekninen vankkuus
- Kyky kestää järjestelmän tai ympäristön rajoituksista johtuvaa haitallista tai ei-toivottua toimintaa, mukaan lukien virheet, viat, epäjohdonmukaisuudet ja odottamattomat tilanteet.
- Tekoälykohtaiset kyberturvallisuusriskit
- Riskejä, kuten datan myrkyttäminen, adversaariset hyökkäykset, jäsenyyspäättely sekä tekoälyn digitaalisten resurssien tai taustalla olevan tieto- ja viestintäteknisen infrastruktuurin haavoittuvuuksien hyödyntäminen.
Key Terms
- logs
- Suuririskisen tekoälyjärjestelmän koko elinkaaren aikana automaattisesti tallennetut tapahtumat, jotka tukevat jäljitettävyyttä ja seurantaa.
- deployer
- Toimija, joka käyttää suuririskistä tekoälyjärjestelmää ja vastaanottaa oikeaa ja tietoon perustuvaa käyttöä tukevat tiedot ja ohjeet.
- provider
- Johdanto-osan kappaleissa kuvattu toimija, joka perustaa riskienhallintajärjestelmän, valitsee lieventämistoimenpiteet, ylläpitää dokumentaatiota ja toimittaa käyttöohjeet.
- data poisoning
- Esimerkki tekoälykohtaisesta kyberhyökkäyksestä, jossa hyökkääjä kohdistaa hyökkäyksen koulutusdatajoukkoihin.
- fail-safe plan
- Tekninen ratkaisu, joka mahdollistaa toiminnan turvallisen keskeyttämisen, kun poikkeamia ilmenee tai toiminta siirtyy ennalta määrättyjen rajojen ulkopuolelle.
- human oversight
- Toimenpiteet, joiden avulla luonnolliset henkilöt voivat valvoa käyttöä, tehdä tietoon perustuvia toimenpiteitä, välttää kielteisiä seurauksia tai tarvittaessa pysäyttää järjestelmän.
- intended purpose
- Johdanto-osan kappaleissa käytetty tarkoitus, jonka avulla kehystetään asianmukaista dataa, riskinarviointia, tarkkuutta, vankkuutta ja läpinäkyvyyttä.
- adversarial attack
- Esimerkki tekoälykohtaisesta hyökkäyksestä, joka kohdistuu koulutettuun malliin tai sen toimintaan muotoiltujen syötteiden avulla.
- technical documentation
- Ylläpidettävät vaatimustenmukaisuustiedot, joita tarvitaan järjestelmän arviointiin ja markkinoille saattamisen jälkeisen seurannan helpottamiseen.
- reasonably foreseeable misuse
- Käyttötarkoituksen tai ohjeiden ulkopuolinen käyttö, jota voidaan silti kohtuudella odottaa helposti ennakoitavan ihmisten käyttäytymisen perusteella kyseisessä yhteydessä.
- special categories of personal data
- Arkaluonteiset henkilötietoryhmät, joita johdanto-osan 70 kappale käsittelee poikkeuksellisessa, ehdottoman välttämättömässä vinoumien havaitsemisen ja korjaamisen yhteydessä suojatoimien ja edellytysten mukaisesti.
- data governance and management practices
- Käytännöt, jotka tukevat korkealaatuista koulutus-, validointi- ja testausdataa, mukaan lukien henkilötietojen keräämistarkoitusten ja vinoumariskien asianmukainen käsittely.