SkarpChapter 1 of 3
Sama muki, eri vastaus: miksi kuvakulma hämää luokittelijaa?
Kuuntelijat osaavat ennustaa, miten rajaus, valaistus ja kuvakulma voivat muuttaa kuvaluokittelijan tulosta sekä miten harjoitusaineiston muuntelu vähentää tätä herkkyyttä.
1. Kaksi kuvaa, yksi esine, eri pikselit
Sama esine, uusi pikselijärjestys
Sivulta kuvattu muki ja ylhäältä kuvattu muki ovat ihmiselle sama esine, mutta niiden pikselit, reunat ja näkyvät muodot voivat olla hyvin erilaiset.
Malli etsii vihjeitä
Luokittelija rakentaa pikseleistä opittuja piirteitä. Se ei automaattisesti tiedä, että muuttunut näkymä kuuluu samalle esineelle.
2. Mitä konvoluutio huomaa - ja mitä se ei päättele
Paikallinen havainto
Konvoluutiosuodatin voi havaita kaaren, reunan tai värinvaihdon pienestä kuva-alueesta. Myöhemmät kerrokset kokoavat näistä laajempia muotoja.
Ei automaattista 3D-ymmärrystä
Sama paikallinen piirre voi liikkua kuvassa, mutta voimakas kuvakulman muutos muuttaa myös piirteen muotoa tai voi peittää sen kokonaan.
3. Rajauskoe: milloin mukista tulee epävarma?
Kahva katoaa
Tiukka rajaus voi jättää mukista näkyviin rungon mutta poistaa kahvan. Silloin "muki" kilpailee helpommin esimerkiksi "kulhon" kanssa.
Tausta voi vallata kuvan
Jos kuvassa on vähän esinettä ja paljon pöytää, malli voi reagoida myös taustan tekstuureihin eikä vain itse esineeseen.
4. Valokoe: varjo ei ole pelkkä koriste
Varjo muuttaa signaalia
Valaistus ei muuta vain kuvan tunnelmaa. Se muuttaa reunoja, värejä ja heijastuksia - eli juuri niitä pikselikuvioita, joista malli rakentaa ennusteen.
Jakaumasiirtymä
Jos harjoituskuvat ovat kirkkaita mutta käyttökuvat hämäriä, mallin käyttötilanne poikkeaa sen oppimasta kuvamaailmasta.
5. Kuvakulmakoe: ylhäältä otettu muki muistuttaa toista luokkaa
Kulma muuttaa muotoa kuvassa
Ylhäältä otettu kuva tekee suuaukosta suuren ja voi piilottaa kahvan. Sivuprofiilin vihjeet eivät vain siirry: ne voivat muuttua tai kadota.
Varmuus ei ole totuus
Luokkatodennäköisyys vertailee mallin vaihtoehtoja. Se ei yksin kerro, ovatko kuvan vihjeet riittäviä tai vastaako kuva harjoitusaineistoa.
6. Aineiston muuntelu: harjoitellaan vaihtelu, ei virhe
Säilytä luokka
Hyvä muunnos muuttaa kuvaa mutta ei sen oikeaa luokkaa: hieman tummempi, eri kohtaan rajattu muki on edelleen muki.
Voimakkuus on valinta
Liian heikko muuntelu ei lisää tarpeeksi vaihtelua. Liian voimakas muuntelu voi tehdä harjoituskuvasta epäuskottavan tai hävittää olennaiset vihjeet.
7. Suunnittelupöytä: kolme kuvaa, yksi harjoituspäätös
Päättele ennen kuin katsot tulosta
Ajatelkaa kuvakansiota, jossa jokaisessa kuvassa on sama muki:
- Kuva A: sivukuva, kahva näkyy, tasainen päivänvalo.
- Kuva B: tiukka rajaus, kahva jää kuvan ulkopuolelle.
- Kuva C: ylhäältä otettu hämärä kuva, jossa pöydän varjo peittää osan mukista.
Ennustakaa järjestys, jossa "muki"-luokan piste todennäköisesti heikkenee eniten. Perustelkaa jokaisesta kuvasta kahdella havainnolla:
- Mitä mallin käyttämiä visuaalisia vihjeitä säilyy?
- Mitkä vihjeet muuttuvat, katoavat tai sekoittuvat taustaan?
- Millä luokkaa säilyttävällä muuntelulla harjoitusaineistoa voisi parantaa?
Hyvä käytännön vastaus ei ole "lisää kaikki muunnokset". Esimerkiksi vaakapeilaus on useimmille mukeille turvallinen, mutta erittäin voimakas rajaus voi poistaa juuri sen piirteen, jonka perusteella kuva on vielä tunnistettavissa.
8. Tarkista ennuste
Valitse paras perustelu
Luokittelija on opetettu pääasiassa kirkkailla sivukuvilla, joissa mukin kahva näkyy. Käyttökuvassa muki on ylhäältä kuvattu, hämärässä ja rajattu niin, että kahva puuttuu.
Mikä on paras ennuste mallin käyttäytymisestä?
- Muki-luokan piste voi laskea, koska usea opittu vihje ja käyttökuvien jakauma poikkeavat harjoittelusta.
- Tulos pysyy varmasti samana, koska esineen todellinen luokka ei muutu.
- Malli tunnistaa mukin varmasti, jos kuvassa näkyy vähintään yksi sininen pikseli.
Show Answer
Answer: A) Muki-luokan piste voi laskea, koska usea opittu vihje ja käyttökuvien jakauma poikkeavat harjoittelusta.
Kuvakulma voi peittää kahvan ja muuttaa muotoja, hämäryys muuttaa värejä ja kontrastia, ja rajaus vähentää käytettävissä olevia vihjeitä. Yhdessä ne muodostavat harjoituskuvista poikkeavan tilanteen. Kohdennettu rajaus-, valaistus- ja näkymävaihtelu harjoitusaineistossa voi tehdä mallista kestävämmän.
Key Terms
- konvoluutio
- Menetelmä, jossa pieni opittu suodatin käy kuvaa läpi ja tunnistaa paikallisia kuvioita, kuten reunoja ja kaaria.
- opittu piirre
- Kuvasta muodostettu sisäinen vihje, johon malli voi reagoida, kuten kahvan kaari, tumma reuna tai kiiltävä pinta.
- jakaumasiirtymä
- Tilanne, jossa käyttöön tulevat kuvat poikkeavat ominaisuuksiltaan harjoitusaineiston kuvista, esimerkiksi valaistuksen tai kuvakulman osalta.
- aineiston muuntelu
- Harjoituskuvien tarkoituksellinen muuttaminen luokan säilyttävin tavoin, esimerkiksi rajauksella, peilauksella tai kirkkauden säädöllä.
- luokkatodennäköisyys
- Mallin tuottama suhteellinen piste sille, miten hyvin kuva sopii kuhunkin tunnettuun luokkaan; se ei ole varma totuuskuvaus.