SkarpChapter 3 of 3
Voiko lause ”raidallinen punainen muki” opettaa koneen etsimään uuden kohteen?
Kuuntelijat osaavat selittää, miten kuvien ja tekstien yhteinen esitysavaruus mahdollistaa avoimen sanaston tunnistuksen sekä miksi sanamuoto ja hienojakoiset visuaaliset erot voivat silti johtaa virheeseen.
1. Kolme hyllyä, yksi sanallinen haku
Lause ei ole uusi luokka
Perinteinen luokittelija valitsee tavallisesti kiinteästä luokkaluettelosta, kuten `muki` tai `pullo`. Ilmaus "raidallinen punainen muki" on paljon tarkempi kuin yksi luokkanimi.
Lause kyselyksi
Avoimen sanaston tunnistuksessa teksti toimii hakukyselynä. Malli vertaa sen merkitystä kuvan sisältöön sen sijaan, että etsisi täsmälleen ennalta nimettyä luokkaa.
Lause ei tavallisesti kouluta mallia lennossa. Se hyödyntää sitä, että mallin aiempi harjoittelu on yhdistänyt sanoja ja visuaalisia piirteitä toisiinsa.
2. Kaksi kooderia tekee vertailusta mahdollisen
Kuvakooderi
Kuvakooderi muuttaa kuvan vektoriksi. Vektori tiivistää visuaalisia piirteitä, kuten mukin muotoa, väriä, kahvaa ja raidallista pintaa.
Tekstikooderi
Tekstikooderi muuttaa lauseen vektoriksi. Näin kuvaa ja lausetta voidaan verrata laskennallisesti, vaikka toinen on pikseleitä ja toinen sanoja.
Yhteinen esitysavaruus on kartta, jossa yhteen sopivan kuvan ja tekstin vektorit sijoittuvat lähelle toisiaan.
3. Mikä pakottaa merkitykset samaan esitysavaruuteen?
Oikea pari
Jos kuva ja teksti kuuluvat yhteen, oppiminen vetää niiden vektoreita lähemmäs. Esimerkiksi punaisen pyörän kuva ja sitä kuvaava teksti muodostavat positiivisen parin.
Väärät parit
Saman harjoituserän muut tekstit toimivat vertailukohtina. Punaista pyörää ei pitäisi sijoittaa lähelle tekstiä "vihreä sohva".
Tämä on kontrastiivista oppimista: oikeat kuva-tekstiparit lähelle, keskenään sopimattomat parit kauemmas.
4. Uusi kysely ilman uusia esimerkkikuvia
Kolme tekstiehdokasta
Kuvaa verrataan kolmeen tekstivektoriin: "raidallinen punainen muki", "raidallinen sininen muki" ja "punainen kulho".
Valinta vertailulla
Järjestelmä valitsee tekstin, jonka vektori on lähimpänä kuvan vektoria. Se siis ratkaisee, mikä ehdokkaista sopii kuvaan parhaiten.
Nollan esimerkin tunnistus tarkoittaa, ettei juuri tätä sanallista luokkaa varten tarvita uutta, erikseen nimettyä harjoituskuva-aineistoa.
5. Ajatuskoe: yksi sana vaihtuu, kohde vaihtuu
Kokeile sanamuodon vaikutusta
Kuvassa on kaksi lähes samanlaista mukia. Vasemmalla on punavalkoraitainen muki. Oikealla on punainen muki, jossa on yksi ohut valkoinen raita kahvan vieressä.
Vertaa kolmea kyselyä:
- `raidallinen punainen muki`
- `punainen muki, jossa on leveitä valkoisia raitoja`
- `punainen muki, jossa on raita kahvan vieressä`
Ensimmäinen on yleinen ja voi sopia kumpaankin. Toinen täsmentää kuvion leveyttä. Kolmas suuntaa huomion kahvan lähellä olevaan yksityiskohtaan.
Sanamuoto ei ole pelkkä käyttöliittymäkoriste. Se muuttaa tekstivektoria ja siten sitä, mitä kuvallista näyttöä järjestelmä pitää lähimpänä. Hyvä kysely nimeää erottavan ominaisuuden, ei vain esineluokkaa.
6. Luokittelu ei vielä tarkoita osoittamista
Koko kuva ei riitä
Koko kuvaa kuvaava vektori voi kertoa, että kuvassa on muki. Usean mukin kuvassa se ei yksin ratkaise, mikä niistä vastaa tekstikuvausta.
Alueet vertailuun
Järjestelmä voi vertailla lausetta useisiin kuva-alueisiin. Se pisteyttää esimerkiksi vasemman, keskimmäisen ja osittain peittyneen mukin erikseen.
Visuaalinen ankkurointi sitoo sanat tiettyyn kuva-alueeseen, kuten rajauslaatikkoon tai maskiin. Se on paikantamista, ei vain kuvan yleistä luokittelua.
7. Miksi malli silti valitsee väärän mukin?
Melkein samanlaiset kohteet
Kaksi punaista raidallista mukia voi erota vain raitojen leveydessä, kahvan näkyvyydessä tai sijainnissa. Juuri tällaiset erot ovat ankkuroinnille hankalia.
Suhteet lisäävät vaatimuksia
Ilmaus "sinisen lautasen vasemmalla puolella" ei kuvaa vain mukia. Mallin pitää paikantaa myös lautanen ja tulkita niiden välinen sijainti.
Jos kuvaus ei sovi mihinkään kohteeseen, oikea vastaus on hylkäys. GroundingME-julkaisun alkuperäinen, ilman thinking-tilaa tehty arviointi osoittaa, että mallit kamppailivat myös tämän kanssa.
8. Tarkista ymmärrys
Valitse paras selitys
Kuvassa on kaksi punaista mukia. Vain toisessa on valkoiset raidat. Järjestelmä saa kyselyn "raidallinen punainen muki" ja piirtää laatikon oikean mukin ympärille.
Mikä kuvaa onnistumista parhaiten?
- Tekstikooderi ja kuvakooderi tuottivat yhteisessä esitysavaruudessa lähellä olevat esitykset, ja tekstikysely sopi juuri tähän kuva-alueeseen.
- Järjestelmä lisäsi automaattisesti uuden pysyvän luokan nimeltä "raidallinen punainen muki".
- Järjestelmä tarvitsi välttämättä uuden, tätä lausetta varten merkityn harjoituskuvan ennen kuin se saattoi tehdä valinnan.
Show Answer
Answer: A) Tekstikooderi ja kuvakooderi tuottivat yhteisessä esitysavaruudessa lähellä olevat esitykset, ja tekstikysely sopi juuri tähän kuva-alueeseen.
Onnistuminen perustuu kuva- ja tekstiesitysten vertailuun sekä oikean kuva-alueen ankkurointiin. Nollan esimerkin tunnistus ei tavallisesti luo uutta pysyvää luokkaa eikä edellytä juuri tätä kyselyä varten uutta harjoituskuvaa.
Key Terms
- kuvakooderi
- Mallin osa, joka muuttaa kuvan numeeriseksi vektoriksi.
- tekstikooderi
- Mallin osa, joka muuttaa tekstin numeeriseksi vektoriksi.
- yhteinen esitysavaruus
- Jaettu vektoriavaruus, jossa toisiaan vastaavat kuvat ja tekstit ovat lähellä toisiaan.
- visuaalinen ankkurointi
- Tekstikuvauksen sitominen tiettyyn kuva-alueeseen, kuten rajauslaatikkoon tai maskiin.
- kontrastiivinen oppiminen
- Oppimistapa, jossa oikeat kuva-tekstiparit vedetään lähelle ja väärät parit työnnetään kauemmas.
- nollan esimerkin tunnistus
- Tunnistus, jossa tekstillä voidaan nimetä tai vertailla kohteita ilman juuri kyseistä luokkaa varten tehtyä erillistä harjoittelua.