En ny software er i stand til at redigere billeder med elektriske signaler fra brugerens hjerne som det eneste input. Det åbner for en helt ny form for kunstig intelligens.
– Vi kan få en computer til at redigere billeder alene baseret på personers tanker. Computeren har ikke fået nogen forudgående informationer om, hvilke detaljer i billedet, som den skal redigere, eller hvordan. Dette har aldrig været gjort tidligere, siger lektor Tuukka Ruotsalo, Datalogisk Institut, Københavns Universitet.
Forskningsresultaterne er offentliggjort på CVPR 2022 (Computer Vision and Pattern Recognition), den vigtigste internationale konference på området.
I studiet bag den videnskabelige artikel bar 30 deltagere hætter udstyret med elektroder, som registrerer elektriske signaler fra hjernen (ElektroEncephaloGrafi; EEG). Hver deltager skulle betragte de samme 200 fotos af forskellige personer. Desuden fik de forskellige opgaver undervejs. For eksempel at lægge særligt mærke til kvinder, til ældre personer, til blondt hår eller andre detaljer i billederne.
Deltagerne skulle ikke foretage nogen handlinger, blot betragte billederne ganske kortvarigt – et halvt sekund per billede. Ud fra deres hjerneaktivitet kortlagde computermodellen først, hvilket ansigtstræk som var det interessante i øvelsen. Derefter redigerede den billederne tilsvarende. Det vil sige, at hvis opgaven var at lægge mærke til ældre personer, tilpassede computeren billederne af de yngre personer, så de kom til at se ældre ud. Og hvis opgaven for eksempel var at lægge mærke til en bestemt hårfarve, fik alle personerne den hårfarve.
– Vel at mærke havde computeren ingen viden om, hvad ansigtsgenkendelse er, og heller ingen ide om køn, hårfarver eller andre af de relevante ansigtstræk. Alligevel redigerede den kun netop det ansigtstræk, der var fokus for øvelsen, mens alle øvrige træk forblev uændrede, kommenterer ph.d.-studerende Keith Davis, Helsinki Universitet.
Nogle vil måske indvende, at der allerede eksisterer rigeligt software, som er i stand til at manipulere ansigtstræk på billeder. Men pointen er en anden, forklarer Keith Davis:
– Al eksisterende software af denne type er blevet trænet ved hjælp af markeret input. Hvis nogen for eksempel ønsker at lave en app, der kan få folk til at se ældre ud, så starter de med at fodre computeren med nogle tusinde portrætter og fortæller den samtidig, hvilke personer, der er gamle, og hvilke der er unge. Men i vores forsøg var deltagernes tanker det eneste input. Det er et helt nyt paradigme inden for kunstig intelligens – at bruge den menneskelige hjerne direkte som grundlag.
Sundhed kan blive et af de områder, hvor forskningen finder anvendelse, mener Tuukka Ruotsalo:
– Lægerne udnytter allerede kunstig intelligens ved fortolkning af skanningsbilleder. Imidlertid sker der ind imellem fejl. Trods alt benytter lægerne kun billedanalysen som et hjælpeværktøj, der er stadig et menneskeligt skøn involveret. Måske er der bestemte træk i billederne, som oftere end andre bliver tolket forkert. Den slags mønstre vil man muligvis kunne finde ved at anvende vores forskning.
En anden anvendelse kunne være som hjælp til handicappede. For eksempel gennem software, der vil tillade en person med lammelser at styre sin computer med tankens kraft.
– Det vil være fantastisk, hvis anvendelser af vores forskning kan hjælpe handicappede. Imidlertid har vi selv et lidt andet fokus. Vi går efter at forbedre maskinindlæring generelt. Det kan have mange forskellige anvendelser. Måske vil man om 10 eller 20 år ikke længere have brug for en mus eller for at skrive kommandoer, men kan simpelthen styre sin PC med tankens kraft, slutter Tuukka Ruotsalo.
Den videnskabelige artikel “Brain-Supervised Image Editing” blev offentliggjort den 19. juni 2022 på den vigtigste internationale konference på feltet, CVPR 2022 (Computer Vision and Pattern Recognition).
Kontakt:
Tuukka Ruotsalo, Datalogisk Institut, Københavns Universitet, mail: tr@di.ku.dk
