Et forskerteam fra franske CEA-Leti, CEA-List og to CNRS (French National Center for Scientific Research) laboratorier har publiceret en artikel i tidsskriftet Nature Communications, som beskriver det første komplette memresistor-baseret Bayesian neurale netværk (BNN) implementeret for applikationer i den virkelige verden. F.eks. medicinske diagnoser og andre sikkerhedskritiske sensorapplikationer, som kræver nøjagtige beslutninger baseret på input data med en lille smule støj. Bayesian NN er velegnede til sådanne opgaver, fordi de kan forudsige usikkerhed i vurderingen, men deres sandsynlighedsnatur kræver forøget brug af energi og beregninger, fremgår det af artiklen. Denne forøgelse skyldes, at implementeringen af netværkene i hardware kræver en tilfældig talgenerator for at lagre sandsynlighedsfordelingen, dvs. synaps-vægtene.
I artiklen præsenteres for første gang en komplet hardware-implementering af et Bayesian neuralt netværk, som gør brug af memristorernes variation for at lagre sandsynlighedsfordelingerne i stedet for at anvende en tilfældig talgenerator. En anden betydelig udfordring var at udføre inference-funktionen, som kræver massivt parallelle MAC operationer til multiplicering og akkumulering. Disse operationer kræver megen effekt i CMOS-baserede ASIC og FPGA design pga. den store datatrafik mellem processoren og hukommelsen.
“I vores løsning anvender vi crossbars af memresistorer, som naturligt implementerer multiplikationen mellem inputspændingen og den sandsynlige synaptic-vægt gennem Ohms lov samt akkumuleringen gennem Kirchhoffs strømlov, hvilket reducerer effektforbruget markant”, fortæller chefforsker Elisa Vianello, CEA-Leti.
Det har også været nødvendigt at udvikle en ny træningsalgoritme for at forene memresistorerne med Bayesian netværket og gøre det kompatibelt med unøjagtighederne i memresistorerne. Kvantificeringen af usikkerheden involverer netværkets evne til at identificere ukendte situationer ude-af-fordeling.
“Hvis et traditionelt neuralt netværk er trænet til at genkende katte og hunde og præsenteres for et billede af en giraf, vil det misklassificere billedet som en kat eller hund. Et Bayesian NN derimod ville svare: jeg er ikke helt sikker, fordi jeg ikke har set det før. I kritiske miljøer som medicinsk diagnose vil en ukorrekt forudsigelse have alvorlige konsekvenser, derfor er evnen til konstatering af usikkerhed væsentlig”, påpeger Elisa Vianello.
Og hun tilføjer, at denne egenskab skyldes, at synaptic-værdierne i Bayesian netværket ikke er præcise værdier som i traditionelle neurale netværk, men har sandsynlighedsfordelinger. Derfor er outputtet også en sandsynlighedsfordeling, som giver information om “usikkerheden”. Løsningen med memristor-baseret Bayesian neurale netværk bringer kvantificeringen af usikkerheden til den ekstreme edge-elektronik,
Jørgen Sarlvit-Larsen
