Der er så mange applikationer, at der ikke findes nogen universel AI-løsning, som passer til alle formål. Hver bruger-case kræver en model med de bedste individuelle muligheder for at understøtte den aktuelle applikation. Edge-AI kræver derfor nøje overvejelser i forhold til valg af processor, board og model til den enkelte applikation
Artiklen har været bragt i Aktuel Elektronik nr. 4 – 2026 og kan læses herunder uden illustrationer
(læs originaludgaven her)
Af Christian Bause, produktspecialist, Tria
Der er kun få områder, som ikke er eller vil blive berørt af kunstig intelligens (AI). Ud over de mange anvendelsesscenarier på virksomhedsniveau dukker der adskillige applikationer op til machine learning og til AI i edge-applikationer, specielt i IoT-produkter – og ofte i kombination med signal- og billedbehandling. Sikkerhed er en driver for mange af applikationerne. Teknologien giver mulighed for ret let at detektere hackere og ubudne gæster samt – i større skala – at finde uregelmæssigheder i menneskemængder, hvilket kan alarmere om situationer, der kræver menneskelig indgriben.
Andre sektorer, lige fra industrielle styringer til landbrug, peger i retning af bruger-cases, hvor én eller flere AI-modeller modtager information fra flere sensorer og samler dem i en enkelt sammenhængende model, der kan spotte genkendelige mønstre. De mange måder, hvorpå komponenter kan fejle, gør det vanskeligt at bruge deterministiske modeller til at vurdere tilstanden i eksempelvis en værktøjsmaskine. Træning af en machine learning-model bruger derimod data fra den virkelige verden til at hjælpe med at måle, hvornår og af hvilken grund et bestemt værktøj har behov for forebyggende vedligehold.
AI giver mulighed for at forbedre kvalitetskontrollen i produktionen og i forsyningsvirksomheder såsom vand- eller energiforsyning. En model, der er trænet på forventede flows og anomalier, kan vise, hvornår produktionen bevæger sig ud over tolerancen, længe før kvaliteten forringes til det punkt, hvor dele og delsystemer skal kasseres og omarbejdes.
Kombinationen af AI med signalbehandling giver mange muligheder inden for netværk og kommunikation. Machine learning og AI kan bruge træningsdata til at optimere kanalforhold og træffe informerede beslutninger om routing af data, så man minimerer overbelastning.
Ud over de sensorbaserede applikationer giver AI mulighed for dramatiske forbedringer af brugergrænsefladen ved hjælp af tale- og gestikstyring. I miljøer, hvor håndfri betjening er vigtig, kan disse funktioner forbedre sikkerhed, hygiejne og produktivitet.
Der findes ikke en one-fits-all-løsning
Der er så mange applikationer, at der ikke findes nogen universel AI-løsning, som passer til alle formål. Hver bruger-case kræver en model med de bedste individuelle muligheder for at understøtte den aktuelle applikation. Tale- og gestikstyring vil kunne have fordele af at bruge den samme sprogmodelteknologi, der nu understøtter generativ AI. Sensororienterede applikationer vil oftere være afhængige af de såkaldte konvolutionelle neurale netværks- (CNN) arkitekturer, selv om enkelte kan opnå fordele fra den ekstra funktionalitet, der understøttes af implementering baseret på Vision Transformers – omend det har omkostninger i form af behov for højere ydelse.
AI er netop sulten efter mere ydelse. Før den generative AI’s fremkomst steg den årlige modelkapacitetsvækst med en faktor tre. Transformerbaserede modeller øgede denne vækst til mere end ti gange hvert år. Serverbaseret AI giver adgang til de mest effektive modeller. Men i mange embeddede og industrielle applikationer er adgangen til disse systemer ikke ideel. Operatører og brugere ønsker sikkerhed for deres data – og i mange tilfælde er netværksforbindelser i marken ikke pålidelige nok til at understøtte cloudbaseret AI.
Og kunderne har jo ofte brug for muligheden for at køre AI-modeller på en given applikation. Denne funktion kommer delvist fra de højtydende embeddede processorer, der er optimeret til target med kvaliteter som øget databeskyttelse og lavere latency. Da edge-AI ikke kræver nogen pålidelig internetforbindelse, udmærker edge-AI sig i den slags miljøer. En anden bidragyder til AI er den måde, hvorpå eksperter på området har tilpasset serverbaserede modeller til at køre mere effektivt i embeddede systemer.
Høj billedgenkendelse med CNN-arkitektur
Forskere har udviklet CNN-arkitekturer som ResNet og Mobilenet for at tilbyde en høj billedgenkendelsesnøjagtighed ved hjælp af færre matrixmultiplikationer end tidligere modeller udviklet til serverimplementering. Disse modelarkitekturer opdeler store, beregningsmæssigt dyre filtre i mindre todimensionelle foldninger. De udnyttede også teknikker som lagfusion, hvor successive operationer sender data igennem ”tragten” med vægtede beregninger og aktiveringsoperationer i mere end ét lag. Disse teknikker udnytter datalokalitet for at undgå krav om adgang til eksterne hukommelser, der er dyre med hensyn til energi og latency.
Designere har koblet disse og andre edge-optimerede modelarkitekturer med teknikker som netværksbeskæring (pruning) og kvantificering. Pruning reducerer det samlede antal operationer, der er nødvendige for at behandle hvert lag. Men det er ofte et dårligt match for de stærkt optimerede matrixmultiplikationsmotorer, der er udviklet til neural behandling. I praksis leverer brugen af kvantificering bedre resultater med lavere overhead, idet de udnytter SIMD-aritmetiske motorer (Single-Instruction Multiple-Data) designet til matrix- og vektoroperationer.
Ved at bruge 8-bit heltalsaritmetik og muligvis endda mindre ordbredder i stedet for de meget bredere floating-point formater, der bruges under modeltræning, kan man opnå massive reduktioner i behovet for beregningsydelse og energiforbrug. Da det er muligt at bruge mange 8-bit aritmetiske engines parallelt i stedet for én enkelt højpræcisions floating-point-enhed, kan en embedded processor levere store forbedringer i gennemløbshastigheden med den samme energi og de samme omkostninger.
Et dybere kig på Qualcomm-arkitekturen
Qualcomms Hexagon neurale processorenhed (NPU) udnytter de nævnte teknikker i sin Snapdragon-serie af System-on-Chips (SoC’er) til mobiltelefoner. Det gør det muligt for SoC’erne at understøtte funktioner som ansigts- og talegenkendelse. Den samme processor er nu tilgængelig for industrielle brugere gennem Dragonwing-serien af SoC’er, der sidder sammen med Arm-baserede Cortex-A-serie applikationskerner og Adreno grafikprocessorenhed (GPU).
De nuværende generationer af Hexagon afspejler et langsigtet engagement i signalbehandling, maskinlæring og AI-arbejdsbelastninger. Den første iteration af Hexagon dukkede op i 2007 og understøttede oprindeligt digitale signalbehandlings- (DSP) og arbejdsbelastninger med en skalar engine baseret på en VLIW-arkitektur (Very Long Instruction Word) for at levere et højt data-throughput. En vigtig innovativ idé, der går tilbage til denne implementering, er brugen af symmetrisk multithreading (SMT). Ved at udnytte parallelle threads skjuler arkitekturen mange af de problemer, der er forårsaget af ekstern hukommelses-latency. Denne designfilosofi er blevet forfinet i de efterfølgende generationer af Hexagon sammen med et fokus på at skabe en samlet arkitektur, der giver designere mulighed for at udnytte Hexagons hardwareressourcer fuldt ud.
Senere generationer af Hexagon NPU har tilføjet support af parallel vektoraritmetik og siden multidimensionelle tensorer, kombineret med en fuld skalar processor, der kan køre Linux uden behov for at falde tilbage på understøttelse fra Arm CPU’erne i SoC’en, hvis applikationen skulle have brug for det. Fusion af de skalar-, vektor- og tensor-engines, der alle deler adgang til en central hukommelse, giver høj fleksibilitet.
NPU’en er også udstyret med mikro-tile-inferens, en teknik, der gør det muligt at understøtte mindre AI-modeller effektivt i de tilfælde, hvor bruger-casen kræver et ultra-lavt energiforbrug. Det kan lade en simpel model køre i lange perioder i en lavenergitilstand med detektering af bestemte typer af lyde – som en menneskelig stemme. Flere mikro-tiles kan køre samtidigt, så denne model kan fortsætte med at køre, mens andre modeller overtager opgaven med talegenkendelse. Common-memory-arkitekturen giver udviklere mulighed for at drage fuld fordel af teknikker som lagfusion. Denne teknik kan kombineres som ti eller flere lag for at eliminere behovet for at skrive mellemresultater ind i en ekstern hukommelse.
Styrkede forpligtelser i forhold til de embeddede- og edge-markederne
Qualcomms nylige bud på at opkøbe Edge Impulse signalerer en fortsat forpligtelse til edge- og de embeddede markeder for AI sammen med udgivelsen af SoC’er i Dragonwing-serien, der anvender forskellige versioner af Hexagon-, Adreno- og Cortex-A-kernerne for at opfylde forskellige ydeevnepunkter.
Qualcomms AI Hub anerkender behovet for adgang til en række forskellige modeller gennem adgang til hundredvis af forskellige modelimplementeringer, der hver især er optimeret til Snapdragon- og Dragonwing-platformene. Brugerne skal blot vælge og downloade modeller for at komme i gang med AI, så de kan afprøve forskellige tilgange for at se, hvilken der passer bedst til målapplikationen. En yderligere hjælp til hurtig prototyping og udvikling er tilgængeligheden af compute-on-module-hardware baseret på den åbne SMARC-standard. Trias partnerskab med Qualcomm giver mulighed for at tilpasse moduler baseret på denne standard, samtidig med at det muliggør kortere time-to-market og øget skalerbarhed med hensyn til CPU og hukommelse. Processorer, der i øjeblikket er tilgængelige i dette format, inkluderer QCS5490 og QCS6490, sammen med den større Vision AI-KIT. IQ9075-processoren i Vision AI-KIT er optimeret til højtydende videobehandling og kan levere 100 TOP’er (teraoperationer pr. sekund) ydelse.
Efterhånden som AI fortsætter sin udbredelse på tværs af edge- og embeddede applikationer, har designerne brug for nem adgang til det bredeste udvalg af modeller og ydeevnepunkter for at matche pris- og serviceforventningerne til nye designs. Tilgængeligheden af Qualcomms Dragonwing AI-acceleratorer på moduler kombineret med et omfattende bibliotek af modeller og supportsoftware vil hjælpe denne spredning med at få yderligere momentum.
Billedtekst:
Tria giver en håndsrækning til designere af edge- og embeddede AI-applikationer, hvor hver bruger-case som regel kræver sit helt eget niveau af ydelse, modeller, CNN, pruning og andre faktorer. Samarbejdet med Qualcomm understøtter netop disse stærkt varierede behov med en høj grad af skalérbarhed i de modulære board-løsninger.
