STMicroelectronics og Leopard Imaging har introduceret et alt-i-et multimodalt synsmodul til humanoide og andre avancerede robotsystemer. Ved at kombinere ST-billedgenerering, 3D-kortlægning og bevægelsesregistrering med NVIDIA Holoscan Sensor Bridge-teknologien integreres modulet samlet med NVIDIA Jetson og NVIDIA Isaac for åbne robotudviklingsplatforme, hvilket forenkler og accelererer design af visionsystemer inden for de størrelses-, vægt- og effektbegrænsninger, som humanoide robotter typisk er underlagt.
– Humanoid robotteknologi bevæger sig ud over forskningsprojekter og demonstrationer for at levere effektive nye robotter til en bred vifte af roller inden for produktion og bilfabrikker, logistik og lagerbygning samt detailhandel og kundeservice, siger Marco Angelici, vicepræsident for marketing og applikation til analoge strøm-MEMS og sensorer hos STMicroelectronics.
Drevet af NVIDIA Holoscan Sensor Bridge integreres det nye modul problemfrit med NVIDIA Jetson via Ethernet til opsamling af sensordata i realtid og via NVIDIA Isaacs åbne robotudviklingsplatform, som tilbyder åbne AI-modeller, simuleringsrammer og biblioteker til designerne. Det nye modul inkluderer applikationsprogrammeringsgrænseflader (API’er), kunstig intelligens (AI)-algoritmer specifikt til mobile robotter, eksempelapplikationer, domæne-randomizing og et simuleringsmiljø, der omfatter sensormodeller.
Teknisk information
Leopard Imaging Systems visionsmodul indeholder:
Til visionsbaseret sensorering, ST VB1940 RGB-IR 5,1-megapixel billedsensor i automotivt godkendt kvalitet med kombineret rullende shutter og global shutter-tilstand. ST har også udgivet en massemarkeds- og industriel version V**943, en del af ST BrightSense-produktfamilien, der findes i monokrom eller RGB-IR, enten som die eller som kapslet sensor.
Til bevægelsesregistrering integrerer LSM6DSV16X 6-akset inertialmåleenhed (IMU) ST-machine-learning kerne (MLC) til AI i kanten, sensor-fusion lav-effekt (SFLP) og Qvar elektrostatisk registrering til brugergrænsefladedetektion.
Til 3D-dybderegistrering leverer VL53L9CX dToF alt-i-én LiDAR-modulet, som er en del af ST FlightSense-produktfamilien, 3D-dybderegistrering med en nøjagtig rækkevidde på op til 9 meter. Med sin opløsning på 54 x 42 zoner (næsten 2.300 zoner) kombineret med et bredt 55°x42° FoV, der giver en vinkelopløsning på 1°, er korte og lange afstande og detektion af små objekter opnåelige med op til 100 fps.
Yderligere information kan findes på http://www.st.com
