Slik brukes sensorfusjon til å forbedre produksjonsprosesser og logistikk i Industri 4.0

Sensorfusjon kombinerer data fra flere sensorer for å gi en mer detaljert og nyansert forståelse av systemdriften eller omgivelsene. I mange tilfeller kan svakheten til én sensorteknologi overvinnes ved å legge til (fusjonere) informasjon fra en annen sensorteknologi. Ved å legge til kunstig intelligens (AI – artificial intelligence) og maskinlæring (ML – machine learning) kan virkningen av sensorfusjon forsterkes.

Det er flere utfordringer å ta tak i når sensorfusjon skal implementeres. Det kan for eksempel være vanskelig å utvikle en balansert løsning og ikke «favorisere» én av teknologiene fremfor de andre. Dette kan resultere i manglende skalerbarhet og redusert ytelse. En måte å løse denne utfordringen på er å integrere flere sensorteknologier i én enkelt enhet. Sensorfusjon er ikke begrenset til bruken av flere frittstående sensorer.

Uavhengig av nivået av sensorintegrasjon, kan det å legge til AI eller ML forbedre ytelsen, men opplæring kan være komplisert og tidkrevende. I stedet kan konstruktører bruke sensorer for selvopplæring med innebygde AI- og ML-funksjoner.

Denne artikkelen begynner med å gjennomgå en sensorfusjonsimplementering ved hjelp av frittstående sensorer, en 32-bits mikrokontroller og ML-programvare. Deretter presenterer den en rekke integrerte sensorfusjonsløsninger og utrustningseksempler i logistikkanlegg, datasentre, prosessautomatisering, materialhåndtering og landbruksutstyr.

Den avslutter med å se på en integrert miljømessig sensorfusjonsløsning med integrert AI-programvare. Gjennom hele gjennomgangen vil eksempelenheter fra Renesas Electronics, Sensirion, TE Connectivity, ACEINNA, Bosch Sensortec og TDK InvenSense inkluderes.

Konstruktører kan utforske sensorfusjonsalternativer ved å bruke et referansedesignkort fra Renesas. Kortet er basert på en 32-bits mikrokontroller med en 120 MHz Arm® Cortex®-M4-kjerne, opptil 2 MB kode-flash-minne og 640 KB SRAM, i tillegg til en rekke grensesnitt- og konnektivitetsmuligheter.

Det tilknyttede evalueringssettet er optimalisert for flersensor- og sensorfusjonskonstruksjoner. Det inkluderer en luftkvalitetssensor, lyssensor, temperatur- og fuktighetssensor, en 6-akset treghetsmålingsenhet (IMU – inertial measurement unit), en mikrofon og konnektivitet med lavenergi-Bluetooth (BLE – Bluetooth Low Energy) (figur 1). Referansekonstruksjonen inkluderer også en automatisert ML-plattform for edge-enheter og sensorfusjonsutrustninger.

Figur 1: Evalueringskort og utviklingskort for IoT-sensorfusjon med automatisert ML-utviklingsprogramvare og BLE-konnektivitet. (Bildekilde: Renesas Electronics)

Stabiliserende helningssensorer

Helningssensorer er spesialiserte IMU-er som brukes i ulike konstruksjoner, for eksempel landbruksmaskiner, terrengkjøretøy, materialhåndtering og tungt anleggsutstyr. Sikkerhetsstandarder krever noen ganger helningssensorer for å sikre trygge driftsmiljøer. Helningssensorer kan monteres ved å bruke flere separate enheter, noe som kan være komplisert.

Kjernen for de fleste helningssensorkonstruksjoner er en gyroskopsensor (gyro) som måler vinkelhastigheten eller rotasjonshastigheten rundt en akse. Dette er flott hvis plattformen er i bevegelse, men hvis den slutter å bevege seg, for eksempel vippet i en 20-graders vinkel, går sensorutgangen til null. I tillegg kan en gyro oppleve betydelig vandring over tid, der feil kan akkumuleres og til slutt produsere en måling som ikke lenger er nøyaktig eller nyttig.

For å adressere begrensningene til gyroer, kan løsninger med dynamiske helningssensorer legge til et akselerometer for å måle bevegelse. Dette kan fortelle systemet når bevegelsen har stanset, og gjøre det mulig for systemet å bruke siste utgangsdata fra gyroen til å estimere helningsvinkelen. En siste brikke i puslespillet er en temperatursensor som kompenserer for virkningene av varierende temperaturer på gyroen og akselerometeret.

Kalman-filtre brukes ofte til sensorfusjon i helningssensorer. Et standard Kalman-filter basert på lineær kvadratisk estimering kan brukes hvis sensorene drives i et lineært ytelsesområde. Kalman-filtre kan produsere relativt nøyaktige tilstandsestimater, selv i systemer som helningssensorer som har iboende usikkerhet og akkumuleringsfeil.

Helningssensorer som virker i et ikke-lineært område, kan dra nytte av et utvidet Kalman-filter som lineariserer estimatene ved å bruke gjeldende middelverdi og kovarians.

Helningssensorer som AXISENSE-G-700 fra TE Connectivity og MTLT305D fra ACEINNA har bevegelsessensorer med seks frihetsgrader (6 DoF), tre fra gyroen og tre fra akselerometeret, og bruker Kalman-filtreringsteknikker for sensorfusjon (figur 2).

Figur 2: AXISENSE-G-700-helningssensoren kombinerer data fra akselerasjons-, rotasjons- og temperatursensorer for å gi nøyaktig helningsinformasjon i dynamiske miljøer. (Bildekilde: TE Connectivity)

Fusjonere ni-i-en

Selv om 6 DoF (degrees of freedom) er nok i mange tilfeller, kan noen utrustninger for bevegelsessporing, for eksempel droner, kjøretøy og VR-enheter, dra nytte av den ekstra informasjonen som tilbys ved å bruke 9 DoF.

OPENIMU300RI-modulen fra ACEINNA er konstruert for bruk med 12 V og 24 V innen bilindustrien, konstruksjon og i landbrukskjøretøy. I tillegg til en gyro og et akselerometer, har denne IMU-en et 3 DoF anisotropisk magnetoresistivt (AMR – anisotropic magneto-resistive) magnetometer.

En ARM-prosessor samler inn sensordata og implementerer utvikling av OpenIMU, en åpen kildekode-stakk for IMU, globalt posisjoneringssystem (GPS) og treghetsnavigasjonssystem (INS – inertial navigation system). Stakken inkluderer et tilpassbart Kalman-filter for sensorfusjon.

TDK InvenSense tilbyr også en 9-akset bevegelsessporingsenhet. ICM-20948-modellen har et driftstemperaturområde fra –40 °C til 85 °C, noe som gjør den egnet for ulike konstruksjoner i utfordrende miljøer, for eksempel industriell automatisering og autonome systemer. Den inkluderer en MEMS-basert (MEMS – mikro-elektromekanisk system) tre-akset gyro, et MEMS-basert tre-akset akselerometer og et MEMS-basert tre-akset magnetometer/kompass.

I tillegg til 9 DoF-bevegelsessensorene har ICM-20948 uavhengige analog-til-digital-omformere (ADC-er) for hver sensor, signalbehandlingskretser og en digital bevegelsesprosessor (DMP – digital motion processor) (figur 3).

Figur 3: Denne integrerte sensorplattformen støtter 9 DoF ved å bruke en tre-akset gyro og tre-akset akselerometer (løfteside) pluss et tre-akset magnetometer/kompass (nederst til høyre). (Bildekilde: TDK InvenSense)

Noen ICM-20948-detaljer omfatter:

Tre uavhengige vibrasjonelle MEMS-hastighetsgyroer. Hvis gyroene roteres om noen av de tre aksene, forårsaker corioliseffekten en vibrasjon som detekteres av en kapasitiv føler. Utgangen fra føleren behandles for å produsere en spenning som er proporsjonal med vinkelhastigheten.

Det 3-aksede MEMS-akselerometeret har separate masser for hver akse. Akselerasjon langs en akse forskyver den korresponderende massen, som en kapasitiv føler detekterer. Når ICM-20948 plasseres på en flat overflate, vil den måle 0 g på X- og Y-aksen og +1 g på Z-aksen.

Magnetometeret er basert på Hall-sensorteknologi. Den detekterer terrestrisk magnetisme i X-, Y- og Z-aksene. Sensorutgangen genereres med en sensordriverkrets, en forsterker, en 16-bits A-D-omformer og en aritmetisk krets for å behandle det resulterende signalet. Hver akse har et fullskalaområde på ±4900 µT.

DMP-en i ICM-20948 er en differensiator. Noen av funksjonene og fordelene omfatter:

• Avlasting av algoritmer for bevegelsesprosessering fra vertsprosessoren minimerer strømforbruket og forenkler timing og programvarearkitekturen. DMP-en sikrer at algoritmene for bevegelsesprosessering kan kjøres med høy frekvens, rundt 200 Hz, for å gi nøyaktige resultater med lav ventetid. Drift ved 200 Hz anbefales, selv om utrustningen oppdateres mye saktere, for eksempel 5 Hz. Frakobling av DMP-prosesseringsfrekvensen fra utrustningens oppdateringsfrekvens sikrer mer robust systemytelse.
• DMP-en muliggjør driftstid med ultralavt strømforbruk og bakgrunnskalibrering av sensorene. Kalibrering er nødvendig for å opprettholde optimal ytelse for individuelle sensorer og sensorfusjonsprosesser over enhetens levetid.
• DMP-en forenkler programvarearkitekturen og får fart på programvareutviklingen, noe som resulterer i at produkter kommer raskere ut på markedet.

Integrerte miljøsensorer

Miljøovervåking er viktig i systemer for bearbeiding og lagring av matvarer, kjemiske anlegg, logistikkvirksomheter, datasentre, produksjon av drivhusavlinger, oppvarming, ventilasjon og klimaanlegg (HVAC) og andre områder. Målinger av relativ luftfuktighet (RH – relative humidity) og temperatur kan slås sammen for å beregne duggpunktet.

Digitale luftfuktighets- og temperatursensorer i SHTC3-serien fra Sensirion er optimalisert for batteridrevne konstruksjoner på inngangspunktet (edge) og i forbrukerelektronikk med høye volumer. CMOS-sensorplattformen inkluderer en kapasitiv luftfuktighetssensor, en båndavstand-temperatursensor, analog og digital signalbehandling, A-D-omformer, kalibreringsdataminne og et I²C-kommunikasjonsgrensesnitt i hurtigmodus.

Den lille DFN-kapslingen på 2 x 2 x 0,75 mm støtter plassbegrensede konstruksjoner. Den brede forsyningsspenningen fra 1,62 V til 3,6 V og et energibudsjett under 1 μJ per måling, gjør SHTC3 egnet for batteridrevne mobile eller trådløse enheter (figur 4). For eksempel leveres delenummer SHTC3-TR-10KS i mengder på 10 000 på Digi-Reel, bånd-og-rull eller båndremse. Konstruktører kan bruke SHTC3-evalueringskortet til å fremskynde systemutviklingen.

Figur 4: Denne miljøovervåkningsenheten inkluderer digitale luftfuktighets- og temperatursensorer. (Bildekilde: Sensirion)

Legge til barometertrykk

Kontekst- og lokasjonsbevissthet blir stadig viktigere i styringer for hjemmeautomatisering, klimaanlegg, treningsutstyr og innendørs navigasjonsutrustninger. Konstruksjonen til disse systemene kan dra nytte av å bruke den integrerte miljøenheten BME280 fra Bosch Sensortec, som legger til en barometertrykksensor sammen med luftfuktighets- og temperatursensorer.

Sensorene er konstruksjoner med lavt støynivå som gir høy nøyaktighet og oppløsning. Trykksensoren måler absolutt barometertrykk. Den integrerte temperaturen er optimalisert for å virke med luftfuktighetssensoren for å fastsette relativ luftfuktighet (RH) og duggpunkt. Den brukes også til å gi temperaturkompensasjon for barometeret. Et utviklingskort er tilgjengelig for å fremskynde prosessen med konstruksjons- og systemintegrasjon.

AI for miljøføling

Bosch Sensortec tilbyr også en 4-i-1-miljøsensor med integrert AI. BME688 omfatter en gassensor og trykk-, fuktighets- og temperatursensorer med høy linearitet og nøyaktiget. Den kommer i en robust kapsling på 3,0 mm x 3,0 mm x 0,9 mm som er egnet for mobile og andre utrustninger med begrenset plass (figur 5).

Figur 5: BME688 fra Bosch Sensortec omfatter en gassensor pluss trykk-, luftfuktighets- og temperatursensorer, som alle støttes med integrert AI. (Bildekilde: Bosch Sensortec)

Gassensoren kan detektere flyktige organiske forbindelser (VOC – volatile organic compounds), flyktige svovelforbindelser (VSC – volatile sulfur compounds) og andre gasser som karbonmonoksid og hydrogen i deler per milliard-området (ppb – parts per billion). BME688 omfatter en gass-skannerfunksjon som kan tilpasses for følsomhet, selektivitet, datahastighet og strømforbruk.

BME AI-Studio-programvaren optimaliserer også gassensoren for andre gassblandinger og bruksområder. BME688-evalueringskortet kan konfigureres med BME AI-Studio-programvaren. BME AI-Studio støtter sensorkonfigurasjon, dataanalyse og merking, opplæring og optimalisering av utrustningsløsninger for fabrikker, logistikkanlegg, smarthjem og IoT-enheter.

Sampling av gasser og opplæring av systemet ute i felten i stedet for i laboratoriet, gjør det mulig å konstruere mer realistiske algoritmer som yter bedre og gir høyere pålitelighet under faktiske driftsforhold. Ved å dra nytte av BME688s evne til å samtidig måle fuktighet, temperatur og barometertrykk, i tillegg til gasser, kan mer omfattende og nøyaktige AI-modeller utvikles.

Konklusjon

Sensorfusjonssystemer for Industri 4.0, logistikk og andre utrustninger kan utvikles ved å bruke en serie frittstående sensorer eller en integrert løsning som inkluderer flere sensorer i én enkelt enhet. Integrerte enheter kan produsere mindre løsninger med lavere strømforbruk for mobil- og edge-utrustninger. Enten du bruker atskilte sensorer eller en integrert sensorpakke, kan ytelsen forbedres ved å legge til AI og ML.