Slik gjør sensorfusjon det mulig for autonome mobile roboter å effektivt manøvrere rundt på fabrikkgulv

Med økende forekomster av mennesker og autonome mobile roboter (AMR – autonomous mobile robot), også kalt industrielle mobile roboter (IMR – industrial mobile robot), i samme arbeidsområde, må flere iboende sikkerhetsrisikoer håndteres. Sikker og effektiv drift av autonome mobile roboter (AMR-er) er et alt for viktig område til å være avhengig av én enkelt sensorteknologi.

Flersensorfusjon, eller rett og slett «sensorfusjon», kombinerer teknologier som laseravstandsmåling (LIDAR – laser range finding), kameraer, ultralydsensorer, lasere for hindringssensorer og radiofrekvensidentifikasjon (RFID – radio frequency identification) for å støtte en rekke AMR-funksjoner, inkludert navigasjon, kjørebaneplanlegging, antikollisjon, lagerstyring og logistikkstøtte. Sensorfusjon omfatter også å varsle personer i nærheten om tilstedeværelsen av AMR-en.

For å møte behovet for sikker og effektiv drift av AMR-er, utvikler ANSI (American National Standards Institute) og A3 (Association for Advancing Automation), tidligere RIA (Robotic Industries Association), ANSI/A3 R15.08-serien av standarder. R15.08-1 og R15.08-2 er utgitt, og disse legger fokus på grunnleggende sikkerhetskrav og integrering av AMR-er på et arbeidssted. R15.08-3 er for tiden under utvikling, og vil utvide sikkerhetskravene for AMR-er, inkludert mer detaljerte anbefalinger for bruk av sensorfusjon.

I påvente av R15.08-3, gjennomgår denne artikkelen noen av dagens beste praksiser knyttet til sikkerhet og sensorfusjon i AMR-er, og åpner med en kort oversikt over funksjonelle sikkerhetskrav som brukes med AMR-er, inkludert generiske industrielle sikkerhetsstandarder som IEC 61508, ISO 13849 og IEC 62061, samt sikkerhetskravene for å detektere menneskelig tilstedeværelse, som IEC 61496 og IEC 62998. Den presenterer deretter en typisk AMR-konstruksjon som beskriver de flertallige sensorteknologiene, presenterer representative enheter og ser på hvordan disse støtter funksjoner som navigasjon, kjørebaneplanlegging, lokalisering, kollisjonsunngåelse og lagerstyring/logistikkstøtte.

God, bedre, best

AMR-utviklere har en rekke sikkerhetsstandarder å ta i betraktning, og starter med generelle funksjonelle sikkerhetsstandarder som IEC 61508, ISO 13849 og IEC 62061. Det er også mer spesifikke sikkerhetsstandarder knyttet til deteksjon av menneskelig tilstedeværelse, slik som IEC 61496, IEC 62998 og ANSI/A3 R15.08-serien av standarder.

IEC 61496 gir veiledning for flere sensortyper. Den viser til IEC 62061, som spesifiserer krav og gir anbefalinger for konstruksjon, integrasjon og validering av elektrosensitivt verneutstyr (ESPE – electrosensitive protective equipment) for maskiner, inkludert sikkerhetsintegritetsnivåer (SIL – safety integrity level) og ISO 13849 som dekker sikkerhet for maskiner og sikkerhetsrelaterte deler i kontrollsystemer, inkludert ytelsesnivåer (PL – performance level) for sikkerhet (tabell 1).

Tabell 1: Sikkerhetskrav for ESPE etter spesifisert type i IEC 61496. (Tabellkilde: Analog Devices)

IEC 62998 er nyere og kan ofte være et bedre valg siden den inkluderer veiledning om implementering av sensorfusjon, bruk av kunstig intelligens (AI – artificial intelligence) i sikkerhetssystemer og bruk av sensorer montert på bevegelige plattformer som ikke dekkes av IEC 61496.

R15.08 del 3 kan, etter at den har blitt utgitt, gjøre R15.08-serien til den best egnede, siden den vil legge til sikkerhetskrav for brukere av AMR-systemer og AMR-konstruksjoner. Sannsynlige emner kan omfatte sensorfusjon og mer omfattende AMR-stabilitetstesting og -validering.

Sensorfusjonfunksjoner

Kartlegging av anlegget er et viktig aspekt ved idriftsettingen av AMR. Det er imidlertid ikke en aktivitet som kan gjøres én gang, og så glemmes. Den er også en del av en pågående prosess kalt simultan lokalisering og kartlegging (SLAM – simultaneous localization and mapping), noen ganger kalt synkronisert lokalisering og kartlegging. Dette er en prosess som omfatter å kontinuerlig oppdatere kartet over et område for alle endringer, samtidig som robotens plassering holdes kjent.

Sensorfusjon er nødvendig for å støtte SLAM og muliggjøre sikker drift av AMR-er. Ikke alle sensorer fungerer like godt under alle driftsforhold, og ulike sensorteknologier produserer ulike datatyper. AI kan brukes i sensorfusjonssystemer for å kombinere informasjon om det lokale driftsmiljøet (er det disig eller røykfylt, fuktig, hvor sterkt er omgivelseslyset osv.) og muliggjøre et mer meningsfylt resultat ved å kombinere utdataene fra ulike sensorteknologier.

Sensorelementer kan kategoriseres etter både funksjon og teknologi. Eksempler på sensorfusjonsensorer i AMR-er omfatter (figur 1):

• Avstandssensorer som pulsgivere (enkodere) på hjul og treghetsmålingsenheter (IMU-er) som bruker gyroskoper og akselerometre hjelper til med å måle bevegelsen og fastsette rekkevidden mellom referanseposisjoner.
• Bildesensorer som tredimensjonale (3D) kameraer og 3D LiDAR brukes til å identifisere og spore objekter i nærheten.
• Kommunikasjonsforbindelser, dataprosessorer og logistikksensorer som strekkodeskannere og enheter for radiofrekvensidentifikasjon (RFID – radio frequency identification) kobler AMR-en til administrasjonssystemer på tvers av anlegg, og integrerer informasjon fra eksterne sensorer i AMR-ens sensorfusjonssystem for å gi forbedret ytelse.
• Nærhetssensorer som laserskannere og todimensjonale (2D) LiDAR-er detekterer og sporer objekter i nærheten av AMR-en, inkludert menneskelige bevegelser.

Figur 1: Eksempel på vanlige sensortyper og relaterte systemelementer som brukes i konstruksjoner med AMR-sensorfusjon. (Bildekilde: Qualcomm)

2D LiDAR, 3D LiDAR og ultralyd

2D og 3D LiDAR og ultralyd er vanlige sensorteknologier som støtter SLAM og sikkerhet i AMR-er. Forskjellene mellom disse teknologiene gjør det mulig for én sensor å kompensere for svakhetene til de andre for å forbedre ytelsen og påliteligheten.

2D LiDAR bruker et enkelt plan med laserbelysning for å identifisere objekter basert på X- og Y-koordinater. 3D LiDAR bruker flere laserstråler for å lage en svært detaljert 3D-representasjon av omgivelsene, kalt en punktsky. Begge LiDAR-typene er relativt immune mot lysforhold i omgivelsene, men krever at gjenstander som skal detekteres har en minimumsterskel for reflektivitet for bølgelengden som sendes ut av laseren. Vanligvis kan 3D LiDAR detektere objekter med lav reflektivitet med bedre pålitelighet enn 2D LiDAR.

HPS-3D160 3D LiDAR-sensoren fra Seed Technology integrerer en høyeffekts 850 nm infrarød overflateemitterende laser med vertikalt hulrom (VCSEL– vertical-cavity surface-emitting lasers) og en svært lysfølsom CMOS. Den integrerte høyytelsesprosessoren inkluderer filtrerings- og kompensasjonsalgoritmer, og kan støtte flere simultane LiDAR-handlinger. Enheten har en rekkevidde på opptil 12 meter, med nøyaktighet ned til centimeteren.

Når en 2D LiDAR-løsning er nødvendig, kan konstruktører velge å bruke TIM781S-2174104 fra SICK. Den har en apertur på 270 grader, med en vinkeloppløsning på 0,33 grader og en skannefrekvens på 15 Hz. Den har et sikkerhetsrelatert arbeidsområde på 5 meter (figur 2).

Figur 2: Denne 2D LiDAR-sensoren har en aperturvinkel på 270 grader. (Bildekilde: SICK)

Ultralydsensorer kan nøyaktig detektere objekter med spesifikk gjennomslipping, for eksempel glass og lysabsorberende materialer, som LiDAR ikke alltid kan se. Ultralydsensorer er også mindre utsatt for forstyrrelser fra store mengder støv, røyk, fuktighet og andre forhold som kan forstyrre LiDAR. Ultralydsensorer er imidlertid følsomme for forstyrrelser fra omgivelsesstøy, og deteksjonsområdene deres kan være mer begrenset enn LiDAR.

Ultralydsensorer som TSPC-30S1-232 fra Senix kan supplere LiDAR og andre sensorer for AMR SLAM og sikkerhet. Den har en optimal rekkevidde på 3 meter, sammenlignet med 5 meter for 2D LiDAR og 12 meter for 3D LiDAR, som er beskrevet ovenfor. Denne temperaturkompenserte ultralydsensoren er IP68-klassifisert i et miljømessig forseglet kabinett i rustfritt stål (Figur 3).

Figur 3: Miljømessig forseglet ultralydsensor med en optimal rekkevidde på 3 meter. (Bildekilde: DigiKey)

Sensorfusjon refererer vanligvis til bruken av flere frittstående sensorer. I noen tilfeller er flere sensorer med-kapslet som én enkelt enhet.

Tre sensorer i én

Visuell oppfatning ved å bruke et par kameraer til å produsere stereoskopiske bilder, pluss bildebehandling basert på kunstig intelligens (AI) og maskinlæring (ML), kan gjøre det mulig for AMR å se bakgrunnen og identifisere objekter i nærheten. Sensorer som inkluderer stereo-dybdekameraer, et separat fargekamera og en treghetsmålingsenhet (IMU) i én enhet, er tilgjengelige.

Stereo-dybdekameraer som Intel RealSense D455 RealSense Depth Cameras bruker to kameraer atskilt med et kjent basis for å detektere dybden og beregne avstanden til et objekt. Et viktig aspekt ved presisjon er å bruke et robust stålrammeverk som sikrer nøyaktig separasjonsavstand mellom kameraene, selv i krevende industrielle miljøer. Nøyaktigheten til dybdeoppfatningsalgoritmen er avhengig av å kjenne den nøyaktige avstanden mellom de to kameraene.

For eksempel har 82635DSD455MP-dybdekameramodellen blitt optimert for AMR-er og lignende plattformer, og har utvidet avstanden mellom kameraene til 95 mm (Figur 4). Dette gjør det mulig for dybdeberegningsalgoritmen å redusere estimeringsfeilen til mindre enn 2 % ved 4 meter.

Figur 4: Denne modulen inkluderer stereo-dybdekameraer atskilt med 95 mm, et separat fargekamera og en treghetsmålingsenhet. (Bildekilde: DigiKey)

D455-dybdekameraer inkluderer også et separat fargekamera (RGB). En global lukker for opptil 90 bilder per sekund på RGB-kameraet, som er tilpasset dybdebildets synsfelt (FOV – field of view), forbedrer samsvaret mellom farge- og dybdebildene, og forbedrer evnen til å forstå omgivelsene. D455-dybdekameraer integrerer en treghetsmålingsenhet med seks frihetsgrader som gjør at dybdeberegningsalgoritmen kan inkludere bevegelseshastigheten til AMR-en og produsere dynamiske dybdebevissthetsestimater.

Belysning og lyd leder vei

Blinkende lys og hørbare varsler for personer i nærheten av en AMR, er viktig for AMR-sikkerheten. Lysene er vanligvis et lystårn eller en lysstrimmel på sidene til AMR-en. De hjelper roboten med å kommunisere sine tiltenkte handlinger til folk. De kan også vise status som batterilading, lasting eller lossing, intensjon om å svinge i en ny retning (på samme måte som blinklysene på en bil), nødtilstander og så videre.

Det eksisterer ingen standarder for lysfarger, blinkehastigheter eller hørbare alarmer. De kan variere mellom AMR-produsenter, og de er ofte utviklet for å reflektere de spesifikke aktivitetene i anlegget der AMR-en er i drift. Lysstrimler er tilgjengelige både med og uten integrerte hørbare varslingsmekanismer. For eksempel inkluderer TLF100PDLBGYRAQP-modellen fra Banner Engineering et forseglet hørbart element med 14 valgbare toner og volumkontroll (figur 5).

Figur 5: Denne lysbjelken inkluderer et forseglet hørbart element (svart sirkel øverst). (Bildekilde: DigiKey)

Logistikkstøtte

AMR-er fungerer som en del av større virksomheter, og det er ofte pålagt at de integreres med programvare for bedriftsressursplanlegging (ERP – enterprise resource planning), produksjonstekniske systemer (MES – manufacturing execution system) eller lagerstyringssystemer (WMS). Kommunikasjonsmodulen på AMR-en kombinert med sensorer som strekkode- og RFID-lesere gjør at AMR-er kan integreres dypt i bedriftssystemer.

Når en strekkodeleser er nødvendig, kan konstruktører bruke V430-F000W12M-SRP fra Omron, som kan dekode 1D- og 2D-strekkoder på etiketter eller DPM-strekkoder (DPM – Direct Part Mark). Den inkluderer autofokus med variabel avstand, et bredt synsfelt, en 1,2 megapiksel sensor, et innebygd lys og høyhastighetsprosessering.

DLP-RFID2 fra DLP Design er en prisgunstig, kompakt modul for lesing fra og skriving til høyfrekvente (HF) RFID-transpondermerker. Den kan også lese de unike identifikatorene (UDI – unique identifier) for opptil 15 merker samtidig, og kan konfigureres til å bruke en intern eller ekstern antenne. Den har et driftstemperaturområde fra 0 °C til +70 °C, noe som gjør den egnet for bruk i Industri 4.0 produksjons- og logistikkanlegg.

Konklusjon

Sensorfusjon er et viktig verktøy for å støtte SLAM og sikkerhet i AMR-er. I påvente av R15.08-3, som kan inkludere referanser til sensorfusjon og mer omfattende AMR-stabilitetstesting og -validering, gjennomgikk denne artikkelen noen gjeldende standarder og beste praksis for implementering av sensorfusjon i AMR-er. Dette er den andre artikkelen i en todelt serie. Del en gjennomgikk sikker og effektiv integrering av AMR-er i Industri 4.0-virksomheter for å oppnå maksimal nytte.