Forbedre fabrikksikkerhet og produktivitet ved raskt å legge til maskinsyn i industrielle systemer

Konstruktører av maskiner i industriell automatisering er pålagt å implementere en form for maskinsyn for å bestemme avstanden fra alle objekter i et bestemt synsfelt. Grunnene til å implementere denne formen for maskinsyn for avstandsmåling kan variere, inkludert å avlesing det generelle miljøet for endringer eller innbrudd, rekkevidden av gjenstander på en produksjonslinje eller generell operatør- eller robotbeskyttelse mot farer. Spesielt innendørs kjøretøyer i industrielle lagerbygninger implementerer maskinsyn for automatisert kjøring, objektplassering og identifikasjon, samt deteksjon og unngåelse av hindring.

Den vanligste metoden for innendørs maskinsyn for objektavstandsdeteksjon er med lysdeteksjon og avstandsmåling, LiDAR (light detection and ranging) som bruker laserlys til å måle avstanden mellom objektene. LiDAR måler returtiden og bølgelengden til det reflekterte laserlyset for å bestemme avstanden fra hvert punkt. LiDAR-algoritmer for maskinsyn er imidlertid svært komplekse og har en bratt læringskurve, noe som krever eksperter på maskinsyn for å kode applikasjonen.

Denne artikkelen viser utviklere hvordan de bruker et nøkkelferdig LiDAR-kamera for disse applikasjonene fra Intel, som detekterer avstanden til objekter i synsfeltet. Det løser problemet med raskt å legge til maskinsyn i nye eller eksisterende systemer, uten å lære kompleksiteten i maskinsynsteknologi og algoritmer. Den viser deretter hvordan Intel LiDAR-kameraet pares med en enkeltkortdatamaskin (single-board computer – SBC) fra UDOO ved hjelp av en høyhastighets-USB 3.1-tilkobling.

Maskinsyn i innendørs miljøer for industriautomasjon

Innendørs miljøer for industriautomasjon blir stadig mer dynamiske, med mer utstyr som legges til produksjonsprosessen, i tillegg til flere operatører og forsyninger. Alle maskiner, sensorer og økte grad av automasjon er ment å øke effektiviteten, og samtidig sikre operatørens sikkerhet.

I mange tilfeller er de ekstra sensorene ment å detektere objekter, inkludert mennesker, i et målområde. Et objekt på en produksjonslinje kan detekteres på mange måter, inkludert en grunnleggende lyssensor som detekterer en endring i omgivelseslys på grunn av en gjenstand som passerer, en mekanisk bryter som trykkes ned av vekten av gjenstanden, eller en lysstråle over en produksjonslinje som avbrytes når et produkt ruller forbi. Selv om disse metodene er hensiktsmessige for grunnleggende objektdeteksjon, har mer sofistikert automasjon gjort at det kreves en mer kompleks visuell deteksjon, mer lik det menneskelige øye.

Maskinsyn er omtrent analogt med å legge syn til maskiner for å identifisere forskjellige farger, skille objekter fra hverandre og gjenkjenne flere bevegelser. En vanlig og svært praktisk type maskinsyn er imidlertid å detektere avstanden til alle objekter i et synsfelt.

Det er to vanlige metoder for å utføre avstandsdeteksjon for flere objekter. Den første er radar, som for et innemiljø har umiddelbar bekymring for å være farlig for menneskelige operatører under konstant eksponering av høyfrekvente signaler. I utemiljøer spretter radarfrekvenser av objekter før de ufarlig spres til omgivelsene. Når radaren brukes innendørs, vil den gjentatte ganger sprette mot flere objekter, noe som resulterer i intense nivåer av elektromagnetisk forstyrrelse (EMI). Langvarig eksponering kan ha langsiktige helsepåvirkninger på mennesker.

Den andre vanlige metoden for å utføre avstandsdeteksjon av flere objekter i et synsfelt er laserlysområde, også referert til som LiDAR. En eller flere laserlysstråler rettes mot objektene avstanden skal måles for. Tiden det tar for laserstrålen å reflektere tilbake til en reseptor ved utgangspunktet, sammen med enhver faseforskyvning av strålen, sammenlignes med tiden og fasen til den utstrålte laseren. En algoritme beregner avstanden til objektene basert på tids- og faseforskjell og konverterer den til centimeter eller tommer.

Beregningen av tids- og faseforskjell for en enkelt laserstråle for å detektere ett objekt er ganske enkel. En mer kompleks maskinsyn-utrustning ville imidlertid innebære å beregne avstanden til dusinvis av objekter i et synsfelt. Å kombinere disse beregningene for å lage et visuelt kart over avstandene er ikke trivielt og kan ta omfattende utviklingstid.

Maskinsyn med avstandsdeteksjon

En praktisk løsning for et maskinsynsprogram som kan komme raskt i gang, er Intels høyoppløste L515 LiDAR-dybdekamera Intel RealSense 82638L515G1PRQ (figur 1). Kameraet er 61 mm i diameter og 26 mm i dybde, og inneholder et LiDAR-bildedybdeenhet, RGB-kamera (rødt, grønt, blått) og en treghetsmåleenhet (inertial measurement unit – IMU). LiDAR-kameraet kan returnere bildepunktgrafikk i oppløsningene 1024 x 768 eller 1920 x 1080, der hver piksel representerer avstanden til objektpunktet fra kameraet.

Figur 1: Intel RealSense L515 er et frittstående LiDAR-kamera med høy oppløsning som også har et RGB-kamera og IMU. Den kobles enkelt til en datamaskin ved hjelp av USB 3.1. (Bildekilde: Intel)

Intel L515 LiDAR-kameraet returnerer et punktgrafikkbilde av området i synsfeltet. I stedet for å returnere et typisk fotografisk bilde av området, returnerer LiDAR-kameraet imidlertid et bilde der RGB-verdien for hver piksel representerer avstanden fra hvert pikselpunkt til Intel L515-kameraet. Kameraet har en oppløsning på fra 0,25 til 9 meter. Det inneholder også et standardkamera for RGB-bilder med 2 megapiksler (MP), som er nyttig under utvikling. Det anbefales for innendørs belysningssituasjoner, da det ikke er konstruert for å fungere der det er rikelig med sollys.

Et eksempelbilde fra Intel L515 er vist i Figur 2. Kamerabildet er sentrert på en plante i forgrunnen og er delt inn i to seksjoner. På venstre side vises et vanlig RGB-kamerabilde av planten og bakgrunnen i naturlige farger. Høyre side er en visuell representasjon av avstanden hvert objekt befinner seg fra kameraet. Planten i forgrunnen viser som nyanser av blå, mens veggen i bakgrunnen viser lyse oransje. Til høyre er veggen lenger vekk fra kameraets sentrum, slik at bildet får mørkere rødfarge.

Figur 2: Intel L515 LiDAR-kameraet returnerer både et RGB-bilde (venstre) og et punktgrafikkbilde (høyre) som representerer avstanden objektet er unna kameraet. Nærmere kameraet viser seg som blå, mens lenger unna vises som mørk rød. (Bildekilde: Intel)

Ved hjelp av denne informasjonen kan programvaren behandle bildedataene for å fastsette avstanden mellom objektene og kameraet.

Med sin kompakte størrelse og høye integrasjonsnivå er LiDAR-kameraet Intel L515 egnet for innendørs utrustninger for industriautomasjon der dybdeavlesing i maskinsyn raskt skal implementeres, i nye eller eksisterende systemer. For mobile systemer inneholder Intel L515 en IMU som kan registrere ±4 g akselerasjon, samt gyroskop som kan registrere opptil ±1000˚per sekund (˚/s) rotasjon. Dette er egnet for de fleste innendørs kjøretøyer eller roboter som brukes i anlegg for industriautomasjon. Det må utvises forsiktighet ved koding av firmware for IMU-en, ettersom et kjøretøy eller en robot som treffer en hindring, kan utsettes for mer enn 4g, som er et unntak det må ta hensyn til.

Maskinsyn i et komplett system

Intel L515 kan kobles til en PC eller enkeltkortdatamaskin (single board computer - SBC) ved hjelp av høyhastighets-USB 3.1-grensesnitt. Kamerahuset har en USB Type-C®-kontakt, slik at standardkabler med Type C-kontakter kan brukes for enkel integrasjon. Ettersom bildebehandling av maskinsynbilder kan være prosessorintensivt, anbefales det å ha god ytelse, slik at bildedatasett kan behandles i sanntid om nødvendig. UDOO KTMX-UDOOBL-V8G.00 Bolt V8 er en enkeltkortdatamaskin (SBC) med høy ytelse, basert på en firekjernet prosessor som kjører med 2,0 gigahertz (GHz) (med 3,6 GHz boost) som støtte opptil 32 gigabyte (Gbytes) DRAM. For programminne kan den bruke en M.2 SSD-disk (solid state drive), samt den støtter også standard SATA-3-tilkobling til harddisk.

Figur 3: UDOO Bolt V8 er en kraftig enkeltkortdatamaskinen (SBC) med en firekjernet prosessor som kjører med opptil 3,6 GHz. Den støtter tilkoblingene M.2 og SATA-3 for tilkobling til eksterne harddisker, har plass til opptil 32 Gbyte DRAM og har en USB 3.1 Type C-kontakt for tilkobling mot Intel RealSense L515 LiDAR-kameraet. (Bildekilde: ODOO)

UDOO Bolt V8 har to HDMI 1.4-videotilkoblinger for tilkobling til monitor. For nettverk kan den kobles til et fabrikknettverk ved hjelp av kablet Gigabit Ethernet via en innebygd RJ-45-kontakt. Wi-Fi og Bluetooth støttes også. Stereolyd er støttet med uttak for 3,5 mm standardplugg. Enkeltkortdatamaskinen (SBC-en) kan kjøre hvilken som helst 64-bits x86-kompatibelt operativsystem, inkludert Microsoft Windows og alle 64-biters Linux-distribusjoner. Denne kraftige enkeltkortdatamaskinen (SBC-en) krever en strømforsyning på 19 volt, 65 watt for å støtte 2 GHz-ytelse.

For maskinsynsdataalgoritmer har UDOO Bolt V8 rikelig med behandlingsskraft. Den kan ta inn data fra Intel RealSense L515 gjennom et høyhastighets-USB 3.1 Type C-grensesnitt, og kan om nødvendig vise bildet på en skjerm koblet til et av HDMI-grensesnittene. Hørbare varsler eller advarsler kan spilles fra høyttalere koblet til en av lydutgangskontaktene.

Konklusjon

Maskinsyn med dybdeanalyse er et raskt ekspanderende felt, som kan kreve kompleks kode og maskinvare hvis det bygges fra bunnen av. Å innlemme et system med maskinsyn ved hjelp av nøkkelferdige løsninger som utfører dybdeberegningene i forhåndsprogrammert firmware sparer både tid og penger, noe som resulterer i et maskinsynssystem med høy ytelse som kan settes i arbeid i et miljø med industriautomasjon på en rask og pålitelig måte.