En grundlig förståelse av principerna för 3D-visuell bildbehandling

3D vision imaging är en av de viktigaste metoderna för informationsuppfattning av industrirobotar, som kan delas in i optiska och icke-optiska avbildningsmetoder. För närvarande är de mest använda optiska metoderna, inklusive: time-of-flight-metod, strukturerad ljusmetod, laserskanningsmetod, Moire-fransmetod, laserfläckmetod, interferometri, fotogrammetri, laserspårningsmetod, form från rörelse, form från skugga, och andra ShapefromX. Detta dokument introducerar flera typiska scheman.

1. Flygtid 3D-avbildning

Varje pixel i time-of-flight-kameran (TOF) använder tidsskillnaden i ljusets flygning för att få fram objektets djup.

I den klassiska TOF-mätmetoden startar detektorsystemet detekterings- och mottagningsenheten till tidpunkten när den optiska pulsen sänds ut. När detektorn tar emot det optiska ekot från målet, lagrar detektorn direkt rundturstiden.

Även känd som Direct TOF (DTOF), D-TOF används ofta i enpunktsavståndssystem, där skanningsteknik ofta krävs för att uppnå områdesövergripande 3D-avbildning.

Skanningsfri TOF 3D-bildteknik har inte realiserats förrän på senare år, eftersom det är mycket svårt att implementera subnanosekund elektronisk timing på pixelnivå.

Alternativet till direktstyrd D-TOF är indirekt TOF (I-TOF), där tiden tur och retur extrapoleras indirekt från tidsstyrda mätningar av ljusintensitet. I-TOF kräver inte exakt timing, utan använder istället tidsstyrda fotonräknare eller laddningsintegratorer, som kan implementeras på pixelnivå. I-TOF är den nuvarande kommersialiserade lösningen för elektroniska och optiska mixers baserade på TOF-kameror.

TOF-avbildning kan användas för stort synfält, långa avstånd, låg precision, låg kostnad 3D-bildinsamling. Dess egenskaper är: snabb detekteringshastighet, stort synfält, långt arbetsavstånd, billigt pris, men låg noggrannhet, lätt att störas av omgivande ljus.

2. Skanna efter 3D-bilder

Skanna 3D-avbildningsmetoder kan delas in i scanning avstånd, aktiv triangulering, dispersion konfokal metod och så vidare. Faktum är att dispersionskonfokalmetoden är en skannings- och avståndsmetod, med tanke på att den för närvarande används i stor utsträckning inom tillverkningsindustrin, såsom mobiltelefoner och platta bildskärmar, introduceras den separat här.

1. Skanning och avstånd

Skanningsavståndsmätning är att använda en kollimerad stråle för att skanna hela målytan genom endimensionell avståndsmätning för att uppnå 3D-mätning. Typiska skanningsmetoder är:

1, enkelpunkts-tid för flygning, såsom kontinuerlig vågfrekvensmodulering (FM-CW), pulsintervall (LiDAR), etc.;

2, laserspridningsinterferometri, såsom interferometrar baserade på principerna för multivåglängdsinterferens, holografisk interferens, vitljusinterferensfläckinterferens, etc.

3, konfokal metod, såsom dispersion konfokal, självfokusering, etc.

I 3D-metoden för enpunktsavsökning är enpunktstiden för flygning lämplig för långdistansskanning, och mätnoggrannheten är låg, vanligtvis i storleksordningen millimeter. Andra enpunktsskanningsmetoder är: enpunktslaserinterferometri, konfokalmetod och enpunktslaseraktiv trianguleringsmetod, mätnoggrannheten är högre, men den förra har höga miljökrav; Linjeskanningsnoggrannhet måttlig, hög effektivitet. Aktiv lasertrianguleringsmetod och dispersionskonfokalmetod är mer lämpade för att utföra 3D-mätning i slutet av robotarmen.

2. Aktiv triangulering

Aktiv trianguleringsmetod är baserad på principen om triangulering, med hjälp av kollimerade strålar, en eller flera plana strålar för att skanna målytan för att slutföra 3D-mätning.

Strålen erhålls vanligtvis på följande sätt: laserkollimation, cylindrisk eller fyrkantig cylindrisk vinkelstråleexpansion, inkoherent ljus (som vitt ljus, LED-ljuskälla) genom hålet, spaltprojektion (gitter) eller koherent ljusdiffraktion.

Aktiv triangulering kan delas in i tre typer: enkelpunktsskanning, enkelradsskanning och flerradsskanning. De flesta av de produkter som för närvarande kommersialiseras för användning i änden av robotarmar är enkelpunkts- och enkellinjeskannrar.

I multi-line skanningsmetoden är det svårt att identifiera kantpolnumret på ett tillförlitligt sätt. För att exakt identifiera ränder, används vanligtvis höghastighets alternerande avbildning av två uppsättningar vertikala optiska plan, vilket också kan realisera "FlyingTriangulation"-skanning. Skanningen och den tredimensionella rekonstruktionsprocessen visas i följande figur. En gles 3D-vy genereras av multi-line projektion stroboskopisk avbildning, och flera 3D-vysekvenser genereras av longitudinell och horisontell fransprojektionsskanning. Sedan genereras en komplett och kompakt 3D-ytmodell med hög upplösning genom 3D-bildmatchning.

3. Dispersion konfokal metod

Dispersion confocal verkar kunna skanna och mäta grova och släta ogenomskinliga och genomskinliga föremål, såsom reflekterande speglar, transparenta glasytor, etc., och är för närvarande allmänt populärt inom området för tredimensionell detektering av täckplåtar för mobiltelefoner.

Det finns tre typer av dispersiv konfokal skanning: enpunkts endimensionell absolutavståndsskanning, flerpunkts arrayskanning och kontinuerlig linjeskanning. Följande figur listar två typer av exempel på absolut avstånd respektive kontinuerlig linjeavsökning. Bland dem är kontinuerlig linjeskanning också en arrayskanning, men arrayen har mer och tätare gitter.

I kommersiella produkter är den mer välkända skanningsspektrala konfokala sensorn Frankrikes STILMPLS180, som använder 180 arraypunkter för att bilda en linje med en maximal linjelängd på 4,039 mm (mätpunkt 23:50, punkt-till-punkt-avstånd på 22:5). En annan produkt är Finlands FOCALSPECUULA. Tekniken för dispersion konfokal triangel antas.

3. 3D-avbildning med strukturerad ljusprojektion

Strukturerad ljusprojektion 3D-avbildning är för närvarande det huvudsakliga sättet för robotens 3D-visuella uppfattning, strukturerat ljusavbildningssystem består av flera projektorer och kameror, vanliga strukturella former är: enkel projektor-enkelkamera, enkelprojektor-dubbelkamera, enkelprojektor-flera kamera, enkelkamera - dubbelprojektor och enkelkamera - flera projektorer och andra typiska strukturella former.

Den grundläggande arbetsprincipen för 3D-avbildning av strukturerad ljusprojektion är att projektorer projicerar specifika strukturerade ljusljusmönster till målobjekt, och bilderna som moduleras av målet fångas av kameran, och sedan erhålls 3D-informationen för målobjektet genom bild bearbetning och visuell modell.

Vanligt använda projektorer har huvudsakligen följande typer: flytande kristallprojektion (LCD), digital ljusmodulationsprojektion (DLP: såsom digitala mikrospegelenheter (DMD)), direktprojektion med laser-LED-mönster.

Beroende på antalet strukturerad ljusprojektion kan 3D-avbildning av strukturerad ljusprojektion delas in i enkelprojektion 3D och multipla projektion 3D metoder.

1. Enkelprojektionsavbildning

Enkelprojektionsstrukturerat ljus realiseras huvudsakligen genom rymdmultiplexkodning och frekvensmultiplexkodning. De vanligaste kodningsformerna är färgkodning, grått index, geometrisk formkodning och slumpmässiga fläckar.

För närvarande, vid tillämpningen av robotens hand-öga-system, för de tillfällen där 3D-mätnoggrannheten inte är hög, såsom palletering, avpalletering, 3D-grepp, etc., är det mer populärt att projicera pseudo-slumpmässiga punkter för att få 3D-information om målet. 3D-bildprincipen visas i följande figur.

2. Flera projektionsbilder

Multiprojektions 3D-metoden implementeras huvudsakligen genom tidsmultiplexkodning. De vanligen använda mönsterkodningsformerna är: binär kodning, flerfrekvensfasförskjutningskodning τ35 och blandad kodning (såsom tiofasskiftningsfransar för gråkod).

Grundprincipen för fransprojektion 3D-avbildning visas i figuren nedan. Strukturerade ljusmönster genereras av en dator eller genereras av en speciell optisk enhet, som projiceras på ytan av det uppmätta objektet genom ett optiskt projektionssystem, och sedan används bildinsamlingsenheter (som CCD- eller CMOS-kameror) för att samla in deformerade strukturerade ljusbilder modulerade av objektets yta. Bildbehandlingsalgoritmen används för att beräkna motsvarande förhållande mellan varje pixel i bilden och punkten på objektkonturen. Slutligen, genom systemstrukturmodellen och kalibreringstekniken, beräknas den tredimensionella konturinformationen för det uppmätta objektet.

I praktiska applikationer används ofta gråkodsprojektion, sinusformad fasförskjutningsfransprojektion eller gråkod tio sinusformad fasförskjutnings blandad projektion 3D-teknik.

3. Avböjningsavbildning

För grov yta kan strukturerat ljus projiceras direkt på objektets yta för visuell avbildningsmätning. Men för 3D-mätning av släta ytor med stor reflektans och spegelobjekt kan den strukturerade ljusprojektionen inte projiceras direkt på den uppmätta ytan, och 3D-mätningen kräver också användning av spegelavböjningsteknik, som visas i följande figur.

I detta schema projiceras inte fransarna direkt på den uppmätta konturen, utan projiceras på en spridningsskärm, eller så används en LCD-skärm istället för spridningsskärmen för att visa fransarna direkt. Kameran spårar ljusbanan genom den ljusa ytan, erhåller fransinformationen som moduleras av krökningsförändringen av den ljusa ytan och löser sedan 3D-profilen.

4. Stereovision 3D-bilder

Stereovision hänvisar bokstavligen till uppfattningen av tredimensionell struktur med ett eller båda ögonen, och hänvisar i allmänhet till rekonstruktion av 3D-struktur eller djupinformation för målobjektet genom att erhålla två eller flera bilder från olika synvinklar.

Djupuppfattning visuella ledtrådar kan delas in i okulära signaler och Binocularcues (binokulär parallax). För närvarande kan stereoskopisk 3D uppnås genom monokulär vision, binokulär vision, multiokulär vision, ljusfälts 3D-avbildning (elektronisk sammansatt öga eller arraykamera).

1. Monokulär visuell avbildning

Monokulära djupuppfattningssignaler inkluderar vanligtvis perspektiv, brännviddsskillnad, multivisionsavbildning, täckning, skugga, rörelseparallax, etc. I robotseende kan också använda spegel 1, och andra former från X10 och andra metoder för att uppnå.

2. Kikarsynsavbildning

De visuella ledtrådarna för binokulär djupuppfattning är: ögonens konvergensposition och binokulär parallax. I maskinseende används två kameror för att erhålla två visningsbilder från två vypunkter till samma målscen, och sedan beräknas parallaxen för samma punkt i de två vybilderna för att erhålla 3D-djupinformationen för målscenen. Den typiska binokulära stereovisionsberäkningsprocessen består av följande fyra steg: bildförvrängningskorrigering, stereobildsparkorrigering, bildregistrering och trianguleringsåterprojektionsparallaxkartaberäkning