A 3D vizuális képalkotás alapelveinek alapos megértése

A 3D-s képalkotás az ipari robotok információérzékelésének egyik legfontosabb módszere, amely optikai és nem optikai képalkotási módszerekre osztható. Jelenleg a leggyakrabban használt optikai módszerek: repülési idő módszer, strukturált fény módszer, lézeres szkennelés módszer, Moire fringe módszer, lézeres folt módszer, interferometria, fotogrammetria, lézeres követési módszer, alak mozgásból, alak az árnyékból, és egyéb ShapefromX. Ez a cikk több tipikus sémát mutat be.

1. Repülési idő 3D képalkotás

A repülési idő (TOF) kamera minden pixele a fényrepülés időkülönbségét használja fel a tárgy mélységének meghatározására.

A klasszikus TOF mérési módszernél a detektorrendszer az optikai impulzus kibocsátásakor elindítja az érzékelő és vevő egységet. Amikor a detektor megkapja az optikai visszhangot a célponttól, a detektor közvetlenül tárolja az oda-vissza út idejét.

Közvetlen TOF (DTOF) néven is ismert, a D-TOF-ot általában az egypontos távolságmérő rendszerekben használják, ahol gyakran szkennelési technológiára van szükség a teljes területre kiterjedő 3D képalkotáshoz.

A szkennelésmentes TOF 3D képalkotási technológia csak az utóbbi években valósult meg, mert nagyon nehéz pixelszinten megvalósítani a szubnanoszekundumos elektronikus időzítést.

A közvetlen időzített D-TOF alternatívája az indirekt TOF (I-TOF), amelyben az idő-körutat közvetetten extrapolálják a fényintenzitás időfüggő méréseiből. Az I-TOF nem igényel pontos időzítést, hanem időfüggő fotonszámlálókat vagy töltésintegrátorokat alkalmaz, amelyek pixel szinten is megvalósíthatók. Az I-TOF a TOF kamerákon alapuló elektronikus és optikai keverők jelenlegi kereskedelmi forgalomba hozott megoldása.

A TOF képalkotás nagy látómezőre, nagy távolságra, alacsony pontosságú, alacsony költségű 3D képalkotásra használható. Jellemzői: gyors érzékelési sebesség, nagy látómező, nagy munkatávolság, olcsó ár, de alacsony pontosság, könnyen zavarható a környezeti fény által.

2. Keressen 3D-s képeket

Szkennelés A 3D képalkotási módszerek feloszthatók szkennelési tartományra, aktív háromszögelésre, diszperziós konfokális módszerre és így tovább. Valójában a diszperziós konfokális módszer egy szkennelési és hatótávolság-meghatározási módszer, tekintve, hogy jelenleg széles körben használják a feldolgozóiparban, például mobiltelefonok és lapos kijelzők esetében, itt külön mutatjuk be.

1. Szkennelés és távolságmeghatározás

A pásztázási távolságmérés egy kollimált nyaláb használata a teljes célfelület pásztázására egydimenziós távolságmérésen keresztül a 3D mérés elérése érdekében. A tipikus szkennelési tartomány-meghatározási módszerek a következők:

1, egypontos repülési idő módszer, például folyamatos hullám-frekvencia-moduláció (FM-CW), impulzus-tartomány (LiDAR) stb.;

2, lézeres szórás interferometria, mint például a több hullámhosszú interferencia, a holografikus interferencia, a fehér fény interferencia foltos interferencia elvein alapuló interferométerek stb.

3, konfokális módszer, például diszperziós konfokális, önfókuszálás stb.

Az egypontos tartomány pásztázó 3D módszerében az egypontos repülési idő módszer alkalmas nagy távolságú letapogatásra, és a mérési pontosság alacsony, általában milliméteres nagyságrendű. További egypontos szkennelési módszerek: egypontos lézeres interferometria, konfokális módszer és egypontos lézeres aktív háromszögelési módszer, a mérési pontosság nagyobb, de az előbbi magas környezeti követelményeket támaszt; Közepes vonalleolvasási pontosság, nagy hatékonyság. Az aktív lézeres háromszögelési módszer és a diszperziós konfokális módszer alkalmasabb a 3D mérés elvégzésére a robotkar végén.

2. Aktív háromszögelés

Az aktív háromszögelési módszer a háromszögelés elvén alapul, kollimált nyalábokkal, egy vagy több síknyalábot pásztázva a célfelületet a 3D mérés befejezéséhez.

A gerendát általában a következő módon kapják meg: lézer kollimáció, hengeres vagy négyes hengeres szögsugár -tágulást, inkoherens fényt (például fehér fény, LED fényforrás) a lyukon keresztül, hasított (rácsos) vetítés vagy koherens fénydiffrakció.

Az aktív háromszögelés három típusra osztható: egypontos szkennelés, egysoros szkennelés és többsoros szkennelés. A jelenleg a robotkarok végén történő használatra forgalmazott termékek többsége egypontos és egyvonalas szkenner.

A többsoros letapogatási módszernél nehéz megbízhatóan azonosítani a perempólusszámot. A csíkszámok pontos azonosítása érdekében általában két függőleges optikai sík készlet nagy sebességű váltakozó képalkotását alkalmazzák, amely a "FlyingTriangulation" szkennelést is megvalósíthatja. A szkennelés és a háromdimenziós rekonstrukció folyamata a következő ábrán látható. A többsoros vetületi stroboszkópos képalkotás ritkás 3D-s nézetet hoz létre, a hosszanti és vízszintes peremvetítési szkennelés pedig számos 3D-s nézetsorozatot generál. Ezután egy teljes és kompakt, nagy felbontású 3D felületmodell jön létre 3D képillesztéssel.

3. Diszperziós konfokális módszer

Úgy tűnik, hogy a diszperziós konfokális durva és sima átlátszatlan és átlátszó objektumok, például tükröződő tükrök, átlátszó üvegfelületek stb. letapogatására és mérésére alkalmas, és jelenleg széles körben népszerű a mobiltelefonok fedőlapjainak háromdimenziós észlelése terén.

A diszperzív konfokális pásztázásnak három típusa létezik: egypontos, egydimenziós abszolút hatótávolságú pásztázás, többpontos tömbszkennelés és folyamatos vonalkeresés. A következő ábra kétféle példát sorol fel az abszolút tartomány és a folyamatos vonal pásztázásra. Közülük a folyamatos soros letapogatás is tömbszkennelés, de a tömbnek több és sűrűbb rácsa van.

A kereskedelmi termékekben a legismertebb pásztázó spektrális konfokális érzékelő a francia STILMPLS180, amely 180 tömbpontot fogad el, hogy 4,039 mm maximális vonalhosszúságú vonalat alkosson (mérési pont 23,5 óra, pontok közötti távolság 22,5 perc). Egy másik termék a finn FOCALSPECUULA. A diszperziós konfokális háromszög technikáját alkalmazzák.

3. 3D képalkotás strukturált fényvetítéssel

Strukturált fényvetítés A 3D-s képalkotás jelenleg a robot 3D-s vizuális érzékelés fő módja, a strukturált fényképrendszer több projektorból és kamerából áll, a leggyakrabban használt szerkezeti formák: egy projektor-egy kamera, egy projektor-dupla kamera, egy projektor-többes kamera, egy kamera - dupla projektor és egy kamera - több projektor és egyéb jellemző szerkezeti formák.

A strukturált fényvetítés 3D-s képalkotásának működési elve, hogy a projektorok meghatározott strukturált fénymintákat vetítenek ki a célobjektumokra, és a céltárgy által modulált képeket rögzíti a kamera, majd a képen keresztül megkapja a céltárgy 3D információit. feldolgozás és vizuális modell.

Az általánosan használt projektorok főként a következő típusokkal rendelkeznek: folyadékkristályos vetítés (LCD), digitális fénymodulációs vetítés (DLP: például digitális mikrotükör eszközök (DMD)), lézeres LED-mintázatú közvetlen vetítés.

A strukturált fényvetítések száma szerint a strukturált fényvetítés 3D-s képalkotása egy- és többvetítésű 3D-s módszerekre osztható.

1. Egyszeres vetítésű képalkotás

Az egy vetületű strukturált fényt főként tér-multiplexelési kódolással és frekvencia-multiplexelési kódolással valósítják meg. A gyakori kódolási formák a színkódolás, a szürkeindex, a geometriai alakzatkódolás és a véletlenszerű foltok.

Jelenleg a robotkéz-szem rendszer alkalmazásában olyan esetekben, ahol a 3D mérési pontosság nem magas, mint pl. palettázás, lerakás, 3D megfogás stb., népszerűbb a pszeudo véletlenszerű foltok kivetítése a A cél 3D-s információi. A 3D képalkotás elve a következő ábrán látható.

2. Többszörös vetítésű képalkotás

A több kivetítésű 3D módszert főleg időmultiplexeléses kódolással valósítják meg. A leggyakrabban használt mintakódolási formák a következők: bináris kódolás, többfrekvenciás fáziseltolásos τ35 kódolás és vegyes kódolás (például szürke kódú, tízfázisú eltolásos peremek).

A peremvetítés 3D képalkotás alapelve az alábbi ábrán látható. A strukturált fénymintákat számítógéppel vagy speciális optikai eszközzel generálják, amelyeket optikai vetítőrendszeren keresztül a mért tárgy felületére vetítenek, majd képalkotó eszközökkel (például CCD vagy CMOS kamerák) gyűjtik össze a mért fényt. deformált strukturált fényképek, amelyeket a tárgy felülete modulál. A képfeldolgozó algoritmus a kép egyes pixelei és az objektum körvonalának pontja közötti megfelelő kapcsolat kiszámítására szolgál. Végül a rendszerszerkezeti modellen és a kalibrációs technológián keresztül kiszámítják a mért objektum háromdimenziós kontúrinformációit.

A gyakorlati alkalmazásokban gyakran alkalmazzák a Gray kódos vetítést, a szinuszos fáziseltolásos peremvetítést vagy a Gray kód tízes szinuszos fáziseltolásos vegyes vetítési 3D technológiát.

3. Eltérítési képalkotás

Durva felület esetén a strukturált fény közvetlenül az objektum felületére vetíthető vizuális képalkotó mérés céljából. A nagy reflexiós sima felületek és tükrös tárgyak 3D-s mérésénél azonban a strukturált fényvetítés közvetlenül nem vetíthető a mért felületre, és a 3D méréshez tüköreltérítési technológia alkalmazása is szükséges, ahogy az alábbi ábrán is látható.

Ebben a sémában a peremeket nem közvetlenül a mért kontúrra vetítik, hanem egy szóróképernyőre vetítik, vagy a szóróképernyő helyett LCD képernyőt használnak a rojtok közvetlen megjelenítésére. A kamera visszaköveti a fény útját a világos felületen, megkapja a fényes felület görbületváltozásával modulált pereminformációkat, majd megoldja a 3D profilt.

4. Sztereó látás 3D képalkotás

A sztereovízió szó szerint a háromdimenziós struktúra egy vagy mindkét szemmel történő észlelését jelenti, és általában a céltárgy 3D szerkezetének vagy mélységinformációinak rekonstrukcióját jelenti két vagy több kép különböző nézőpontokból történő beszerzésével.

A mélységérzékelés vizuális jelei okulárisra és távcsőre (binokuláris parallaxis) oszthatók. Jelenleg a sztereoszkópikus 3D monokuláris látással, binokuláris látással, többszemű látással, fénymezős 3D képalkotással (elektronikus összetett szem vagy tömbkamera) érhető el.

1. Monokuláris vizuális képalkotás

A monokuláris mélységérzékelési jelzések általában magukban foglalják a perspektívát, a gyújtótávolság-különbséget, a többlátású képalkotást, a lefedettséget, az árnyékot, a mozgási parallaxist stb. A robotlátásban tükör 1 és egyéb X10-es formák és egyéb módszerek is használhatók.

2. Binokuláris látás képalkotás

A binokuláris mélységérzékelés vizuális jelei a következők: a szemek konvergenciahelyzete és a binokuláris parallaxis. A gépi látásban két kamerát használnak arra, hogy két nézőpontból két nézetet kapjanak ugyanarra a céljelenetre, majd a két nézeti képen ugyanannak a pontnak a parallaxisát számítják ki, hogy megkapják a céljelenet 3D mélységinformációit. A tipikus binokuláris sztereolátás számítási folyamata a következő négy lépésből áll: képtorzítás korrekció, sztereó képpár korrekció, képregisztráció és háromszögelés-revetítés parallaxis térkép számítás