Workshop on ADAS Sensor theory and demonstrations … · * Advantages and disadvantages * Signal processing * Applications ... FMCW RADAR (frequency modulated continuous wave)

Institute of Automotive Engineering

Dr. Arno Eichberger ADAS Sensors Workshop 1

[Member of FSI]

Workshop on ADAS Sensor theory and

demonstrations – enabling basic

autonomyAssoc.-Prof. Dipl.-Ing. Dr.techn. Arno Eichberger



[Member of FSI]

Agenda

Part 1: Theory on ADAS sensors (radar, camera, lidar, etc)

* Basic principles of different ADAS sensors

* Advantages and disadvantages

* Signal processing

* Applications

* Sensor modelling for virtual test & validation

* Live demo (IBEO XT Laserscanner )

* Reference Measurement system

* RTK-GPS

* Genesys ADMA (Inertial Measurement Unit)



[Member of FSI]

Agenda

Part 2: Live demonstration of ADAS sensors in a fully equipped test car,

on the test track

The Series production BMW 640i has a full ADAS package, including:

* ADAS sensors:

* Continental ARS 308 combined short/long range radar in target and

object mode

* Mobil Eye mono camera

* Cohda MK4 Car2X sensors

* Reference Measurement system

* RTK-GPS

* Genesys ADMA (Inertial Measurement Unit)



[Member of FSI]

SYSTEM VERKEHR MIT FAS UND FDR



[Member of FSI]

Source: http://cyberlaw.stanford.edu/blog/2013/12/sae-levels-driving-automation; 24.4.2014

Level of Driving Automation: SAE, NHTSA and BASt definitions

http://cyberlaw.stanford.edu/blog/2013/12/sae-levels-driving-automation



[Member of FSI]

Treiber für automatisiertes Fahren

Sicherheit

EU White Paper: Halbierung Unfalltote bis 2020

Euro NCAP Roadmap 2020 Bewertung

Komfort

Entlastung des Fahrers/Ageing Society

Connectivity

Umwelt

Verbesserung Verkehrsfluss

Optimierung Energieverbrauch

Neue Mobilität

Robot Taxis

Mobility on Demand



[Member of FSI]

Problemstellungen und Randbedingungen

Fahrerakzeptanz

Funktionsabsicherung

Rechtliche und Haftungsfragen

Kosten der Systemkomponenten und Integration

Perzeption

Komplexität der Verkehrssituation

Umweltbedingungen

Manipulation

Mis-Use

Ironie der Automatisierung

Automation Suprises



[Member of FSI]

Probleme der Automatisierung

Ironie der Automatisierung 1

Automatisierung soll Fehler vermeiden und schafft neue

Je stärker die Automatisierung ausgeprägt ist, umso weniger ist der

Mensch in der Lage, diese automatisierten Systeme zu

überwachen

Automation surprises 2: Neue Fehler bei den „Operators“

Mode Awareness geht verloren

Complacency (übermässiges Vertrauen in Technik)

Automatisierung kann Kompetenzgefühl bedrohen Gefahr der

Kompensation durch riskante Aktionen

Bedienungsfehler

Missachtung (häufiger) Alarme

Quellen:1 Bainbridge, L. (1983): Ironies of automation. Automatica, 19(6): 775–-779, Elsevier2 https://www.lubw.baden-wuerttemberg.de/servlet/is/32343/07_Hofinger.pdf?command=downloadContent&filename=07_Hofinger.pdf



[Member of FSI]

Sensors

Vehicle Sensors:

are perception organs, they transform different inputs in electrical signals:

Physical or chemical quantities F in electrical quantities E

Consideration of disturbing quantities Yi (temperature, supply voltage variability,…)

E = f (F , Y1 , Y2, …)

F = g (E , Y1 , Y2, …)

whenever f,g are known: a sensor model can be derived mathematically

Sensor

Yi

EF



[Member of FSI]

Sensorik für Fahrdynamik-Regelsysteme



[Member of FSI]

Sensorik für Fahrumgebungserfassung



[Member of FSI]

Source : Franke, U: Umgebungserfassung für vollautomatisiertes Fahren.

6. Tagung Fahrerassistenz, München 2013

SENSORS OF AUTONOMOUS CAR

• 360° Radar sensors for

moving objects

• Camera for localization

• Stereo camera for object

detection

• Traffic sign detection camera

• Inertial sensors



[Member of FSI]

SYSTEM LAYOUT OF AUTONOMOUS CAR

Source : Franke, U: Umgebungserfassung für vollautomatisiertes Fahren.

6. Tagung Fahrerassistenz, München 2013



[Member of FSI]

Fahrumgebungserfassung (Umfeldsensorik )

Vorbedingung um die Fahraufgabe und

menschliche Entscheidungen mit einem

Fahrerassistenzsystem zu unterstützen

Quelle: Fahrumgebungserfassungund

Interpretation-FUE. INVENT Ergebnisbericht



[Member of FSI]

Sensor concepts for environment recognition

Vehicle based

Ultrasonic sensor

Radar sensor (Radio Detection and Ranging)

Video camera

Lidar (Light Detection and Ranging)

Infrared sensors

Car-to-car communication

Satellite navigation

Infrastructure based

Car-2-infrastructure communication



[Member of FSI]

Gegenüberstellung





[Member of FSI]

Konzept der Fahrumgebungserfassung

Quelle: Fahrumgebungserfassung und




[Member of FSI]

Erfassungsbereiche von Sensoren

Radar: Nah- und Fernbereichsradar

Lidar: scannende oder feststehende Laserstrahlen

Kameras: im sichtbaren oder Wärmestrahlungsbereich





[Member of FSI]

RADAR (RAdio Detection And Ranging)

Heinrich Hertz 1886

Elektromagnetische Wellen

Entfernung und Geschwindigkeit von Objekten

Auswertung der Objekt-Rückstrahlung

Generierung

Pulse-RADAR

FMCW (Frequenzmodulierte kontinuierliche Wellen)

FSK (frequency shift keying)

Auswertung der Laufzeit und des Dopplereffekts



[Member of FSI]

Dauerstrich-Radar

CW Radar (Continous Wave): Geschwindigkeitsmessung: Durch Dopplereffekt

verschobene Frequenz von Sende und

Empfangsfrequenz wird Geschwindigkeit

errechnet

keine Entfernungsmessung möglich

FMCW RADAR (frequency modulated

continuous wave) Radargeräte, auch "Modulated CW-Radar" oder

FM-Radar: Frequenz wird Sägezahnartig erhöht

und gesenkt --> damit Entfernungsmessung

möglich (Laufzeitverschiebung Delta t wie beim

Pulsradar)

FSK (Frequency Shifting Key) Sendesignal wird periodisch zwischen

zwei nahe beinander liegende

Frequenzen verschoben

Entfernungsmessung durch

Phasenverschiebung

Quelle: Universität Harburg



[Member of FSI]

Pulsradar

Pulsradar sendet Impulse (Dauer

Mikrosekundenbereich) und wartet

dann auf Echos. Die Laufzeit t des

Impulses, wird zur

Entfernungsbestimmung genutzt.

Für die Entfernung r gilt:

r… Entfernung

c … Lichtgeschwindigkeit (≈

Lichtgeschwindigkeit im Vakuum)

Tp… Laufzeit

Durch Pulsmodulation wird

Entfernungs- und

Geschwindigkeitsmessung

ermöglichtQuelle: Wikipedia, Universität Stuttgart

2

pTcr



[Member of FSI]

Fernbereichsradar

Puls- oder Frequenzmoduliert

Winkelauflösung durch Multi-Beam oder Scannen

2 bis 200m Reichweite

Objekte als Punkte

Schmales Sichtfeld: +/- 5°

Unterdrückung stehender Objekte

ACC

77 GHz Frequenz

keine gute laterale Auflösung (LIDAR besser durch klare Strahlbreiten)

Quelle: TRW



[Member of FSI]

Nahbereichsradar

Puls (bis 2013 in EU zugelassen) oder

Frequenzmoduliert

Gleichzeitig mehrere Sensoren

+/- 60° Öffnungswinkel

Lokalisierung von Objekten bis 30m

Pulsmod.: 0,3 bis 20m

Frequenzmod. 1 bis 70m

24GHz (Pulsmod.) 79GHz

(Frequenzallokation)

schlechte seitliche Unterscheidung von

Objekten

Quelle: Hella



[Member of FSI]

Kameras

Hochauflösendes Bild

Hochdynamische Kameras

Hohe Kontrastanforderungen (tiefstehende Sonne)

Grauwertkamera: Spurführung

Farbkamera: Ampeldetektion, Verkehrszeichenerkennung

Technologie: je nach Anforderung (Empfindlichkeit, Kosten) CMOS

CCD

FIR (Night Vision)



[Member of FSI]

Photoleitung

Meßprinzip: Photoleitung von Halbleitern

(innerer photoelektrischer Effekt)

Elektronen werden durch Photonen vom

Valenzband in das energetisch höher

gelegene Leitungsband gehoben

Leitfähigkeit des Materials nimmt unter

Belichtung zu. Photon hat Energie von

mindestens der Bandlücke zwischen

Valenzband und Leitungsband.

Quelle: Wikipedia



[Member of FSI]

CCD Fotosensor

(Charged Couple Device)

Quelle: Diplomarbeit Janhofer, TU Graz

Der Photodiode (ein Pixel) ist ein

Kondensator parallelgeschaltet.

Kondensator wird proportonial zum

einfallenden Licht aufgeladen.

Analoges Ladungsbild durch zyklisches

Auslesen der gesamten Bildmatrix

Digitalisierung

Einzelne Bildpunkte können nicht direkt

adressiert werden (sequentielles Auslesen)

Blooming Effekt: Bei starkem Lichteinfall

kommt es bei Überladung eines Pixels zu

Ladungsabfluß an benachbarte Bildpunkte

Für Farbe: Pro Bildpunkt werden drei

Elemente mit Rot-Grün-und Blau Filter

überdeckt (schlechtere Auflösung als S/W)



[Member of FSI]

Active Pixel Sensor

(CMOS Technologie)

Prinzipbild eines einzelnen Pixels in einem APS-Sensor

.

Ähnlich CCD, ist der Photodiode (ein Pixel) ein

Kondensator parallelgeschaltet. Kondensator wird durch

Belichtung aufgeladen, Spannung ist proportional zur

Helligkeit/Belichtungszeit.

Jedes Bildelement hat Verstärker (im Unterschied zu

CCD) und liefert Kondensatorspannung an

Analogsignalprozessor.

Für Farbe: Entweder nebeneinander liegende Pixel

(Verminderung der Auflösung) oder 3 übereinander

liegende chips mit unterschiedlich tief eindringenden

Photonen (Abhängig von Wellenlänge des Photons)

Quelle: Diplomarbeit Janhofer, TU Graz



[Member of FSI]

Vergleich CMOS zu CCD

Vorteile- Geringerer Stromverbrauch.

- Gleichzeitig mehrere Pixel auslesbar

- Integration der Auslesesteuerung direkt auf dem Sensor

- Kaum Blooming

- Flexibler auszulesen (Vorschau, Video,…)

- Einige Verarbeitungsschritte direkt im Pixel-Verstärker

- Sehr hohe Bildraten im Vergleich zu einem CCD gleicher Größe

Nachteile- geringerer Füllfaktor (Verhältnis der fotoempfindlichen zur gesamten Pixelfläche)

- größere Empfindlichkeitsunterschiede zwischen den PixelnFarbrauschen.

- weniger lichtempfindlich (Ausnahme: teure Spezialsensoren)



[Member of FSI]

Ausführungsformen von Kameras

2-D Kamera:

Stereokamera: Entfernungsmessung (wie

menschl. Auge):

Bestimmung Disparität an vertikalen Kanten an beiden

Bildern

Bewegliche Kameras zur Erhöhung des

Sichtbereichs

Wärmebildkamera (FIR): Fußgängererkennung

(Night Vision, hohe Kosten)



[Member of FSI]

Umfeldmodell

Zusammenfassung der multisensoriellen Fahrumgebungserfassung

Schnittstelle zu Applikationen

Objektkatalog

Jedes Objekt hat Attribute: Breite, Höhe, Entfernung, Geschwindigkeit

Objekt ist mit Sensoren vermessen oder über Datenbanken erfasst

(Fahrspuren, Verkehrszeichen, Digitaler Atlas)





[Member of FSI]

Statische Objekte

Fahrspuren, Verkehrszeichen, Randbebauung

Dynamische Objekte

Bewegung beschrieben durch unterlagerte dynamische

Modelle

Fußgänger gesondert behandelt: komplex durch

veränderliche Form, abrupte Richtungswechsel



[Member of FSI]

Online Visualisierung (qualitativ im Versuchsträger)



•Direkt im Videobild

•Virtuelle Bilder

(Vogelperspektive)

•Schneller qualitativer

Überblick



[Member of FSI]

Offline Visualisierung (Quantitativ im Labor)

Komplette Aufzeichnung von Versuchsfahrten

Archivierung in Datenbanken

Prüfkatalog: Referenzszenarien

Auf Teststrecke oder normaler Straßenverkehr

(Rückfalllösung bei Fehlfunktion notwendig)

Validierung von Erkennungsalgorithmen

Kompletter Prozeß von

Adaption, Evaluierung und Optimierung von

Erkennungsverfahren darstellbar



[Member of FSI]

LIDAR (LIght Detection And Warning)

Lichtlaufzeit (Entfernungsmessung)

Nichtscannend:

Mehrere Laserstrahlen und Photodioden (Multi-Beam-Lidar)

ACC

Bessere laterale Auflösung

Scannend

Nahbereich

Theoretisch Rundumsicht

Mehrere Ebenen (Ausgleich von Nickbewegungen des Fahrzeugs

Empfindlich gegenüber Witterung (Nebel, Schnee, Regen,

Gischt, Verschmutzung)



[Member of FSI]

Scannender Laserscanner

Vorteile:

Meßbereich in Entfernung

Winkelauflösung

Funktioniert auch nachts

Nachteile bei extremen Witterungsbedingungen

Robustheit

Kosten

Package



[Member of FSI]

Sensordatenfusion

rot / grün / blau: Radar

Gelb / weiß: Lidar

Quelle: www.AutonomouStuff.com



[Member of FSI]

Meßprinzip

Meßprinzip: Lichtlaufzeitmessung

Kurzer Impuls (-> Reflexion, Streuung)

Detektion im Empfänger

Zeitdauer = k*Entfernung

Pulsfreqenz 14,4 kHz

Laserpuls wird über rotierendes Prisma abgelenkt

(10-40Hz)

Pulsfrequenz vs. Scanfrequenz



[Member of FSI]

Reflexionen

Quelle K. Fürstenberg, Fa. IBEO:

Fahrzeugumfelderfassung mit

mehrzeiligen Laserscannern

Diffus Optisch rauhe

Oberfläche,viele verschiedene orientierte

Flächenelemente

Optisch rauhe Oberfläche

Diffus gerichtete Streuung

(Reflexion überlagert)Reflexion

Retroreflektor

en



[Member of FSI]

Einfluß der Distanz auf die zurückgestreute

Energie






[Member of FSI]

Unterdrückung von Störungen durch Uth

Ausgangsspannung in der Photodiode

(Empfänger)






[Member of FSI]

Meßergebnisse

Quelle K. Fürstenberg, Fa.

IBEO:





[Member of FSI]

Segmentierung

Zusammenfassung von Reflexionspunkten die

zusammengehören




ax, gem. , ay,gem. < ax, zul., ay,zul.



[Member of FSI]

Segmentierung

Zusammenfassung von Reflexionspunkten die

zusammengehören

ax, gem. , ay,gem. < ax, zul., ay,zul.

xLS

ay,gem.

yLS

ax,gem.

yLS

xLS

Objekt 1Objekt 2

Objekt 3



[Member of FSI]

Segmentierung

ego

ref

yv

ref

yd

yy

ego

ref

xv

ref

xd

xx

vv

fd

d

faa

vv

fd

d

faa

,,

0,

,,

0,

Distanzabhängiger Korrekturterme: Zulässige Distanz ax

ay hängen wegen radialem Messverfahren

distanzabhängig

Geschwindigkeitsabhängiger

Korrekturterm: Zulässige Distanz

ax ay bei schnelleren

Geschwindigkeit höher (größere

Abstände auf Autobahn)






[Member of FSI]

Objektverfolgung

Prädiktion und Filterung

Assoziation

Bestimmung Referenzpunkt

Dynamischer Zustand



[Member of FSI]

Kalman Filter

Stochastischer Zustandsschätzer für dynamische

Systeme (Kalman 1960, lineare Systeme)

Iterative Struktur, Anwendung für Echtzeitfähigkeit

Extended Kalman Filter (EKF) für nichtlineare

Systeme durch Taylorreihenbildung der

Systemgleichungen, kleine Abtastrate notwendig



[Member of FSI]

Dynamisches System

:,

____________________

1

kk

kkk

kkkk

vw

vCxy

wuHxΦx

EC

u

H

Φ

x

y

x

T

yxk

a

a

T

T

T

T

ΔT

ΔT

vvyx

0

0

20

02

1000

0100

010

001

2

2

Diskretes lineares zeitinvariantes System (DLTI)

„Piecewise Constant

Velocity“ Ansatz

Zustandsrauschen, Messrauschen (weiß, normalverteilt, nicht korreliert)



[Member of FSI]

Linearer Kalman Filter

kkk

kkkk

vCxy

wuHxΦx

111Diskretes lineares

zeitinvariantes System (DLTI)



[Member of FSI]

Bestimmung des Objektreferenzpunktes

Geometrischer Schwerpunkt aus einzelnen Segmenten

N

i

i

SP

f yxpN

yx1

Re ),(1

),(o

Robust, aber schlecht wenn sich Konturen stark ändern



[Member of FSI]

Alternative Ermittlung des Objektreferenzpunktes

LCLC

LC

LC

FCFC

FC

FC

nuu

lo :vu

nuu

fo :vu

22

22

Re

Re

widthlength

f

widthlength

f

oo

oo

FC

FC

uu

2

lengtho

Wenn zwei Konturen sichtbar

LCf

Fv

FC

FC

nn

2

widtho






[Member of FSI]

Klassifikation

Fußgänger

PKW

LKW/Bus

Zweiräder

Stationäre Objekte (Leitplanken, …)

Über

Geometrische Abmessungen

Dynamik der Objekte und Limits



[Member of FSI]

Eindeutigkeit bei Klassifizierung




Gemessene Breite eines Objektes ist

distanzabhängig



[Member of FSI]

Mit steigender Entfernung überlappen sich die ausgesandten Laserimpulse

(steigende Querschnittsfläche) nur noch zum Teil mit der Kante des Objektes

keine Reflexion

wirkt sich auf die Breitenvermessung aus Objekte erscheinen schmäler

Weitere Einflüße: Reflektivität (Verschmutzung), Abschattungen, nicht

beobachtbare Bereiche



[Member of FSI]

Klassifizierung

Jedem Objekt werden Merkmale (KLASSEN)

zugewiesen:

Länge, Breite, Geschwindigkeit, maximale

Beschleunigung

Für jedes Objekt und jede Klasse wird ein

Unsicherheitsmaß (GÜTE) zugeordnet, über

apriori Wissen (tatsächlich auftretende

Wahrscheinlichkeiten)

Unsicherheit (z.B. distanzabhängige Breite)



[Member of FSI]

Klassifikationsmatrix

Güte jeder Klasse wird in Matrix gespeichert und das Minimum

bestimmt

k1 bis k6 werden über die Zeit gefiltert (Unterdrücken von

Fehlklassifizierungen

Klasse ist Maximum davon




61 ...kk

Documents

Workshop on ADAS Sensor theory and demonstrations … · * Advantages and disadvantages * Signal processing * Applications ... FMCW RADAR (frequency modulated continuous wave)