TRB 2011Visibility Monitoring Using Conventional Roadside Cameras: Shedding Light On and Solving a Multi-National Road Safety Problem

A project supported by:

Raouf Babari, IfsttarNicolas Hautire, IfsttarEric Dumont, Ifsttar Nicolas Paparoditis, IGNJames A. Misener, California PATH

In the presence of fog or mist, visibility is reduced. It is a source of paralysis for transport. Accidents are more numerous and more serious, e.g. Tule fog in California,

Multinational problem : 700 annual fog-related fatalities in the USA and 100 in France,

Airports are equipped with expensive and rare instruments to measure visibility (10.000 $),

IFSTTAR seeks to exploit the thousands of CCTV low cost cameras (500 $) already installed along highway networks to estimate the visibility and inform road users on speed limitation,

National weather agencies, like METEO-FRANCE, seek to integrate these information in their forecast models to predict accurately fog episodes.

I-1 - BackgroundTab: Application vs. Range of visibility

Dense fog Haze and mistPollutionTransportation safetyWeather observationsAir quality Health

OutlineBackgroundPhysics of visibilityRelated works Proposed methodTest site instrumentationA robust visibility descriptorA method to select diffuse surfaces in a sceneA novel visibility estimatorResultsQualitative resultsQuantitative resultsConclusion and Perspectives

3/15. Luminance of an objet . Atmospheric extinction Atmosphric Airlightthe extinction factor k depends on the size and density of water droplets. Sun Light scattering[Koschmieder, 1924]II -1- Physics of visibility:Vision through the atmosphere

Distance d Camera

4/15 Duntley [Middleton, 1958] gives a law of contrast attenuation in the scene: VMet corresponds to the distance at which a black object L1 = 0 on the horizon sky of suitable size can be seen with a contrast of 5%. VMet can be estimated by: - An optical device- A camera

II -1- Physics of visibility: Meteorological visibility

6/15 The transmissometer estimates the extinction of a light beam during its path,

The scatterometer estimates the amount of light intensity scattered by the atmosphere at a specific angle,

High cost (higher than 10,000 $)

10% measurement error over a range of 0 - 50kmII -3- Optical measurement of the visibilityFig: diagram operating principle of a transmissometer Fig: diagram operating principle of a scatterometer EmitterReceiverEmitterReceiver1 meter30 meter

7/15 USA : Clarus project (FHWA-MIT) [Hallowell, 2007]

- Estimators from all image features- Decision using fuzzy logique - Four classes of visibility (1km - 5km 10km) Visibility over several miles : Correlation between features in the image and VMet .EUROPE: Integrated Project SafeSpot [Hautire et al., 2008]

Detectiion of contrasts higher than 5% Computes inflection point of Koschmieders law- Assumes a flat road- Accurate camera calibration needed Highway visibility : 0-400 m Accuracy of the method

III -1- Test site instrumentationTest site of Meteo-France Scatterometer Degreane DF320 (0 to 35km) Luminancemeter LU320 (0 to 10,000 cd.m-2) Installing a camera 640 x 480 8 bits / pixel Matching weather data with the images 8/15Fig: Images with different lighting conditions, presence of shadows and cloudy conditions, Fig: Variations in the luminance and visibility for 3 days of observation. Fig: LuminancemeterFig: Camera

9/15The gradient of intensity is computed for each pixel: it is the variation from black to whiteFig : Gradient in the image : visibility is reduced by fogThe image gradient comes from :- Depth discontinuities:Discontinuities in surfaces orientation, Changes in material properties,Illumination variations.

Fig : Gradient in the image : good visibilityIII -2- State of the Art: Correlation between the gradient and the visibility

The image gradient varies with:IlluminationWeather=> problemFig : Original image: good visibilityFig : Original image: visibility is reduced by fog

III -3- First proposal: A robust visibility descriptor10/15In diffuse surfaces of the scene: - The contrast is invariant with illumination variations, - It is thus expressed only as a function of meteorological visibility.

At distance d and for a visibility V : Diffuse (woody board)Specular (glass)Any behavior(road samples)

III-4-Second proposal: Selecting diffuse surfaces in the sceneSpecularDiffuseDiffuseSpecular The temporal correlation is computed between :- The global illumination given by the luminance-meter and - The intensity of a pixel. It is the confidence that this pixel belongs to a diffuse surface of the scene.11/15 We do not assume that all surfaces have a diffuse behavior, but we select them in the image.

IV -1- Third Proposal: A new Visibility Estimator12/15Fig : Gradient of the imageFig : Confidence mapFig : gradients computed in Lambertian surfaces of the scene. The proposed visibility estimator is the weighted sum of normalized gradients The weight is the confidence of each pixel to behave as a Lambertian surface

Our estimator has a more accurate response with respect to illumination variations and is a more reproducible measurement of visibility.IV -2- Experimental validation 13/15Fig : State of the artFig : Proposed visibility estimator

14/15V -ResultsReference meteorological visibility distance (m)Our visibility estimatorData are fitted with a logarithmic empirical modelThe model is inverted and relative errors are computed

Applicationfog hazeAir qualityCorrelationRange of visibility0-1 km1-5 km5-15 kmR2Mean relative error25 %26 %33 %0.95

We propose a method which links the meteorological visibility to the sum of gradients taken on the Lambertian surfaces.

We show that this estimator is robust to illumination variations on experimental data,

This work has given both a fundamental and practical basis to consider deployment of our potentially life-saving real-time roadside visibilitymeter.

Our method is easily deployable using the camera network already installed alongside highways throughout the world and therefore of high impact to traffic safety at marginal cost.

Once deployed, our concept should increase the quality and the spatial accuracy of the visibility information :can feed into weather forecasting systems. can inform drivers with speed limits under low visibility conditions.

V -Conclusion15/15

Thank you for your attention

Any questions?Raouf.Babari@ifsttar.fr

*Mesdames messieurs bonjours !Le sujet, co-financ par le LCPC et Mto-France sintitule : Estimation des conditions de visibilit mtorologique par camras routires

Temps : 16 seconde

***Le brouillard est constitu de fines particules deau suspendues dans lair. Ces particules varient selon leurs rpartitions granulomtriques et leur concentrations.

- De jour, la visibilit est rduite par la diffusion de la lumire dans latmosphre.Cette lumire provient de la diffusion simple de la lumire du soleil par lesparticules de latmosphre. Cet effet appel voile atmosphrique, rduit lecontraste dun objet vu une certaine distance. (figure 1)

- Lquation de Koschmieder exprime : La luminosit de lobjet reue par la camra *en fonction du rsultat de la somme de la luminosit intrinsque de celui-ci attnue par leffet visuel dextinction du brouillard * et leffet de voile atm caus par le ciel :

De cette relation dcoule la dfinition exacte de la visibilit mtorologique : dfinie par la CIE comme la plus grande distance laquelle on peut distinguer un objet sombre de taille convenable de jour sur le fond du ciel. Cette dfinition peut tre utilise en prcisant le contraste 5%

- Les effets du brouillard de nuit sont caractriss par la baisse de contraste danslimage et lapparition dun halo autour des sources lumineuses. (Figure 2)

- ric Dumont simul (par trac de rayon) et modlis les effets de brouillard de nuit, lauteur a galement dfini loprateur frquentiel de contraste qui permet de simuler la formationdun halo partir dune source lumineuse en le convoluant avec la transformeinverse de la FTM(fonction de transfert de modulation). La visibilit mtorologique de nuit est directement li au facteur dextinction (k)

Temps : 2m18secondes

***------------------------------------------------------------Par corrlationLobjectif de Hallowell et al. [10] est de dtecter le brouillard et de mesurerla distance de visibilit mtorologique partir des images numriques acquisespar de nombreuses camras dont le rseau routier dispose. Les tats-Unis ont djidentifi ce potentiel : la FHWA (the federal hightway administration) collaboreavec le MIT(Lincoln laboratory) depuis environ deux ans pour tenter de lexploiterdans le projet CLARUS.Cette technique ne ncessite pas un calibrage gomtrique prcis. Les informationsissues des images captures sont utilises sous forme destimateurs enlogique floue. Ces estimateurs sont calculs partir des caractristiques spatialesde limage (moyenne de limage, contours, intensit). Ensuite lauteur estime lacorrlation des estimateurs avec une vrit terrain (donnes provenant dun visibilimtre)pour calculer des classes de visibilit.Cet apprentissage est fortement dpendant de limage, de lendroit et des paramtresdillumination et la configuration de la scne. Nous notons ici que lauteurna pas eu besoin destimer aucune distance dun point quelconque dans limage.

*la deuxime

Par Camra panoramiqueLauteur BAUMER dcrit une mthode qui estime la visibilit mtorologique de joursur un site qui se trouve lUniversit de Karlsruhe, en Allemagne. Son systmeest compos dune camra panoramique qui fait lacquisition des images. Lespoints dintrts dtermins dans limage acquise sont mis en correspondance manuellementavec des profondeurs dobjets existants dans une carte gographique.Ainsi lauteur dtermine dans limage la distance entre la camra et les objets quise trouvent dans limage. Une fois les profondeurs estimes, lalgorithme dcidequun objet est visible lorsquil prsente un gradient calcul par un simple filtrede Sobel. Le seuil ici est choisi arbitrairement en minimisant lerreur par rapport des mesures faites par un Visibilimtre.

Temps : 3m30

*Afin de valider les mthodes existantes et den proposer d'autres, nous avons collect sur plusieurs mois, des donnes couplant images de camras, donne de visibilit et d'clairement. En effet, nous avons instrument le site de Mto-France Trappes avec un systme d'acquisition et d'enregistrement d'images. Ensuite, nous avons fait l'appariement de ces images avec les donnes mtorologiques (Visibilit et clairement). La camra est d'une qualit similaire celles de vidosurveillance: de rsolution 640 x 480 et de dynamique 8 bits par pixel. Ces images sont prisent une frquence de 10 minutes durant plusieurs mois dans des conditions d'clairement de 0 10 000 lux et de visibilit allant de 80m 50 km. Le gradient (Figure 1) indique la direction de la plus forte variation du clair au sombre. Pour chaque image de la scne prise de jour, nous calculons le gradient centr en chaque pixel. Nous associons donc la diminution du gradient dans limage avec la diminution de la visibilit mtorologique. Nous avons trac la somme du module du gradient de Sobel dans toute limage en fonction la visibilit mtorologique (Figure 2). Nous remarquons une instabilit de la rponse. Celle ci est lie au changement dclairement qui affecte directement les valeurs de luminances et donc celles des gradients. Celle-ci est aussi lie aux diffrentes rflexions de la lumire du soleil sur les vitres ou sur dautres surfaces lisses. galement, celle-ci lie aux ombres crs par la lumire du soleil qui se dplace dans la journe. Dans ce cas, le module du gradient de Sobel sur toute limage ne pourra pas tre un indicateur stable et reproductible de la mesure de la visibilit mtorologique. **Aprs avoir t confront aux problmes dinstabilit du gradient par rapport lclairement, nous nous sommes intresss modliser tout le processus des diffrentes rflexions dans la scne et de la diffusion atmosphrique. Nous avons donc dmontr que dans les zones lambertiennes de la scne (Figure 3), le gradient dans l'image est une fonction linaire de l'albdo de chacune de ces surfaces. Ici le gradient ne dpend que du type du matriau est donc sera indpendant des variations d'clairement qui est la principale cause de linstabilit du gradient. Dans ces zones (en rouge dans la figure 3) les gradients dans l'image ne varieront quen fonction des conditions de visibilit mtorologique.

**Aprs avoir t confront aux problmes dinstabilit du gradient par rapport lclairement, nous nous sommes intresss modliser tout le processus des diffrentes rflexions dans la scne et de la diffusion atmosphrique. Nous avons donc dmontr que dans les zones lambertiennes de la scne (Figure 3), le gradient dans l'image est une fonction linaire de l'albdo de chacune de ces surfaces. Ici le gradient ne dpend que du type du matriau est donc sera indpendant des variations d'clairement qui est la principale cause de linstabilit du gradient. Dans ces zones (en rouge dans la figure 3) les gradients dans l'image ne varieront quen fonction des conditions de visibilit mtorologique.

*Dans les zones Lambertiennes de limage ,le contraste est invariant au changement dillumination. Le contraste ne sera li quaux conditions de visibilit.*Dans les zones Lambertiennes de limage ,le contraste est invariant au changement dillumination. Le contraste ne sera li quaux conditions de visibilit.*This study is aimed at a robust empirical law for measuring the meteorological visibility in daylight and by a typical CCTV camera. Our methodology is to link meteorological visibility to the sum of Sobel's gradients taken oover Lambertian surfaces. Indeed, we demonstrated and validate that the estimator we propose is robust to changes in lighting, and that any varia-tion in measurement results are due to the variation of visibility in the atmosphere. Applying this estimator on real images acquired under good and bad visibility and different lightng con-ditions, we obtained an estimated meteorological visibility that we compare and validate with meteorological visibility data given by a visibilitimeter.

We also tested to validate our approach of estimating visibility under a large range of visibility and lighting conditions. This helped us to validate the relevance and the reproducibility of our approach. We believe therefore that our method for estimating meteorological visibility is easily deployable using the camera network already installed alongside highways throughout the world and therefore of high impact to traffic safety at marginal cost. Once deployed, our concept should increase the quality and the spatial accuracy of the visibility information And can feed into weather forecasting systems. Importantly, our system can inform drivers with critical, relevant speed limits under low visibility conditions.

In future work, we will express errors in estimating visibility as a function of camera characteristics to ascertain the accuracies that visibilities can be measured with current and future CCTV systems. We believe, however, that our work has given both a fundamental and practical basis to consider deployment of our potentially life-saving real-time roadside visibilitimeter.

*TEXTEA partir de la segmentation bases sur le gradient dans l'image correspondante des zones lambertiennes dans la scne, nous avons extrait les caractristiques des images les plus stables par rapport aux changements des conditions d'clairement et donc les plus indicateurs des variations de la visibilit. La somme de ces caractristiques constituera un estimateur de visibilit. Dans une phase d'apprentissage, nous posons une fonction de rponse entre l'estimateur de la visibilit prcdemment dfini et les donnes de rfrence issues de visibilimtres.

Nous cherchons donc dterminer les paramtres de cette fonction de rponse. Pour ce faire, nous affinons ces paramtres en minimisant l'erreur quadratique entre la fonction de rponse et le nuage de point entre l'estimateur de la visibilit et les donnes terrains issues de visibilimtres. Dans un premier temps, nous avons pos un modle empirique logarithmique. Nous avons pris le facteur de corrlation comme un indicateur de confiance.

Ensuite, nous avons pos certaines hypothses sur la 3d de la scne. En effet, pour l'hypothse d'un monde plan, tel l'environnement routier, nous avons tabli le lien entre lestimateur de la visibilit issue de limage et ce que devrait donner lestimation de la visibilit. Ce lien est la fonction de rponse qui sexprime en fonction dun paramtre spcifique chaque scne. L'incertitude est en fonction des caractristiques internes de la camra et de son positionnement dans lenvironnement 3d. La figure 4 explicite lajustement de donnes (Estimateur de la visibilit issu de limage en fonction des distances de visibilits mtorologiques issu des visibilimtres) en bleu avec le modle bas sur la 3d de la scne en noir. La limite suprieure et infrieure sont respectivement reprsentes en rouge et en magenta. Pour notre scne dessai correspondante = 950m, lerreur est estime 15% de 0-1km, 30% de 0-5km et au-del lestimation de la visibilit diverge et ncessite une scne dont le paramtre a des valeurs plus grandes.

Pour avoir plus de prcision estimer les visibilits lointaines, nous devons avoir une scne contenant des objets visibles lointains. Plus prcisment, la distance de visibilit mtorologique se rduit donc au rsultat de la fonction de transfert de la somme des gradients dans les zones lambertiennes de limage. La mesure de la visibilit par camra, est donc devenue automatique et indpendante des donnes mtorologiques et de la phase d'apprentissage.