169
Rencontre du Groupe d’usagers FME 2011 Yves St-Julien, Spécialiste d’applications, Consortech Mita Hajirakr, FME Desktop Support Manager, Safe Software Place your logo here

Présentation de la rencontre du Groupe d'usagers FME_mars 2011

Embed Size (px)

DESCRIPTION

Revoyez les sujets abordés lors de la rencontre du Groupe d'usagers FME tenue par Consortech en mars dernier.

Citation preview

Page 1: Présentation de la rencontre du Groupe d'usagers FME_mars 2011

Rencontre du Groupe d’usagers FME 2011

Yves St-Julien, Spécialiste d’applications, ConsortechMita Hajirakr, FME Desktop Support Manager, Safe Software

Place your logo here

Page 2: Présentation de la rencontre du Groupe d'usagers FME_mars 2011

Mot de bienvenue

Présentation des nouveautés FME 2011

Pause

Témoignage utilisateur

Présentation technique

Programme

Page 3: Présentation de la rencontre du Groupe d'usagers FME_mars 2011

Programme (Suite)

Dîner-libre/Consultez un expert

Présentation des nouveautés FME Server 2011

Présentation des problèmes d’interopérabilité

Période de questions et conclusion

Page 4: Présentation de la rencontre du Groupe d'usagers FME_mars 2011

Notre mission

Consortech offre, depuis plus de 20 ans, des

solutions logicielles innovatrices en génie civil,

génie du bâtiment et géomatique visant à assurer

le succès des projets de ses clients privés et

gouvernementaux en optimisant leur

investissements et en favorisant l’autonomie de

leurs ressources.

Page 5: Présentation de la rencontre du Groupe d'usagers FME_mars 2011

Présentation de Consortech

Près de 22 ans d’expérience en intégration de solutions technologiques

Expert en solutions de : Géomatique Génie civil Génie du bâtiment BIM (Building Information Modeling) Visualisation et simulation 3D

Page 6: Présentation de la rencontre du Groupe d'usagers FME_mars 2011

Notre vision

Un leader des technologies 3D appliquées aux processus de

décisions

Consortech veut demeurer à l’avant-garde dans

les solutions technologiques offertes en génie et

en géospatial afin d’être perçue comme une

instigatrice d’innovation auprès des organismes

gouvernementaux et des firmes privées via.

Page 7: Présentation de la rencontre du Groupe d'usagers FME_mars 2011

Notre vision

Notre vision est appuyée par différentes initiatives telles que : Introduction de nouvelles technologies

(Subassembly Studio, LandXplorer, Transoft Solutions, FME, etc.)

Participation à des projets pilotes (ponts, digues et barrages, etc.)

Développements de produits (SOLO) Organisation d’événement spéciaux

(Événement 3D de février dernier) Organisation de rencontres d’échanges

(Municipal, Transport, Ouvrages d’art)

Page 8: Présentation de la rencontre du Groupe d'usagers FME_mars 2011

Revealing Your New Sidekicks: FME 2011

Mit Hajirakr et Yves St-JulienSafe Software et Solutions Consortech

Yves St-Julien, Spécialiste d’applications, ConsortechMita Hajirakr, FME Desktop Support Manager, Safe Software

Page 9: Présentation de la rencontre du Groupe d'usagers FME_mars 2011

FME 2011: Spatial Data at Your Command

Page 10: Présentation de la rencontre du Groupe d'usagers FME_mars 2011

FME 2011: Spatial Data at Your Command

Page 11: Présentation de la rencontre du Groupe d'usagers FME_mars 2011

FME 2011: Makes you the Superhero!

Make you the Super Heroes!

Page 12: Présentation de la rencontre du Groupe d'usagers FME_mars 2011

Spatial Data at Your Command

FME 2011 gives you more power than ever before

1. Access new formats

2. Experience usability enhancements

3. Perform FME tasks even faster

Page 13: Présentation de la rencontre du Groupe d'usagers FME_mars 2011

FME 2011 Power Unleashed

Page 14: Présentation de la rencontre du Groupe d'usagers FME_mars 2011

What’s Coming out of the Laboratory in Surrey?

Platform

Page 15: Présentation de la rencontre du Groupe d'usagers FME_mars 2011

More For Your Utility Belt

GIS CADRasterDatabase Web3D/BIMPoint

Clouds

Page 16: Présentation de la rencontre du Groupe d'usagers FME_mars 2011

More Formats

9/2/10

Trends and Directionsin Spatial Data Exchange

16

FME 1.4.7

FME 2.0

FME 2.1

FME 2.2

FME 2.3

FME 2.3a

FME 2000

FME 2000 SR-1

FME 2002

FME 2002 SR-1

FME 2003

FME 2003 X2

FME 2004

FME 2004 ICE

FME 2004 ICE3

FME 2005

FME 2006

FME 2006 GB

FME 2007

FME 2008

FME 2009

FME 2010 Beta UC Cut

FME 2010

FME 2011

0

50

100

150

200

250

300

225238

254265

Page 17: Présentation de la rencontre du Groupe d'usagers FME_mars 2011

Added new formats: LAS, POD, LiDAR XYZ OpenStreetMap TIBCO OpenSpirit Cloud formats

Added new versions: Esri ArcGIS 10 Autodesk FDO 2011

New Formats

CAD VECTOR RASTER DATABASE BIM/3D WEB POINT CLOUD

Page 18: Présentation de la rencontre du Groupe d'usagers FME_mars 2011

New Format Roundup

ESRIJSON (ESRI JavaScript Object Notation)FDO Providers (Autodesk 2011)Google SpreadsheetLiDAR (XYZ)Microsoft Windows AzureMicrosoft Windows Azure OGDINetezzaNetezza SpatialPointTools (POD)Schema (From Table)World Meteorological Organization GRIB (GRIdded Binary)

Page 19: Présentation de la rencontre du Groupe d'usagers FME_mars 2011

Format Usage Patterns

9/2/10

19

Page 25: Présentation de la rencontre du Groupe d'usagers FME_mars 2011

Point Clouds: Combining

Page 26: Présentation de la rencontre du Groupe d'usagers FME_mars 2011

Point Clouds: Surface Modeling

The workspace also generates TIN (as a PDF 3D file) with DEM as a texture:

Page 27: Présentation de la rencontre du Groupe d'usagers FME_mars 2011

Point Clouds: Viewing and Inspection

Page 28: Présentation de la rencontre du Groupe d'usagers FME_mars 2011

Point Clouds: Demo

9/2/10

28

Page 29: Présentation de la rencontre du Groupe d'usagers FME_mars 2011

New reading and writing capabilities for Windows Azure SQL Azure OGDI Google Spreadsheets

Spatial Data in the Cloud

Page 30: Présentation de la rencontre du Groupe d'usagers FME_mars 2011

FME 2011:More Powerful than Before!

Page 31: Présentation de la rencontre du Groupe d'usagers FME_mars 2011

New Transformer Roundup

AmalgamatorAttributeCompressorAttributeDecompressorCoordinateSwapperCsmapReprojectorCustomTransformerLooperDGNStylerDWGStylerFMEServerLogFileRetrieverFeatureReaderGeometryInstantiatorLicenseCheckerListKeeperMapInfoStylerMeshMerger

PointCloudCoercerPointCloudCombinerPointCloudCreatorPointCloudPropertyExtractorPointCloudSplitterPointCloudThinnerRasterCellValueRounderSQLCreatorSQLQuerierSherbendGeneralizerSurfaceSplitterXMLFormatterXMLFragmenterXMLNamespaceDeclarerXMLValidator

Page 32: Présentation de la rencontre du Groupe d'usagers FME_mars 2011

FME 2011 New Transformer:SherbendGeneralizer

Page 33: Présentation de la rencontre du Groupe d'usagers FME_mars 2011
Page 34: Présentation de la rencontre du Groupe d'usagers FME_mars 2011

What’s Coming out of the Laboratory in Surrey?

Desktop

Page 35: Présentation de la rencontre du Groupe d'usagers FME_mars 2011

Workspace Look Refresh

Page 37: Présentation de la rencontre du Groupe d'usagers FME_mars 2011

Tackle Data Villains Easier

Page 38: Présentation de la rencontre du Groupe d'usagers FME_mars 2011

Getting Started is Easy

Page 39: Présentation de la rencontre du Groupe d'usagers FME_mars 2011

Scripted Parameters

Page 40: Présentation de la rencontre du Groupe d'usagers FME_mars 2011

Workspace Inline Data Inspection

Page 41: Présentation de la rencontre du Groupe d'usagers FME_mars 2011

Workbench Inspection Demo

Trends and Directionsin Spatial Data Exchange

Page 42: Présentation de la rencontre du Groupe d'usagers FME_mars 2011

Performance Improvements

11%+ increase on long run (over 7 seconds) workspaces

Page 43: Présentation de la rencontre du Groupe d'usagers FME_mars 2011

SQLCreator and SQLQuerier

Execute SQL queries against a database, creating new features or querying existing features.

Page 44: Présentation de la rencontre du Groupe d'usagers FME_mars 2011

Improved Stylers

Reduce the number of transformers with centralized symbology application using Stylers -

DGNStyler MapInfoStyler DWGStyler

Page 45: Présentation de la rencontre du Groupe d'usagers FME_mars 2011

SchemaMapper

Completely revamped in FME 2011!

“Complex data mapping - spatial and nonspatial - doesn’t get any better than this.”

- Mike Oberdries, we-do-IT(NZ) Ltd.

http://evangelism.safe.com/fmeevangelist71/

Page 46: Présentation de la rencontre du Groupe d'usagers FME_mars 2011

New Tester Predicates

Page 47: Présentation de la rencontre du Groupe d'usagers FME_mars 2011

XML to the Next Level…

XML handling takes a leap forward in efficiency and ease-of-use with:

XMLTemplater Validation Styling Metadata Cataloging

Page 48: Présentation de la rencontre du Groupe d'usagers FME_mars 2011

Verification? How do we know if XML is valid?

Writing Complex XML

Page 49: Présentation de la rencontre du Groupe d'usagers FME_mars 2011

What’s Coming out of the Laboratory in Surrey?

Server

Page 50: Présentation de la rencontre du Groupe d'usagers FME_mars 2011

REST API

REST API makes it much easier to leverage the services of FME Server.

51

Page 51: Présentation de la rencontre du Groupe d'usagers FME_mars 2011

FME Server Security

Repository Level Security

Define Repositories that users can access

Define type of access that they have

Page 52: Présentation de la rencontre du Groupe d'usagers FME_mars 2011

FME Server Scheduler

Scheduling capabilities are part of FME Server 2011

Page 53: Présentation de la rencontre du Groupe d'usagers FME_mars 2011

Slide 54

Scheduler Demo

Page 54: Présentation de la rencontre du Groupe d'usagers FME_mars 2011

Future-Proof Your Investment

Page 55: Présentation de la rencontre du Groupe d'usagers FME_mars 2011

Future-Proof Your Investment

What will tomorrow bring?

The evolution of current formats, brand new formats and platforms, and entirely new data types

Point cloud data is here

Count on FME to keep up with industry and format changes

With FME, you’ll beready

Page 56: Présentation de la rencontre du Groupe d'usagers FME_mars 2011

Pause-café

Pause

Page 57: Présentation de la rencontre du Groupe d'usagers FME_mars 2011

Témoignage utilisateur:Utilisation de FME dans le cadre d’un projet de vectorisation

Judith-Marie BeaudoinChargée de projet recherche et développement, Groupe Trifide

Page 58: Présentation de la rencontre du Groupe d'usagers FME_mars 2011

Utilisation de FME dans le cadre d’un projet de vectorisation

Présenté par Judith-Marie Beaudoin

Chargée de projet Recherche et DéveloppementGroupe Trifide

Page 59: Présentation de la rencontre du Groupe d'usagers FME_mars 2011

Présentation

Mise en contexte du projet I

Stratégie de développement

Exemple de programme FME réalisé

Page 60: Présentation de la rencontre du Groupe d'usagers FME_mars 2011

Mise en contexte du projet I – Présentation globale

Format MID/MIF

MIF:VERSION 300DELIMITER "," CoordSys Earth Projection 3, 33, "m", 3, 46.5, 44, 49, 700000, 6600000 COLUMNS 3 ID char(10) NATTRAC char(40) INSEE char(5)DATALINE 898573.99 6502546.77 898594.64 6502590.83LINE 897119.97 6504607.15 897063.87 6504637.44LINE 898984.76 6501855.8 899031.22 6501877.82

MID:HL392,,38124HL382,,38124HL407,,38124HL401,,38124

Projet I : Vectorisation de plan et association de données descriptives

Page 61: Présentation de la rencontre du Groupe d'usagers FME_mars 2011

Mise en contexte du projet I – Présentation globale

Données de base– Plans papier– Réglementation – Données cadastrales vectorielles (MapInfo)

Livrables– MID/MIF– PDF

Page 62: Présentation de la rencontre du Groupe d'usagers FME_mars 2011

Mise en contexte du projet I – Étapes de réalisation

Numérisation des plans papier

Géoréférencement des plans numériques– MicroStation V8i Descartes (Bentley)

Transformation affine sur la couche vectorielle cadastrale

Vectorisation des plans numériques– MicroStation V8 (Bentley)

Vectorisation manuel à l’aide de la couche vectorielle cadastrale

Page 63: Présentation de la rencontre du Groupe d'usagers FME_mars 2011

Mise en contexte du projet I – Étapes de réalisation

Peuplement de la base de données– MicroStation V8 (Bentley) associé à une base de données

Access Peuplement manuel les attributs variables Peuplement automatique les attributs constants

Livraison des données

Numérisation

Géoréférencement Vectorisation Validation de la structure

Peuplement BDValidation de la BD

Création des MID/MIF

Livraison

Étapes de réalisation incluant les programmes FME :

Cadastre.dgn

Page 64: Présentation de la rencontre du Groupe d'usagers FME_mars 2011

Mise en contexte du projet I – Principes méthodologiques exigés Numérisation vectorielle complète et représentative

du plan original

Respect de la géométrie des éléments associés à chaque classe d’objet– Classes ponctuelles– Classes textuelles– Classes linéaires– Classes surfaciques– Classes sémantiques

Un élément linéaire peut être une ligne ou une polyligne ouverte

Un élément surfacique doit être une polyligne fermée, sans boucle

Page 65: Présentation de la rencontre du Groupe d'usagers FME_mars 2011

Mise en contexte du projet I – Principes méthodologiques exigés Règles topologiques exigée pour les éléments de la

sous-classe « zone » (classe surfacique)– Pas de chevauchement– Recouvrement total du territoire

Chevauchement

Trou

A

Exclusion de A

A

B

La notion de région permet d’éviter le chevauchement.

Page 66: Présentation de la rencontre du Groupe d'usagers FME_mars 2011

Mise en contexte du projet I – Principes méthodologiques exigés Règles topologiques exigées pour les éléments de la sous-classe « zone » (classe

surfacique)– Partage entre les limites de cette classe – Partage entre les limites de cette classe et les données

cadastrales

AB

Les étoiles oranges représentent les sommets

partagés entre la zone A et B.

Le client désirait l’indépendance entre les

surfaces, malgré le partage. C’est pourquoi, les segments entre les étoiles oranges ont été vectorisés deux fois: une fois pour la zone A et une fois

pour la zone B.

Page 67: Présentation de la rencontre du Groupe d'usagers FME_mars 2011

Mise en contexte du projet I – Principes méthodologiques exigés

Toutes limites communes devront être partagées

Attributs et format d’attribut prédéterminés pour les données descriptives pour chaque classe d’objet

Livraison des données en centimètre

Conclusion : beaucoup de géométrie et de relations topologiques à valider (particulièrement pour la sous-classe surfacique « zone »)

Page 68: Présentation de la rencontre du Groupe d'usagers FME_mars 2011

Stratégie de développement – analyse des besoins Besoin d’outils pour faciliter la numérisation

– partage des éléments

Besoin d’outils pour remplir la base de données

Besoin d’outils de validation– Analyse de la géométrie des éléments vectorisés

Géométrie versus classe– Analyses topologiques entres les éléments vectorisés

Relation de chevauchement, d’égalité, de proximité, etc.– Analyse du contenu d’une BD

Reconnaissance des attributs et de leur format

Besoin de convertir les format .dgn et .mdb en format MID/MIF

Page 69: Présentation de la rencontre du Groupe d'usagers FME_mars 2011

Stratégie de développement – outils sélectionnés mdl – outils de manipulation

– Application déjà disponible pour la production Partage des éléments Remplir les attributs de la BD

FME – outils de validation– Temps de programmations réduits vs mdl

Librairie de fonctions d’analyse spatiale existante– Réponds aux besoins suivants:

Toutes les analyses spatiales Permet de lire une BD et son contenu Permet d’analyser la géométrie des éléments Permet la création du format MID/MIF

– Temps de formation nul pour les techniciens – standard de programmation en place et connu

– Volume de données raisonnable

Page 70: Présentation de la rencontre du Groupe d'usagers FME_mars 2011

Exemple de programme FME réalisé pour le projet I

Page 71: Présentation de la rencontre du Groupe d'usagers FME_mars 2011

Exemple de programme FME réalisé pour le projet I Programme de validation de la structuration des

éléments de la sous-classe « zone » – Beaucoup d’exigence du client quant aux relations

topologiques au sein des éléments de cette sous-classe– Principale sous-classe présente sur les plans à vectoriser

Présente sur toutes les cartes Couvre l’ensemble du territoire

Présentation de l’algorithme général

Présentation et précision sur le fichier de sortie du worbench

Présentation des résultats des algorithmes particuliers composants le workbench

Page 72: Présentation de la rencontre du Groupe d'usagers FME_mars 2011

Validation de la structuration de la sous-classe « zone »

Fichier de travail.dgn

Cadastre.dgn

Vérifie la géométrie de tous les éléments

Isole les éléments de la sous-classe ZONE

correcte

incorrecte

Recherche leschevauchements

Recherche lestrous

Vérifie le partageAvec la limite

cadastrale

Error_struc.dgn

ZONE

chevauchement

trous

Problème de partage

Algorithme général:

Page 73: Présentation de la rencontre du Groupe d'usagers FME_mars 2011

Validation de la structuration de la sous-classe « zone » Précision sur le fichier de sortie error_struc.dgn

– Pas de correction automatique, modification du fichier de travail (.dgn) d’entrée, car besoin du technicien pour l’interprétation de l’erreur

– Circonscrire l’erreur au maximum Un niveau et une couleur pour chaque type d’erreur Extraire seulement les sommets ou les segments en erreur et non pas l’élément dans son ensemble Présence d’un texte explicatif pour chaque erreur

– Nombre d’erreur raisonnable…

Page 74: Présentation de la rencontre du Groupe d'usagers FME_mars 2011

Validation de la structuration de la sous-classe « zone » Quelques transformers utilisés lors de la vérification

de la géométrie de tous les éléments :– AttributeFilter (séparation des classes) – GeometryFilter (séparation des géométries)– PolygonBuilder (polylignes fermées deviennent des

polygones)– LineJoiner (création de polylignes ouvertes)– SpatialRelator (analyses topologiques)

Recherche des éléments en double et les polygones ouvert

Page 75: Présentation de la rencontre du Groupe d'usagers FME_mars 2011

Validation de la structuration de la sous-classe « zone »

Moins de 8 mm d’ouverture Extraction des segments qui ne seDifficile à trouver par une analyse touchent pas (circonscrire l’erreur)visuel

Page 76: Présentation de la rencontre du Groupe d'usagers FME_mars 2011

Validation de la structuration de la sous-classe « zone » Quelques transformers utilisés lors de la recherche des

chevauchements entre les zones :– AreaBuilder (création de régions)– Chopper (extraction des sommets)– SpatialRelator (analyses topologiques)

Page 77: Présentation de la rencontre du Groupe d'usagers FME_mars 2011

Validation de la structuration de la sous-classe « zone »Éléments mal partagés Création d’une ellipse et d’un

= chevauchement texte d’erreur sur les sommets qui chevauchent une surface

Page 78: Présentation de la rencontre du Groupe d'usagers FME_mars 2011

Validation de la structuration de la sous-classe « zone » Quelques transformers utilisés lors de la recherche

des trous entre les zones :– Chopper (extraction des sommets)– SpatialRelator (analyses topologiques)– PointOnAreaOverlay (analyses topologiques)

Pas le même nombre de sommets création d’une ellipse et d’un texte sur le = « trou » sommet solitaire

Page 79: Présentation de la rencontre du Groupe d'usagers FME_mars 2011

Validation de la structuration de la sous-classe « zone » Quelques transformers utilisés lors de la vérification

du partage avec la limite cadastrale :– GeometryCoercer (modification de la géométrie)– Chopper (extraction des sommets)– NeighborFinder (analyses topologiques)– PointOnPointOverlay (analyses topologiques)

Page 80: Présentation de la rencontre du Groupe d'usagers FME_mars 2011

Validation de la structuration de la sous-classe « zone »

Erreur : Il n’y a pas de sommet au Erreur corrigée: il y a un sommet au

croisement avec la limite cadastrale croisement avec la limite cadastrale (rouge) (rouge)

Page 81: Présentation de la rencontre du Groupe d'usagers FME_mars 2011

Validation de la structuration de la sous-classe « zone » Résultat de la vectorisation

Page 82: Présentation de la rencontre du Groupe d'usagers FME_mars 2011

Questions ?

Merci!

Judith-Marie [email protected]

Page 83: Présentation de la rencontre du Groupe d'usagers FME_mars 2011

Standard de programmation

Interface utilisateur– Intrants– Custom transformer– Extrants– Published parameters

Utilisation des custom transformer permet de structurer le programme selon l’algorithme

Utilisation du viewer seulement pour souligné un problème à l’utilisateur lors du traitement

Présence de commentaire comme dans n’importe quel programme

Page 84: Présentation de la rencontre du Groupe d'usagers FME_mars 2011

Présentation technique

Yves St-JulienSpécialiste d’applications, Solutions Consortech

Page 85: Présentation de la rencontre du Groupe d'usagers FME_mars 2011

The Armoury

Flow Control Filters, Testers and Mappers

Dynamic Workflows Schema Mapping Transformers Dynamic Schemas

Page 86: Présentation de la rencontre du Groupe d'usagers FME_mars 2011

Most Popular Gadgets

Top Gadgets

Page 87: Présentation de la rencontre du Groupe d'usagers FME_mars 2011

Flow ControlFilters, Testers & Mappers

Transformers that control the flow of data in your workspace

Testers Tester StringSearcher

Filters TestFilter AttributeFilter AtributeRangeFilter

Mappers AttributeValueMapper AttributeRangeMapper SchemaMapper Example workspace

Page 88: Présentation de la rencontre du Groupe d'usagers FME_mars 2011

Dynamic Workflows

Dynamic SchemaIntroduced in FME 2010 Improved in FME 2011

SchemaMapper Dynamic Schemas

Review traditional workspaces

Examples of Dynamic Workflows

Dynamic workspaces are a way of providing maximum translation flexibility and minimizing the

longer term maintenance of workspaces

Page 89: Présentation de la rencontre du Groupe d'usagers FME_mars 2011

Schema Mapping

What is a Schema? Feature Types

(Tables, Feature Classes, Layers, Collections, Levels…)

Attributes (and their types: char, int, float, number, blob)

Domains, Subtypes, Enumerated Lists Geometry

(point, text, symbol, line, area, multi-part, …)

Reader Schema:what we have Writer Schema: what we want

Page 90: Présentation de la rencontre du Groupe d'usagers FME_mars 2011

Schema Mapping

What is Schema Mapping? from “what we have” to “what we want” Renaming feature types (WATERLINES D-WATER-DW~~) Renaming attributes (PR_ZONE Zone) Creating attributes (FCode = AQ113) Domain mapping

Schema map is usually defined in a crosswalk table

SYMCODE Material

7 PVC251 Cast Iron

183 Copper G1213 Copper G2

Page 91: Présentation de la rencontre du Groupe d'usagers FME_mars 2011

Schema Mapping

Schema mapping in FME Workbench: Feature Type renaming AttributeCopier AttributeCreator AttributeValueMapper

What’s the problem? Very repppppetitiveHarder to maintain

What we need is a “Swiss Army” gadget for schema mapping…

Example workspace

Page 92: Présentation de la rencontre du Groupe d'usagers FME_mars 2011

The Armoury

Page 93: Présentation de la rencontre du Groupe d'usagers FME_mars 2011

SchemaMapper

SchemaMapper: Combines: Feature Type renaming,

AttributeCopier, AttributeCreator, AttributeValueMapper and others…

Problem:The workspace is still very repppppetitive

SchemaMapper actions:o Filtero Feature Type Mapo Attribute Mapo New Attribute

Example

Page 94: Présentation de la rencontre du Groupe d'usagers FME_mars 2011

Traditional Workspaces(Static Schema)

Workspaces are tightly bound to the source and destination schemas

This works well when: Each feature type requires unique transformation Feature types interact (i.e. merged data, spatial overlap)

Not so well for: A relatively simple transformation

that is applied to all feature types Workspace maintenance – it can

be tedious

These are the pros & cons of workspace example

Static Schema Example

Page 95: Présentation de la rencontre du Groupe d'usagers FME_mars 2011

Dynamic Schemas

Used when: Simple transformations applied

to all feature types Reader schema is not

predictable or may vary Reader or writer format might

vary Long term maintenance of the

workspace is required

Dynamic Schema breaks the dependence on the reader and writer schemas

Page 96: Présentation de la rencontre du Groupe d'usagers FME_mars 2011

Example – Dynamic Workflow

Example Clipper workspace

Page 97: Présentation de la rencontre du Groupe d'usagers FME_mars 2011

Dynamic Workflow

What can be made dynamic? Schema: Reader Feature Types

Read any set of feature types from a dataset Schema: Writer Feature Types

Mirror the source feature types on the destination Schema: Attributes

Read any set of attributes on source feature types and mirror them on the writer feature types

Format: Generic Reader and Generic Writer Select the reader or writer format at run time

Review of Workspace

Page 98: Présentation de la rencontre du Groupe d'usagers FME_mars 2011

Summary

Dynamic workspaces give maximum flexibility for minimum effort

Dynamic Schema can handle source data with any schema

Dynamic Writer can be used to minimize the workspace complexity

The Generic reader or writer can process data in nearly any format

Page 99: Présentation de la rencontre du Groupe d'usagers FME_mars 2011

Dîner-libre: Consultez un expert

Dîner

Page 100: Présentation de la rencontre du Groupe d'usagers FME_mars 2011

New Superpowers for FME Server

Mita Hajirakr , FME desktop Support Manager, Safe SoftwareYves St-Julien, Spécialiste d’applications, Solutions Consortech

Mita Hajirakr, FME Desktop Support Manager, Safe Software

Page 101: Présentation de la rencontre du Groupe d'usagers FME_mars 2011

Session Overview

Why FME Server?

Scenario Example

Page 102: Présentation de la rencontre du Groupe d'usagers FME_mars 2011

The Battle for Resources…CADwoman vs. GISguardian

Page 103: Présentation de la rencontre du Groupe d'usagers FME_mars 2011

What Are They Battling Over…

CADwoman wants to run: DWG Data validation & Oracle Loader

workspace

GISguardian wants to run: Water pipe network validation workspace Database to DWG data conversion workspace

Page 104: Présentation de la rencontre du Groupe d'usagers FME_mars 2011

Safe Products…

Page 105: Présentation de la rencontre du Groupe d'usagers FME_mars 2011

Why FME Server?

FME Server is a scalable platform that offers flexible spatial data distribution and loading services

FME Server allows you to run FME Workspaces using a variety of different services

FME Server uses thesame FME Engine thatunderlies the FME Desktop application

Page 106: Présentation de la rencontre du Groupe d'usagers FME_mars 2011

Why FME Server?

How FME Server can meet your needs:

Data Distribution Data Download Service

Live Data Streams Data Streaming Service

Upload and Validation Data Upload Service

Centralize Data Transformation Job Submitter Service

Page 107: Présentation de la rencontre du Groupe d'usagers FME_mars 2011

FME Server in Action!

Live Demo: Arkansas GeoStor

Page 108: Présentation de la rencontre du Groupe d'usagers FME_mars 2011

How Can We Stream Data?

Streaming Service Data to PDF Anyone can view a PDF file! See www.fmepedia.com example

Page 109: Présentation de la rencontre du Groupe d'usagers FME_mars 2011

FME Workbench: Author Workflows for FME Server

Use the proven power of FME Workbench to author workflows for FME Server

Page 110: Présentation de la rencontre du Groupe d'usagers FME_mars 2011

FME Server Works with FME Desktop

FME DesktopAuthor and run spatial transformation tasks

FME ServerRun and share spatial transformation capabilities

114

Page 111: Présentation de la rencontre du Groupe d'usagers FME_mars 2011

Scenario

Add new water lines to water distribution network; validate the network

GISguardian: GIS Analyst tasks Validate network Maintain workspaces

CADwoman: CAD Contractor tasks Validate CAD data Upload clean CAD data

Page 112: Présentation de la rencontre du Groupe d'usagers FME_mars 2011

Summary

FME Workspaces for different tasks: CAD validation & data loading

OGCGeometryValidator GIS data validation

NetworkTopologyCalculator GIS data distribution

Scripted Published Parameters FeatureReader

FME Server Makes workspaces accessible to different users Simplifies workspace maintenance Scalability Security allows different roles

121

Page 113: Présentation de la rencontre du Groupe d'usagers FME_mars 2011

Introducing CADwomanCAD to GIS / GIS to CAD

Mita H

Mita Hajirakr, FME Desktop Support Manager, Safe Software

Page 114: Présentation de la rencontre du Groupe d'usagers FME_mars 2011

CAD & GIS: Differences

What’s important to CAD users? Visual clarity / Editing tools

Symbology Labels & white space Dimensions

Which CAD Formats? AutoCAD DWG AutoCAD Map 3D AutoCAD Civil 3D MicroStation PLS-CADD (XML) etc…

Page 115: Présentation de la rencontre du Groupe d'usagers FME_mars 2011

CAD & GIS: Differences

Example: GIS as-built CAD Design GIS Proposed

What drives the GIS? Data structure / model

Consistency Attribution / domains Location Connectivity Analysis

Page 116: Présentation de la rencontre du Groupe d'usagers FME_mars 2011

GIS to CAD

GIS CAD Key Points: Create AutoCAD blocks or MicroStation cells Preserve attributes as object data, tags or text Translate the annotation (text justification) Schema transformation (i.e. National CAD

Standard, etc.)

Example Symbolizing with DWGStyler

Page 117: Présentation de la rencontre du Groupe d'usagers FME_mars 2011

CAD to GIS

CAD GIS Preserve attribution Data improvement

Create connectivity (snapping) Recover attribution from text or blocks

Data quality Layer / Level consistency Valid attributes

Example Merging text onto geometry

Page 118: Présentation de la rencontre du Groupe d'usagers FME_mars 2011

Storm: The Power of Data in the Cloud

Mita HajirakrFME Desktop Support Manager, Safe Software

Page 119: Présentation de la rencontre du Groupe d'usagers FME_mars 2011

The Power of the Cloud

Storm uses the power of the cloud to combat data villains

Page 120: Présentation de la rencontre du Groupe d'usagers FME_mars 2011

Supported Cloud Data Storage

Engine

Page 121: Présentation de la rencontre du Groupe d'usagers FME_mars 2011

Advantages of Data in the Cloud

Data available to you and others,regardless of location You control who has access In some cases you control where access

is from too

Reduced administration Backup strategy simplified No hardware maintenance

Page 122: Présentation de la rencontre du Groupe d'usagers FME_mars 2011

Advantages of Data in the Cloud cont…

Scalability The cloud service looks after all scaling issues

Cost savings Hardware, administration Need to verify as communication costs

can be more

Page 123: Présentation de la rencontre du Groupe d'usagers FME_mars 2011

Disadvantages of Data in the Cloud

Data available to you and others,regardless of location Make sure you control access

Scalability Performance is not entirely under your control

Page 124: Présentation de la rencontre du Groupe d'usagers FME_mars 2011

Disadvantages of Data in the Cloud cont…

Cost savings Communication costs can be significant Best strategy is to be totally in or totally out Keeping a copy local and remote for a large

amount of data can be expensive

Page 125: Présentation de la rencontre du Groupe d'usagers FME_mars 2011

Cloud Database Demo:SQL Server Azure Demo

Read/Write to Azure and SQL Azure

Check out our blog posting here

Page 126: Présentation de la rencontre du Groupe d'usagers FME_mars 2011

Amazon S3 Cloud Demo

Page 127: Présentation de la rencontre du Groupe d'usagers FME_mars 2011

DropBox Data Sharing Demo

Page 128: Présentation de la rencontre du Groupe d'usagers FME_mars 2011

Bulk Up Your Database:FME and Database Loading

Mita HajirakrFME Desktop Support Manager, Safe Software

Page 129: Présentation de la rencontre du Groupe d'usagers FME_mars 2011

Data Updates

What’s the big deal about bulking up your databases?

Choices: Truncate & load Incremental Updates

Page 130: Présentation de la rencontre du Groupe d'usagers FME_mars 2011

Data Updates

The key to successful database updates: Persistent key History or journal table

Page 131: Présentation de la rencontre du Groupe d'usagers FME_mars 2011

Database and Table Level Updates

Reloading Everything Updates Only Writing

Page 132: Présentation de la rencontre du Groupe d'usagers FME_mars 2011

Feature Level Updates

Using Format Attributes fme_db_operation fme_where or

database Key Column

Page 133: Présentation de la rencontre du Groupe d'usagers FME_mars 2011

Transformers for Databases

Joiner SQLCreator SQLExecutor FeatureReader ArcSDEQuerier OracleQuerier

Page 134: Présentation de la rencontre du Groupe d'usagers FME_mars 2011

Database Update Example

Update Address Points for selected Zip Code boundaries Read the Zip Codes Spatial query for the Address Point updates

(based on the zip code boundary) Create the fme_db_operation attribute Write to database with

INSERT | UPDATE | DELETE Initial Data Example

Page 135: Présentation de la rencontre du Groupe d'usagers FME_mars 2011

Tools for RasterMan

Mita Hajirakr,FME Desktop Support Manager, Safe Software

Page 136: Présentation de la rencontre du Groupe d'usagers FME_mars 2011

Who is RasterMan?

RasterMan is a superhero that battles raster problems of all sizes

With FME you too can tackle raster data challenges

This is not RasterMan!

Page 137: Présentation de la rencontre du Groupe d'usagers FME_mars 2011

Raster Challenges

Challenge #1: Translate & Reproject Challenge #2: Mosaic Challenge #3: Tile or Clip Challenge #4: Drape

Page 138: Présentation de la rencontre du Groupe d'usagers FME_mars 2011

Challenge #1Translate & Reproject

More than 50 raster formats to choose from ArcSDE&GeoDatabase Raster CADRG ECW Geodatabase Raster GIF / PNG JPEG / JPEG2000 Oracle Spatial GeoRaster etc…

Page 139: Présentation de la rencontre du Groupe d'usagers FME_mars 2011

Superpower #1 FME Raster Formats List

ADRG ASRPAircom ENTERPRISE BMPBathymetric Attributed Grid

(BAG)CADRG CDED DMDFDTEDECWENVI .hdr RAW RasterER Mapper ERSESRI .hdr RAW RasterESRI ASCII GridESRI ArcGIS Binary Grid ESRI ArcGIS Image Server

ESRI ArcSDE Raster CatalogESRI ArcSDE Raster MapESRI Geodatabase Raster GIF GeoTIFFGolden Software Surfer

Binary GridHierarchical Data Format 4

(HDF4) JPEGJPEG 2000 Landmark Z-MAPLeica Geosystems ERDAS

IMAGINELeica Geosystems ERDAS

RAWMaptech BSB Nautical ChartMarconi PlaNet

MrSID NETCDFNITF Oracle Spatial GeoRasterPCI Geomatics Database FilePNGR Statistical Raster (RDATA)RADARSAT-2 XMLShuttle Radar Topography

Mission Height (SRTM HGT)

TIFF USGS DEM Vertical Mapper Grid (NGrid)Web Map ServiceX11 Pixmap (XPM)

Page 140: Présentation de la rencontre du Groupe d'usagers FME_mars 2011

Challenge #1Translate & Reproject

Page 141: Présentation de la rencontre du Groupe d'usagers FME_mars 2011

Challenge #2 - Mosaic

Page 142: Présentation de la rencontre du Groupe d'usagers FME_mars 2011

Challenge #3 - Clip

Page 143: Présentation de la rencontre du Groupe d'usagers FME_mars 2011

Challenge #4 - Tile

Page 145: Présentation de la rencontre du Groupe d'usagers FME_mars 2011

Challenge #6 - Drape

Page 146: Présentation de la rencontre du Groupe d'usagers FME_mars 2011

Resources

Dmitri’s Raster Studio http://bit.ly/dmitri_raster 20+ examples, including:

Non-rectangular raster clipping Point clouds Raster to 3D translation RasterExpressionEvaluator Rasterization for Web Mapping Platforms Raster Palette Manipulations Avoiding black edges while reprojectiong rasters Raster Mask for KML output And more!

Page 147: Présentation de la rencontre du Groupe d'usagers FME_mars 2011

Mita HajirakrFME Desktop Support Manager, Safe Software

Battling the Forces of XML

Page 148: Présentation de la rencontre du Groupe d'usagers FME_mars 2011

Why is XML So Difficult?

XML is a language Describes the data structures as well as

content

Capable of defining complex data structures Hierarchical data structures Non relational data structures

GIS are usually based on relational data models

Page 149: Présentation de la rencontre du Groupe d'usagers FME_mars 2011

FME 2011 Power Unleashed:The Power of XML-MEN

Page 150: Présentation de la rencontre du Groupe d'usagers FME_mars 2011

Safe XML Strategy

Leverage industry XML tools such as XSLT and XQuery Users must know these complex technologies.

Page 151: Présentation de la rencontre du Groupe d'usagers FME_mars 2011

Safe XML Strategy

Higher Level Function Minimal understanding

of XML required

Page 152: Présentation de la rencontre du Groupe d'usagers FME_mars 2011

Reading XML with FME

GML 3.2 & XSD (XML Schema) Most GML can be interpreted if FME can use the XSD This will work if the OGC spec. is followed and internal

feature constructs are not overly complex

Xfmap Script for mapping XML structure to FME features Powerful but not for the faint of heart

Xquery W3C compliant Xquery Map XML tags to features or attributes using

XQueryExploder & XQueryExtractor Powerful but not for the faint of heart

162

Page 153: Présentation de la rencontre du Groupe d'usagers FME_mars 2011

XML Formats - Reading

163

Page 154: Présentation de la rencontre du Groupe d'usagers FME_mars 2011

FME 2011 Power Unleashed:XML Reading Transformers

XQueryExploder Split XML documents into

“features” using XQuery

XQueryExtractor Extract attributes and

other structures using XQuery

XMLFeatureMapper Construct “features” from

XML using xfmaps.

164

Require XQuery or xfMap knowledge!!!

Page 155: Présentation de la rencontre du Groupe d'usagers FME_mars 2011

FME 2011 Power Unleashed:XML Reading Made Easier

Page 156: Présentation de la rencontre du Groupe d'usagers FME_mars 2011

FME 2011 Power Unleashed:XML Reading Transformers

XMLFragmenter Split XML documents

into manageable “features”

Includes “flatten option” in FME 2011

166

No XQuery or xfMap needed!!!

Page 157: Présentation de la rencontre du Groupe d'usagers FME_mars 2011

FME 2011 Power Unleashed:XML Reading Demo

167

Page 158: Présentation de la rencontre du Groupe d'usagers FME_mars 2011

Writing XML with FME

GML standard formats FME supports a wide range of GML profiles

(GML SF0, OS MasterMap, CityGML, etc.)

GML 3.2.1 & XSLT Apply an XSLT (Extensible Stylesheet

Language Transformations) to the output

Xquery W3C compliant Xquery Map FME features to XML templates using

XMLTemplater transformer

168

Page 159: Présentation de la rencontre du Groupe d'usagers FME_mars 2011

XML Formats - Writing

169

Page 160: Présentation de la rencontre du Groupe d'usagers FME_mars 2011

FME 2011 Power Unleashed:XML Writing Made Easier

Page 161: Présentation de la rencontre du Groupe d'usagers FME_mars 2011

FME 2011 Power Unleashed:XML Writing Transformers

Writing XMLTemplator

Convert FME attributes to XML XMLFormatter

Formats and beautifies XML documents.

171

Page 162: Présentation de la rencontre du Groupe d'usagers FME_mars 2011

Writing XML - XMLTemplater

172

<feederObject objectID="{fme:get-attribute("objectID")}"> <feederName>{fme:get-attribute("feederName")}</feederName> <feederNo>{fme:get-attribute("feederNo")}</feederNo> <eaLoc>{fme:get-attribute("eaLoc")}</eaLoc></feederObject>

Page 163: Présentation de la rencontre du Groupe d'usagers FME_mars 2011

Example: XML Object Hierarchy

Creating an electricsubstation XML: Coordinatesand Attributesand contains Feeder(s) contain

Attributes

XML Document

Substation

Feeder A

Feeder B

Page 164: Présentation de la rencontre du Groupe d'usagers FME_mars 2011

XML Writing Demo

Sample XML: Source of XML

templates Add Xquery: replace attribute

values with Xquery statements

Sample XML <substation objectID="Vancouver Substation"> <mapLocation> <coord> <X>669170.169</X> <Y>1000199.534</Y> </coord> </mapLocation> <facilityID>5E67B377</facilityID> <sectionID>RPG123</sectionID> <phaseCode>ABC</phaseCode> <feederList> <feederObject objectID="8-64"> <feederName>10-24</feederName> <feederNo>8763</feederNo> <eaLoc>9D2D</eaLoc> </feederObject> <feederObject objectID="8-65"> <feederName>10-25</feederName> <feederNo>8766</feederNo> <eaLoc>9D3F</eaLoc> </feederObject> </feederList> <name>Vancouver Central</name> </substation>

<feederObject objectID="{fme:get-attribute("objectID")}"> <feederName>{fme:get-attribute("feederName")}</feederName> <feederNo>{fme:get-attribute("feederNo")}</feederNo> <eaLoc>{fme:get-attribute("eaLoc")}</eaLoc></feederObject>

Page 165: Présentation de la rencontre du Groupe d'usagers FME_mars 2011

XML Writing Demo

Page 166: Présentation de la rencontre du Groupe d'usagers FME_mars 2011

XML Writing:Deeply Nested Demo

There was an old lady who swallowed a fly!

Page 167: Présentation de la rencontre du Groupe d'usagers FME_mars 2011

FME 2011 Power Unleashed:Other XML Transformers

XMLValidator Ensures XML is valid. Useful for reading

and writing

XMLFormatterFormats and beautifies XML documents.

177

Page 168: Présentation de la rencontre du Groupe d'usagers FME_mars 2011

Spatial Data at Your Command

FME 2011: Take Command of Your Spatial Data

New format support enables you to work with a whole new world of data

Easier than ever to get started and use Faster than before

Page 169: Présentation de la rencontre du Groupe d'usagers FME_mars 2011

Merci!

Questions? Techniques

Yves St-Julien: [email protected]

Ventes Louise Doyon:[email protected] Gerry McCoubrey: [email protected]

www.consortech.com 1-888-276-0543