Présentation de la rencontre du Groupe d'usagers FME_mars 2011

Rencontre du Groupe d’usagers FME 2011

Yves St-Julien, Spécialiste d’applications, ConsortechMita Hajirakr, FME Desktop Support Manager, Safe Software

Place your logo here

Mot de bienvenue

Présentation des nouveautés FME 2011

Pause

Témoignage utilisateur

Présentation technique

Programme

Programme (Suite)

Dîner-libre/Consultez un expert

Présentation des nouveautés FME Server 2011

Présentation des problèmes d’interopérabilité

Période de questions et conclusion

Notre mission

Consortech offre, depuis plus de 20 ans, des

solutions logicielles innovatrices en génie civil,

génie du bâtiment et géomatique visant à assurer

le succès des projets de ses clients privés et

gouvernementaux en optimisant leur

investissements et en favorisant l’autonomie de

leurs ressources.

Présentation de Consortech

Près de 22 ans d’expérience en intégration de solutions technologiques

Expert en solutions de : Géomatique Génie civil Génie du bâtiment BIM (Building Information Modeling) Visualisation et simulation 3D

Notre vision

Un leader des technologies 3D appliquées aux processus de

décisions

Consortech veut demeurer à l’avant-garde dans

les solutions technologiques offertes en génie et

en géospatial afin d’être perçue comme une

instigatrice d’innovation auprès des organismes

gouvernementaux et des firmes privées via.

Notre vision

Notre vision est appuyée par différentes initiatives telles que : Introduction de nouvelles technologies

(Subassembly Studio, LandXplorer, Transoft Solutions, FME, etc.)

Participation à des projets pilotes (ponts, digues et barrages, etc.)

Développements de produits (SOLO) Organisation d’événement spéciaux

(Événement 3D de février dernier) Organisation de rencontres d’échanges

(Municipal, Transport, Ouvrages d’art)

Revealing Your New Sidekicks: FME 2011

Mit Hajirakr et Yves St-JulienSafe Software et Solutions Consortech

Yves St-Julien, Spécialiste d’applications, ConsortechMita Hajirakr, FME Desktop Support Manager, Safe Software

FME 2011: Spatial Data at Your Command

FME 2011: Spatial Data at Your Command

FME 2011: Makes you the Superhero!

Make you the Super Heroes!

Spatial Data at Your Command

FME 2011 gives you more power than ever before

1. Access new formats

2. Experience usability enhancements

3. Perform FME tasks even faster

FME 2011 Power Unleashed

What’s Coming out of the Laboratory in Surrey?

Platform

More For Your Utility Belt

GIS CADRasterDatabase Web3D/BIMPoint

Clouds

More Formats

9/2/10

Trends and Directionsin Spatial Data Exchange

16

FME 1.4.7

FME 2.0

FME 2.1

FME 2.2

FME 2.3

FME 2.3a

FME 2000

FME 2000 SR-1

FME 2002

FME 2002 SR-1

FME 2003

FME 2003 X2

FME 2004

FME 2004 ICE

FME 2004 ICE3

FME 2005

FME 2006

FME 2006 GB

FME 2007

FME 2008

FME 2009

FME 2010 Beta UC Cut

FME 2010

FME 2011

0

50

100

150

200

250

300

225238

254265

Added new formats: LAS, POD, LiDAR XYZ OpenStreetMap TIBCO OpenSpirit Cloud formats

Added new versions: Esri ArcGIS 10 Autodesk FDO 2011

New Formats

CAD VECTOR RASTER DATABASE BIM/3D WEB POINT CLOUD

New Format Roundup

ESRIJSON (ESRI JavaScript Object Notation)FDO Providers (Autodesk 2011)Google SpreadsheetLiDAR (XYZ)Microsoft Windows AzureMicrosoft Windows Azure OGDINetezzaNetezza SpatialPointTools (POD)Schema (From Table)World Meteorological Organization GRIB (GRIdded Binary)

Format Usage Patterns

9/2/10

19

Unleashing the Power ofPoint Clouds

http://www.fmepedia.com/index.php/Category:Dmitris_Point_Cloud_Lab

Point Clouds

Point Clouds: Thinning

Point Clouds: Splitting

Point Clouds: Clip and Tile

Point Clouds: Combining

Point Clouds: Surface Modeling

The workspace also generates TIN (as a PDF 3D file) with DEM as a texture:

Point Clouds: Viewing and Inspection

Point Clouds: Demo

9/2/10

28

New reading and writing capabilities for Windows Azure SQL Azure OGDI Google Spreadsheets

Spatial Data in the Cloud

FME 2011:More Powerful than Before!

New Transformer Roundup

AmalgamatorAttributeCompressorAttributeDecompressorCoordinateSwapperCsmapReprojectorCustomTransformerLooperDGNStylerDWGStylerFMEServerLogFileRetrieverFeatureReaderGeometryInstantiatorLicenseCheckerListKeeperMapInfoStylerMeshMerger

PointCloudCoercerPointCloudCombinerPointCloudCreatorPointCloudPropertyExtractorPointCloudSplitterPointCloudThinnerRasterCellValueRounderSQLCreatorSQLQuerierSherbendGeneralizerSurfaceSplitterXMLFormatterXMLFragmenterXMLNamespaceDeclarerXMLValidator

FME 2011 New Transformer:SherbendGeneralizer

What’s Coming out of the Laboratory in Surrey?

Desktop

Workspace Look Refresh

Make Your Own Theme

Tackle Data Villains Easier

Getting Started is Easy

Scripted Parameters

Workspace Inline Data Inspection

Workbench Inspection Demo

Trends and Directionsin Spatial Data Exchange

Performance Improvements

11%+ increase on long run (over 7 seconds) workspaces

SQLCreator and SQLQuerier

Execute SQL queries against a database, creating new features or querying existing features.

Improved Stylers

Reduce the number of transformers with centralized symbology application using Stylers -

DGNStyler MapInfoStyler DWGStyler

SchemaMapper

Completely revamped in FME 2011!

“Complex data mapping - spatial and nonspatial - doesn’t get any better than this.”

- Mike Oberdries, we-do-IT(NZ) Ltd.

http://evangelism.safe.com/fmeevangelist71/

New Tester Predicates

XML to the Next Level…

XML handling takes a leap forward in efficiency and ease-of-use with:

XMLTemplater Validation Styling Metadata Cataloging

Verification? How do we know if XML is valid?

Writing Complex XML

What’s Coming out of the Laboratory in Surrey?

Server

REST API

REST API makes it much easier to leverage the services of FME Server.

51

FME Server Security

Repository Level Security

Define Repositories that users can access

Define type of access that they have

FME Server Scheduler

Scheduling capabilities are part of FME Server 2011

Slide 54

Scheduler Demo

Future-Proof Your Investment

Future-Proof Your Investment

What will tomorrow bring?

The evolution of current formats, brand new formats and platforms, and entirely new data types

Point cloud data is here

Count on FME to keep up with industry and format changes

With FME, you’ll beready

Pause-café

Pause

Témoignage utilisateur:Utilisation de FME dans le cadre d’un projet de vectorisation

Judith-Marie BeaudoinChargée de projet recherche et développement, Groupe Trifide

Utilisation de FME dans le cadre d’un projet de vectorisation

Présenté par Judith-Marie Beaudoin

Chargée de projet Recherche et DéveloppementGroupe Trifide

Présentation

Mise en contexte du projet I

Stratégie de développement

Exemple de programme FME réalisé

Mise en contexte du projet I – Présentation globale

Format MID/MIF

MIF:VERSION 300DELIMITER "," CoordSys Earth Projection 3, 33, "m", 3, 46.5, 44, 49, 700000, 6600000 COLUMNS 3 ID char(10) NATTRAC char(40) INSEE char(5)DATALINE 898573.99 6502546.77 898594.64 6502590.83LINE 897119.97 6504607.15 897063.87 6504637.44LINE 898984.76 6501855.8 899031.22 6501877.82

MID:HL392,,38124HL382,,38124HL407,,38124HL401,,38124

Projet I : Vectorisation de plan et association de données descriptives

Mise en contexte du projet I – Présentation globale

Données de base– Plans papier– Réglementation – Données cadastrales vectorielles (MapInfo)

Livrables– MID/MIF– PDF

Mise en contexte du projet I – Étapes de réalisation

Numérisation des plans papier

Géoréférencement des plans numériques– MicroStation V8i Descartes (Bentley)

Transformation affine sur la couche vectorielle cadastrale

Vectorisation des plans numériques– MicroStation V8 (Bentley)

Vectorisation manuel à l’aide de la couche vectorielle cadastrale

Mise en contexte du projet I – Étapes de réalisation

Peuplement de la base de données– MicroStation V8 (Bentley) associé à une base de données

Access Peuplement manuel les attributs variables Peuplement automatique les attributs constants

Livraison des données

Numérisation

Géoréférencement Vectorisation Validation de la structure

Peuplement BDValidation de la BD

Création des MID/MIF

Livraison

Étapes de réalisation incluant les programmes FME :

Cadastre.dgn

Mise en contexte du projet I – Principes méthodologiques exigés Numérisation vectorielle complète et représentative

du plan original

Respect de la géométrie des éléments associés à chaque classe d’objet– Classes ponctuelles– Classes textuelles– Classes linéaires– Classes surfaciques– Classes sémantiques

Un élément linéaire peut être une ligne ou une polyligne ouverte

Un élément surfacique doit être une polyligne fermée, sans boucle

Mise en contexte du projet I – Principes méthodologiques exigés Règles topologiques exigée pour les éléments de la

sous-classe « zone » (classe surfacique)– Pas de chevauchement– Recouvrement total du territoire

Chevauchement

Trou

A

Exclusion de A

A

B

La notion de région permet d’éviter le chevauchement.

Mise en contexte du projet I – Principes méthodologiques exigés Règles topologiques exigées pour les éléments de la sous-classe « zone » (classe

surfacique)– Partage entre les limites de cette classe – Partage entre les limites de cette classe et les données

cadastrales

AB

Les étoiles oranges représentent les sommets

partagés entre la zone A et B.

Le client désirait l’indépendance entre les

surfaces, malgré le partage. C’est pourquoi, les segments entre les étoiles oranges ont été vectorisés deux fois: une fois pour la zone A et une fois

pour la zone B.

Mise en contexte du projet I – Principes méthodologiques exigés

Toutes limites communes devront être partagées

Attributs et format d’attribut prédéterminés pour les données descriptives pour chaque classe d’objet

Livraison des données en centimètre

Conclusion : beaucoup de géométrie et de relations topologiques à valider (particulièrement pour la sous-classe surfacique « zone »)

Stratégie de développement – analyse des besoins Besoin d’outils pour faciliter la numérisation

– partage des éléments

Besoin d’outils pour remplir la base de données

Besoin d’outils de validation– Analyse de la géométrie des éléments vectorisés

Géométrie versus classe– Analyses topologiques entres les éléments vectorisés

Relation de chevauchement, d’égalité, de proximité, etc.– Analyse du contenu d’une BD

Reconnaissance des attributs et de leur format

Besoin de convertir les format .dgn et .mdb en format MID/MIF

Stratégie de développement – outils sélectionnés mdl – outils de manipulation

– Application déjà disponible pour la production Partage des éléments Remplir les attributs de la BD

FME – outils de validation– Temps de programmations réduits vs mdl

Librairie de fonctions d’analyse spatiale existante– Réponds aux besoins suivants:

Toutes les analyses spatiales Permet de lire une BD et son contenu Permet d’analyser la géométrie des éléments Permet la création du format MID/MIF

– Temps de formation nul pour les techniciens – standard de programmation en place et connu

– Volume de données raisonnable

Exemple de programme FME réalisé pour le projet I

Exemple de programme FME réalisé pour le projet I Programme de validation de la structuration des

éléments de la sous-classe « zone » – Beaucoup d’exigence du client quant aux relations

topologiques au sein des éléments de cette sous-classe– Principale sous-classe présente sur les plans à vectoriser

Présente sur toutes les cartes Couvre l’ensemble du territoire

Présentation de l’algorithme général

Présentation et précision sur le fichier de sortie du worbench

Présentation des résultats des algorithmes particuliers composants le workbench

Validation de la structuration de la sous-classe « zone »

Fichier de travail.dgn

Cadastre.dgn

Vérifie la géométrie de tous les éléments

Isole les éléments de la sous-classe ZONE

correcte

incorrecte

Recherche leschevauchements

Recherche lestrous

Vérifie le partageAvec la limite

cadastrale

Error_struc.dgn

ZONE

chevauchement

trous

Problème de partage

Algorithme général:

Validation de la structuration de la sous-classe « zone » Précision sur le fichier de sortie error_struc.dgn

– Pas de correction automatique, modification du fichier de travail (.dgn) d’entrée, car besoin du technicien pour l’interprétation de l’erreur

– Circonscrire l’erreur au maximum Un niveau et une couleur pour chaque type d’erreur Extraire seulement les sommets ou les segments en erreur et non pas l’élément dans son ensemble Présence d’un texte explicatif pour chaque erreur

– Nombre d’erreur raisonnable…

Validation de la structuration de la sous-classe « zone » Quelques transformers utilisés lors de la vérification

de la géométrie de tous les éléments :– AttributeFilter (séparation des classes) – GeometryFilter (séparation des géométries)– PolygonBuilder (polylignes fermées deviennent des

polygones)– LineJoiner (création de polylignes ouvertes)– SpatialRelator (analyses topologiques)

Recherche des éléments en double et les polygones ouvert

Validation de la structuration de la sous-classe « zone »

Moins de 8 mm d’ouverture Extraction des segments qui ne seDifficile à trouver par une analyse touchent pas (circonscrire l’erreur)visuel

Validation de la structuration de la sous-classe « zone » Quelques transformers utilisés lors de la recherche des

chevauchements entre les zones :– AreaBuilder (création de régions)– Chopper (extraction des sommets)– SpatialRelator (analyses topologiques)

Validation de la structuration de la sous-classe « zone »Éléments mal partagés Création d’une ellipse et d’un

= chevauchement texte d’erreur sur les sommets qui chevauchent une surface

Validation de la structuration de la sous-classe « zone » Quelques transformers utilisés lors de la recherche

des trous entre les zones :– Chopper (extraction des sommets)– SpatialRelator (analyses topologiques)– PointOnAreaOverlay (analyses topologiques)

Pas le même nombre de sommets création d’une ellipse et d’un texte sur le = « trou » sommet solitaire

Validation de la structuration de la sous-classe « zone » Quelques transformers utilisés lors de la vérification

du partage avec la limite cadastrale :– GeometryCoercer (modification de la géométrie)– Chopper (extraction des sommets)– NeighborFinder (analyses topologiques)– PointOnPointOverlay (analyses topologiques)

Validation de la structuration de la sous-classe « zone »

Erreur : Il n’y a pas de sommet au Erreur corrigée: il y a un sommet au

croisement avec la limite cadastrale croisement avec la limite cadastrale (rouge) (rouge)

Validation de la structuration de la sous-classe « zone » Résultat de la vectorisation

Questions ?

Merci!

Judith-Marie Beaudoinjudith-marie.beaudoin@groupetrifide.com

Standard de programmation

Interface utilisateur– Intrants– Custom transformer– Extrants– Published parameters

Utilisation des custom transformer permet de structurer le programme selon l’algorithme

Utilisation du viewer seulement pour souligné un problème à l’utilisateur lors du traitement

Présence de commentaire comme dans n’importe quel programme

Présentation technique

Yves St-JulienSpécialiste d’applications, Solutions Consortech

The Armoury

Flow Control Filters, Testers and Mappers

Dynamic Workflows Schema Mapping Transformers Dynamic Schemas

Most Popular Gadgets

Top Gadgets

Flow ControlFilters, Testers & Mappers

Transformers that control the flow of data in your workspace

Testers Tester StringSearcher

Filters TestFilter AttributeFilter AtributeRangeFilter

Mappers AttributeValueMapper AttributeRangeMapper SchemaMapper Example workspace

Dynamic Workflows

Dynamic SchemaIntroduced in FME 2010 Improved in FME 2011

SchemaMapper Dynamic Schemas

Review traditional workspaces

Examples of Dynamic Workflows

Dynamic workspaces are a way of providing maximum translation flexibility and minimizing the

longer term maintenance of workspaces

Schema Mapping

What is a Schema? Feature Types

(Tables, Feature Classes, Layers, Collections, Levels…)

Attributes (and their types: char, int, float, number, blob)

Domains, Subtypes, Enumerated Lists Geometry

(point, text, symbol, line, area, multi-part, …)

Reader Schema:what we have Writer Schema: what we want

Schema Mapping

What is Schema Mapping? from “what we have” to “what we want” Renaming feature types (WATERLINES D-WATER-DW~~) Renaming attributes (PR_ZONE Zone) Creating attributes (FCode = AQ113) Domain mapping

Schema map is usually defined in a crosswalk table

SYMCODE Material

7 PVC251 Cast Iron

183 Copper G1213 Copper G2

Schema Mapping

Schema mapping in FME Workbench: Feature Type renaming AttributeCopier AttributeCreator AttributeValueMapper

What’s the problem? Very repppppetitiveHarder to maintain

What we need is a “Swiss Army” gadget for schema mapping…

Example workspace

The Armoury

SchemaMapper

SchemaMapper: Combines: Feature Type renaming,

AttributeCopier, AttributeCreator, AttributeValueMapper and others…

Problem:The workspace is still very repppppetitive

SchemaMapper actions:o Filtero Feature Type Mapo Attribute Mapo New Attribute

Example

Traditional Workspaces(Static Schema)

Workspaces are tightly bound to the source and destination schemas

This works well when: Each feature type requires unique transformation Feature types interact (i.e. merged data, spatial overlap)

Not so well for: A relatively simple transformation

that is applied to all feature types Workspace maintenance – it can

be tedious

These are the pros & cons of workspace example

Static Schema Example

Dynamic Schemas

Used when: Simple transformations applied

to all feature types Reader schema is not

predictable or may vary Reader or writer format might

vary Long term maintenance of the

workspace is required

Dynamic Schema breaks the dependence on the reader and writer schemas

Example – Dynamic Workflow

Example Clipper workspace

Dynamic Workflow

What can be made dynamic? Schema: Reader Feature Types

Read any set of feature types from a dataset Schema: Writer Feature Types

Mirror the source feature types on the destination Schema: Attributes

Read any set of attributes on source feature types and mirror them on the writer feature types

Format: Generic Reader and Generic Writer Select the reader or writer format at run time

Review of Workspace

Summary

Dynamic workspaces give maximum flexibility for minimum effort

Dynamic Schema can handle source data with any schema

Dynamic Writer can be used to minimize the workspace complexity

The Generic reader or writer can process data in nearly any format

Dîner-libre: Consultez un expert

Dîner

New Superpowers for FME Server

Mita Hajirakr , FME desktop Support Manager, Safe SoftwareYves St-Julien, Spécialiste d’applications, Solutions Consortech

Mita Hajirakr, FME Desktop Support Manager, Safe Software

Session Overview

Why FME Server?

Scenario Example

The Battle for Resources…CADwoman vs. GISguardian

What Are They Battling Over…

CADwoman wants to run: DWG Data validation & Oracle Loader

workspace

GISguardian wants to run: Water pipe network validation workspace Database to DWG data conversion workspace

Safe Products…

Why FME Server?

FME Server is a scalable platform that offers flexible spatial data distribution and loading services

FME Server allows you to run FME Workspaces using a variety of different services

FME Server uses thesame FME Engine thatunderlies the FME Desktop application

Why FME Server?

How FME Server can meet your needs:

Data Distribution Data Download Service

Live Data Streams Data Streaming Service

Upload and Validation Data Upload Service

Centralize Data Transformation Job Submitter Service

FME Server in Action!

Live Demo: Arkansas GeoStor

How Can We Stream Data?

Streaming Service Data to PDF Anyone can view a PDF file! See www.fmepedia.com example

FME Workbench: Author Workflows for FME Server

Use the proven power of FME Workbench to author workflows for FME Server

FME Server Works with FME Desktop

FME DesktopAuthor and run spatial transformation tasks

FME ServerRun and share spatial transformation capabilities

114

Scenario

Add new water lines to water distribution network; validate the network

GISguardian: GIS Analyst tasks Validate network Maintain workspaces

CADwoman: CAD Contractor tasks Validate CAD data Upload clean CAD data

Summary

FME Workspaces for different tasks: CAD validation & data loading

OGCGeometryValidator GIS data validation

NetworkTopologyCalculator GIS data distribution

Scripted Published Parameters FeatureReader

FME Server Makes workspaces accessible to different users Simplifies workspace maintenance Scalability Security allows different roles

121

Introducing CADwomanCAD to GIS / GIS to CAD

Mita H

Mita Hajirakr, FME Desktop Support Manager, Safe Software

CAD & GIS: Differences

What’s important to CAD users? Visual clarity / Editing tools

Symbology Labels & white space Dimensions

Which CAD Formats? AutoCAD DWG AutoCAD Map 3D AutoCAD Civil 3D MicroStation PLS-CADD (XML) etc…

CAD & GIS: Differences

Example: GIS as-built CAD Design GIS Proposed

What drives the GIS? Data structure / model

Consistency Attribution / domains Location Connectivity Analysis

GIS to CAD

GIS CAD Key Points: Create AutoCAD blocks or MicroStation cells Preserve attributes as object data, tags or text Translate the annotation (text justification) Schema transformation (i.e. National CAD

Standard, etc.)

Example Symbolizing with DWGStyler

CAD to GIS

CAD GIS Preserve attribution Data improvement

Create connectivity (snapping) Recover attribution from text or blocks

Data quality Layer / Level consistency Valid attributes

Example Merging text onto geometry

Storm: The Power of Data in the Cloud

Mita HajirakrFME Desktop Support Manager, Safe Software

The Power of the Cloud

Storm uses the power of the cloud to combat data villains

Supported Cloud Data Storage

Engine

Advantages of Data in the Cloud

Data available to you and others,regardless of location You control who has access In some cases you control where access

is from too

Reduced administration Backup strategy simplified No hardware maintenance

Advantages of Data in the Cloud cont…

Scalability The cloud service looks after all scaling issues

Cost savings Hardware, administration Need to verify as communication costs

can be more

Disadvantages of Data in the Cloud

Data available to you and others,regardless of location Make sure you control access

Scalability Performance is not entirely under your control

Disadvantages of Data in the Cloud cont…

Cost savings Communication costs can be significant Best strategy is to be totally in or totally out Keeping a copy local and remote for a large

amount of data can be expensive

Cloud Database Demo:SQL Server Azure Demo

Read/Write to Azure and SQL Azure

Check out our blog posting here

Amazon S3 Cloud Demo

DropBox Data Sharing Demo

Bulk Up Your Database:FME and Database Loading

Mita HajirakrFME Desktop Support Manager, Safe Software

Data Updates

What’s the big deal about bulking up your databases?

Choices: Truncate & load Incremental Updates

Data Updates

The key to successful database updates: Persistent key History or journal table

Database and Table Level Updates

Reloading Everything Updates Only Writing

Feature Level Updates

Using Format Attributes fme_db_operation fme_where or

database Key Column

Transformers for Databases

Joiner SQLCreator SQLExecutor FeatureReader ArcSDEQuerier OracleQuerier

Database Update Example

Update Address Points for selected Zip Code boundaries Read the Zip Codes Spatial query for the Address Point updates

(based on the zip code boundary) Create the fme_db_operation attribute Write to database with

INSERT | UPDATE | DELETE Initial Data Example

Tools for RasterMan

Mita Hajirakr,FME Desktop Support Manager, Safe Software

Who is RasterMan?

RasterMan is a superhero that battles raster problems of all sizes

With FME you too can tackle raster data challenges

This is not RasterMan!

Raster Challenges

Challenge #1: Translate & Reproject Challenge #2: Mosaic Challenge #3: Tile or Clip Challenge #4: Drape

Challenge #1Translate & Reproject

More than 50 raster formats to choose from ArcSDE&GeoDatabase Raster CADRG ECW Geodatabase Raster GIF / PNG JPEG / JPEG2000 Oracle Spatial GeoRaster etc…

Superpower #1 FME Raster Formats List

ADRG ASRPAircom ENTERPRISE BMPBathymetric Attributed Grid

(BAG)CADRG CDED DMDFDTEDECWENVI .hdr RAW RasterER Mapper ERSESRI .hdr RAW RasterESRI ASCII GridESRI ArcGIS Binary Grid ESRI ArcGIS Image Server

ESRI ArcSDE Raster CatalogESRI ArcSDE Raster MapESRI Geodatabase Raster GIF GeoTIFFGolden Software Surfer

Binary GridHierarchical Data Format 4

(HDF4) JPEGJPEG 2000 Landmark Z-MAPLeica Geosystems ERDAS

IMAGINELeica Geosystems ERDAS

RAWMaptech BSB Nautical ChartMarconi PlaNet

MrSID NETCDFNITF Oracle Spatial GeoRasterPCI Geomatics Database FilePNGR Statistical Raster (RDATA)RADARSAT-2 XMLShuttle Radar Topography

Mission Height (SRTM HGT)

TIFF USGS DEM Vertical Mapper Grid (NGrid)Web Map ServiceX11 Pixmap (XPM)

Challenge #1Translate & Reproject

Challenge #2 - Mosaic

Challenge #3 - Clip

Challenge #4 - Tile

Challenge #5 – Web Tiling

Challenge #6 - Drape

Resources

Dmitri’s Raster Studio http://bit.ly/dmitri_raster 20+ examples, including:

Non-rectangular raster clipping Point clouds Raster to 3D translation RasterExpressionEvaluator Rasterization for Web Mapping Platforms Raster Palette Manipulations Avoiding black edges while reprojectiong rasters Raster Mask for KML output And more!

Mita HajirakrFME Desktop Support Manager, Safe Software

Battling the Forces of XML

Why is XML So Difficult?

XML is a language Describes the data structures as well as

content

Capable of defining complex data structures Hierarchical data structures Non relational data structures

GIS are usually based on relational data models

FME 2011 Power Unleashed:The Power of XML-MEN

Safe XML Strategy

Leverage industry XML tools such as XSLT and XQuery Users must know these complex technologies.

Safe XML Strategy

Higher Level Function Minimal understanding

of XML required

Reading XML with FME

GML 3.2 & XSD (XML Schema) Most GML can be interpreted if FME can use the XSD This will work if the OGC spec. is followed and internal

feature constructs are not overly complex

Xfmap Script for mapping XML structure to FME features Powerful but not for the faint of heart

Xquery W3C compliant Xquery Map XML tags to features or attributes using

XQueryExploder & XQueryExtractor Powerful but not for the faint of heart

162

XML Formats - Reading

163

FME 2011 Power Unleashed:XML Reading Transformers

XQueryExploder Split XML documents into

“features” using XQuery

XQueryExtractor Extract attributes and

other structures using XQuery

XMLFeatureMapper Construct “features” from

XML using xfmaps.

164

Require XQuery or xfMap knowledge!!!

FME 2011 Power Unleashed:XML Reading Made Easier

FME 2011 Power Unleashed:XML Reading Transformers

XMLFragmenter Split XML documents

into manageable “features”

Includes “flatten option” in FME 2011

166

No XQuery or xfMap needed!!!

FME 2011 Power Unleashed:XML Reading Demo

167

Writing XML with FME

GML standard formats FME supports a wide range of GML profiles

(GML SF0, OS MasterMap, CityGML, etc.)

GML 3.2.1 & XSLT Apply an XSLT (Extensible Stylesheet

Language Transformations) to the output

Xquery W3C compliant Xquery Map FME features to XML templates using

XMLTemplater transformer

168

XML Formats - Writing

169

FME 2011 Power Unleashed:XML Writing Made Easier

FME 2011 Power Unleashed:XML Writing Transformers

Writing XMLTemplator

Convert FME attributes to XML XMLFormatter

Formats and beautifies XML documents.

171

Writing XML - XMLTemplater

172

<feederObject objectID="{fme:get-attribute("objectID")}"> <feederName>{fme:get-attribute("feederName")}</feederName> <feederNo>{fme:get-attribute("feederNo")}</feederNo> <eaLoc>{fme:get-attribute("eaLoc")}</eaLoc></feederObject>

Example: XML Object Hierarchy

Creating an electricsubstation XML: Coordinatesand Attributesand contains Feeder(s) contain

Attributes

XML Document

Substation

Feeder A

Feeder B

XML Writing Demo

Sample XML: Source of XML

templates Add Xquery: replace attribute

values with Xquery statements

Sample XML <substation objectID="Vancouver Substation"> <mapLocation> <coord> <X>669170.169</X> <Y>1000199.534</Y> </coord> </mapLocation> <facilityID>5E67B377</facilityID> <sectionID>RPG123</sectionID> <phaseCode>ABC</phaseCode> <feederList> <feederObject objectID="8-64"> <feederName>10-24</feederName> <feederNo>8763</feederNo> <eaLoc>9D2D</eaLoc> </feederObject> <feederObject objectID="8-65"> <feederName>10-25</feederName> <feederNo>8766</feederNo> <eaLoc>9D3F</eaLoc> </feederObject> </feederList> <name>Vancouver Central</name> </substation>

<feederObject objectID="{fme:get-attribute("objectID")}"> <feederName>{fme:get-attribute("feederName")}</feederName> <feederNo>{fme:get-attribute("feederNo")}</feederNo> <eaLoc>{fme:get-attribute("eaLoc")}</eaLoc></feederObject>

XML Writing Demo

XML Writing:Deeply Nested Demo

There was an old lady who swallowed a fly!

FME 2011 Power Unleashed:Other XML Transformers

XMLValidator Ensures XML is valid. Useful for reading

and writing

XMLFormatterFormats and beautifies XML documents.

177

Spatial Data at Your Command

FME 2011: Take Command of Your Spatial Data

New format support enables you to work with a whole new world of data

Easier than ever to get started and use Faster than before

Merci!

Questions? Techniques

Yves St-Julien: yvess@consortech.com

Ventes Louise Doyon:louised@consortech.com Gerry McCoubrey: gerrym@consortech.com

www.consortech.com 1-888-276-0543