Rescue, management, and Rescue, management, and evaluation of marine climate dataevaluation of marine climate data

Scott Woodruff1 and Catherine Marzin2

1) NOAA Earth System Research Laboratory, USAand Chair, JCOMM Expert Team on Marine Climatology

2) NOAA Office of the National Marine Sanctuaries, USA

International Workshop on Climate and Oceanic FisheriesInternational Workshop on Climate and Oceanic FisheriesRarotongaRarotonga, Cook , Cook Islands, 3Islands, 3‐‐5 October 2011 5 October 2011 

Topics

In situ marine climate 

data:

(1) Rescue

(2) Management

(3) Evaluation

RECLAIM

Modern  JCOMM marine meteorological observing system – August 2011

Evolution of the Marine Climate Data System

By platform mixture

By variable

TOTAL

Marine Climate Datanear Rarotonga

Grey=ships, dark blue=moored buoys, green=drifting buoys, light blue=oceanographic

February 2000

February 1980

Overview: International Comprehensive Ocean‐Atmosphere Data Set

Domain‐specific archive for marine met. data• like World Ocean Database (WOD) for subsurface

Release 2.5 (R2.5) spanning 1662‐2007 • Major delayed‐mode update completed 2009• Plus “Preliminary” near‐real‐time updates

Data, metadata, and product access:http://icoads.noaa.gov/

Woodruff, S.D., S.J. Worley, S.J. Lubker, Z. Ji, J.E. Freeman, D.I. Berry, P. Brohan, E.C. Kent, R.W. Reynolds, S.R. Smith, and C. Wilkinson, 2011: ICOADS Release 2.5: Extensions and Enhancements to the Surface Marine Meteorological Archive. Int. J. Climatol., 31, 951‐967.

OHCA curves (Lyman et al. 2010)

IMMA: A Robust and Extensible IMMA: A Robust and Extensible Observational Data FormatObservational Data Format

. . .

Key requirement: attm of original data forms: experience 

demonstrates format translations 

frequently contain errors or omissions

core icoads immt meta model suppl

Advantage:exact copy of original 

permits re‐translation and cross‐checks at any time

Historical data mixture:dominated by national ship data collections

Thompson et al. (2008) Nature, described a discontinuity in global mean surface 

temperature associated with abrupt WW2 data mixture changes

US Maury Collection (1784‐1893); original microfilm records also utilized by Tim Smith 

et al. for whaling information

Recent marine platform mixture• Voluntary Observing Ships (VOS)• Drifting and moored buoys, and other marine platform types• Plus VOS metadata (with help from UK NOCS)

The official Release 2.5 period (1662‐2007) is 

now extended monthly with “preliminary”real‐time data and 

products based on GTS dataWMO Pub. 47 VOS metadata 1966‐2007

1955‐65 problematic

Examples of data obtained from fishing vessels:“deck” (source) numbers; numbers of marine reports

• 187 –– Japanese Whaling (punched cards obtained from JMA c. 1960s): 1946‐56; 10K

• 761 –– Japanese Whaling forms (obtained in 1997 via M.I.T).: 1946‐84; 20K

• 188 –– Norwegian Antarctic Whaling Factory Ships: 1932‐39; 2K

• 667 –– Inter‐American Tropical Tuna Commission: 1971‐97; 1.1M• Semi‐independent observations by 

fishermen + NOAA/NMFS observers• 899 –– South African Whaling: 1900‐55; 64K

These digital sources only incl. marine met. data; no biological/catch data

Arctic Drift Stations: 1952-76

Extended WWI UK Royal Navy (RN) Ship's Logs: 1914-23

US Lightship Collections: 1819-1982

US Fish Commission Fisheries vessel survey logs: c. 1877-1948

Greenwich Mean Noon (GMN)/Simultaneous Obs.: c. 1874-1947

Arctic Norwegian Logbook Data: 1867-1912; 125K

Finnish Lightvessel Data: 1900-16, 1919-57; 250K

Swedish Lightvessel Data: 1860-64, 1879-1922; 198K

DWD Historical Archive: 1850-1939; ~11.2M

German Maury Collection: 1845-67; 544K

KNMI Extract Journals: 1826-92; 650K (daily)

UK Hull Merchant/Whaling Logbooks: 1798-1861 English East India Co.: 1789-1834; ~273K

Printed Met. Data digit. by ACRE: ~1700-1907

Data Rescue: Status and PlansData Rescue: Status and PlansMajor Major (past) (past) contributions contributions from NOAA/from NOAA/CDMPCDMP

RECoveryRECovery of Logbooks Aof Logbooks And nd International Marine Data (RECLAIM) International Marine Data (RECLAIM) ProjectProjectAtmospheric Atmospheric Circulation Reconstructions over the Earth (ACRECirculation Reconstructions over the Earth (ACRE))

GreenGreen =digitized 

YellowYellow =partially

RedRed =undigitized

Note: all require translation

R2.5

R2.4

RECLAIM

Data Rescue Steps and Best PracticesData Rescue Steps and Best Practices• All these steps are important, 

but “Crowdsourcing” is a new more affordable (b) option

• IMMA translation (c) has generally been under‐resourced – but serves as a critical foundation for applications

• Concurrent processing (“pipelining”) through steps (a)‐(c) can facilitate data evaluation and access

(a) Imaging

(b) Digitizing (keying)

(c) IMMA translation

Wilkinson, C., S.D. Woodruff, P. Brohan, S. Claesson, E. Freeman, F. Koek, S.J. Lubker, C. Marzin, and D. Wheeler, 2011: RECovery of Logbooks And International Marine Data: The RECLAIM Project. Int. J. Climatol., 31, 968‐979.

RECLAIM

UK Royal Navy WW1 Era Ship’s Logs(imaged, under digitization and translation)

Via Crowdsourcing(“Citizen Science”)www.oldweather.org

669K pages and 171 ships already been digitized: ~88% of collection

Short  video—at  end  of presentation  if  time  permits—courtesy  of  UK  National Maritime Museum

SpeciesRichness

Nature of BottomNature 

of Bottom

PositionPosition

Air Temperatur

e

Air Temperatur

eSea Surface Temperatur

e

Sea Surface Temperatur

e

SalinitySalinity

BarometerBarometer

Cloud CoverCloud Cover

WindWind

Bottom Temperatur

e

Bottom Temperatur

e

DateDate

DepthDepth

Atmospheric and 

Oceanographic Data

US US Fish Fish Commission Commission Scientific Survey Scientific Survey LogbooksLogbooks18771877‐‐1948 1948 (imaged(imaged, proposed , proposed to be digitized)to be digitized)

“Obtained; Sea Urchins, 1. Starfish, Rock Crabs, Hermit Crabs, and shells.  A few skates and flounders a number of Pectens(scallops)”

“Obtained; Sea Urchins, 1. Starfish, Rock Crabs, Hermit Crabs, and shells.  A few skates and flounders a number of Pectens(scallops)”

Dredging InstrumentDredging Instrument

Ecological Data

Expeditions of the RV Albatross• Alaska Salmon Investigation ‐ Jun. to Aug. 1903• Biological Survey of San Francisco ‐ Jan. to Apr. 1912• California Coast Expedition ‐Mar. Sep. 1904• Eastern Pacific Expedition‐ Oct. 1904 to Feb. 1905• Hawaiian Explorations ‐Mar. to Aug. 1902• Lower California Cruise ‐Mar to Apr. 1911• Northwestern Pacific Expedition ‐ Jun. to Oct. 1906• Philippines Expedition ‐ Oct. 1907 to Jan. 1910o Other ‐ 1883‐1901

US Fish Commission, predecessor to 

NOAA/NMFS, was created in 1872 to 

understand why fish populations were 

declining

German Maury Collection: 1845German Maury Collection: 1845‐‐67; 544K67; 544K(digitized, under QC and translation)(digitized, under QC and translation)

Spatial/temporal QC is requiring large resources, but will ultimately augment 

global C19th spatial coverage

• Originals held at British Library – imaged for preservation, and to broaden access

• Logbooks (1.1K) selected to capture early daily instrumental weather data

English East India Co. Logs ~1789‐1834(imaged and digitized, under translation)

The Indiaman Thomas Coutts by James Miller Huggins, c. 1836. By courtesy of National Maritime Museum, London

Potential new “Best Practices” for Marine Climate Data Management

Appropriate stewardship and archival of data and metadata: both original and derived records

Seeking data continuity (as feasible) in the observing system, in the processing of observations, and in the generation of products

Ensuring convenient, free, and unrestricted availability of observations and products for research

Ref. GCOS Climate Monitoring Principle 4:“The quality and homogeneity of data should be regularly assessed as a part of routine operations”

ICOADS Value‐Added Databasehttp://icoads.noaa.gov/ivad/

Project aim: Address our current inability to trace value‐added 

improvements back to individual ICOADS observations through:

establishment of DBMS to support development of value‐added records and facilitate user access;implementation of supporting modifications to IMMA formatscientifically demonstrate the impact of value‐added records on air‐sea flux estimates & common climate indicators

Limited funding for FY2011‐13 obtained from NOAA Climate Program OfficeNOAA (ESRL and NCDC), FSU/COAPS, and NCAR

Release 2.6.0 Plans

Data ingest cutoff: ~April 2012• Available historical inputs – in IMMA format

A variety of data corrections • Will incorporate near‐surface data from the updated WOD09

IMMA format improvements in conjunction with IVAD Other proposed new attachments:

Physical Oceanography (Ocn) – near surface only, w/ SSS Automated high‐resolution instrumentation (Auto) Reanalysis feedbacks

to be developed later w/ reanalysis projects Platform tracking (Track)

MARCDAT‐IIIThird International Workshop on Advances in the Use of Historical Marine Climate Data (MARCDAT‐III),2‐6 May 2011, Frascati, Italy

Aim: to showcase and build recent advances in marine climatology: Evaluation, utilization and improvement of the over 300‐year record of ICOADS (e.g. using satellite data) Development of multi‐decadal, homogeneous gridded datasetsCharacterization of uncertainty and bias in marine obs. and products 

HadISST, April 2010 (Rayner et al. 2003)

Global mean sea level (IPCC, 2007)

International Data Management Issues

JCOMM Marine Climate Data System (MCDS) Workshop28 November‐2 December 2011, Hamburg Germany 

Conclusions (i)Historical records do not necessarily have a clean 

disciplinary fit (e.g. ecology, meteorology, oceanography) • Most cost‐effective (if possible) to mine records for their full 

environmental potential

How to quantify data rescue benefits (e.g. reanalyses, sea surface temperature, ecology) remains a challenge

Assessing the impact of climatic change on natural resources – need to begin making the historical linkages

Operationally, can WMO (and JCOMM) enhance interdisciplinary observations and data management?• E.g. encourage met/ocean obs from fishing fleets?

Conclusions (ii)

Regular MARCDAT/CLIMAR workshops (~every 2 yr)• Data focus; help drive progress & develop shared ownership• Overall “CLIMAR” initiative

http://www.marineclimatology.net/web/• Recommending a 10‐year action plan for improved integration 

and accessibility of climatological observations

Involvement with satellite projects and new “surface temperature” (land) initiative offers an important new avenue for closer linkages between communities

• E.g. interoperable tracking of data provenance (UID)

Thank YouThank You

Scott.D.Woodruff@noaa.govScott.D.Woodruff@noaa.govCatherine.Marzin@Catherine.Marzin@noaa.govnoaa.gov

Joe Hoyt/NOAA, Thunder Bay NMSJoe Hoyt/NOAA, Thunder Bay NMS