ABCD Data Provider Workshop Berlin - january 2004 M.Döring, A. Hahn, W. Lipp & J. de la Torre Dept. of Biodiversity Informatics and Laboratories Botanical

ABCD Data Provider Workshop

Berlin - january 2004

M.Döring, A. Hahn, W. Lipp & J. de la Torre

Dept. of Biodiversity Informatics and LaboratoriesBotanical Garden and Botanical Museum Berlin-Dahlem, Freie Universität Berlin

BioCASE - Resource Development for a Biological Collection Information Service in Europe – BGBM Biodiversity Informatics


Provider Training - Ziele

Lernen Sie …

• Wie BioCASE funktioniert,

• Wo Hilfstexte zu finden sind,

• Wo sich die benötigte Software befindet,

• Was wie installiert werden soll,

• Und wen Sie fragen können.


Provider Training – System Überblick

• BioCASE Datenfluss

• Provider Software Merkmale

• Software Voraussetzungen

• Einführung in ABCD

Fragen


Provider Training – Demo Installation

• Python Installation

• Webserver Konfiguration

• Installation der Provider Softwareund benötigter Python Bibliotheken

• Wrapper Konfiguration

• Testen der Software

• Anschluss an das BioCASE Netzwerk

Fragen


Die BioCASE System Architektur


BioCASE „consumer“ view

Query

User interface client (servlet)

Response

CORMregistry

UI (html)

Unitloader (java)

A P I

ProviderProviderProvider

Presentation level

Networking level

1

2

34

5

JDBC

JAVI API

HTTP & XML


BioCASE provider view

Unit DataProvider

unit wrapperXML / CGI

Provider Domain

Client

Client DomainInternet

Queryusing ABCD concepts

BioCASE Protocol

XML

http

Response

BioCASE Protocol

XML

ABCD SchemaABCDdata

XML

httpPSF

CMF

configurationXML files

SQL


Provider Software - Kompatibilität

• Läuft unter Windows und Unix System (Linux, Mac OS X)

• Arbeitet mit vielen relationalen SQL Datenbank Systemen• z.Z.: Access , Filemaker, MySQL , Oracle, PostgreSQL , SQL

Server

• Generisches Software Design erlaubt die Unterstützung beliebiger Datenformate neben ABCD, z.B. Darwin Core

• Unterstützt Unicode


Software Voraussetzungen

1. Ein dauerhaft ans Internet angeschlossener Webserver(e.g. Apache or Microsoft IIS)

2. Eine SQL fähige Sammlungs Datenbank

...


Provider Software Homepage

Unter www.biocase.org/provider/ finden Sie

• Provider Software User Guide

• BioCASE Provider Software (aktuell v1.5)

• Einführende Texte

Für detailiertere Beschreibungen aller BioCASE Software Module:

www.biocase.org/dev/


Access to Biological Collection Data (1)

Beinhaltet Daten zu:

• Einzelnen Belegen oder Beobachtungen

• Bestimmung(en) samt wissenschaftlicher Namen

• Der Sammlung als Ganzes

• Herkunft, Eigentümer und IPR


Access to Biological Collection Data (2)

Grundsätzliche Design Prinzipien:

• Umfasst alle biologischen Sammlungen (lebende, konservierte sowie Beobachtungen)

• Variable Atomisierung schafft Flexibilität bei Bereitstellung unterschiedlich stark strukturierter Daten


Provider SoftwareDemo Installation


Installation, Überblick (1)

1. Installation von Python Version 2.3

2. Konfiguration des Webservers für Python CGIs

3. Installation der Provider Software auf dem Webserverand Einstellung der Sicherheitsrechte

4. Testen der Python Installation mit dem “cgi-test” Paket der Provider Software

5. Installation benötigter Python Bibliotheken und optionaler Datenbank Treiber


Installation, Überblick (2)

6. Vorbereitung der Datenbank für ABCD.Evtl Anlegen einer Datenbank Kopie nur zur Veröffentlichung

7. Konfiguration des Datenbak Wrappersmit Hilfe des Konfigurations Tools.

8. Testen der neuen ABCD Datenquelle.

9. Anpassen des lokalen “query-tools” (optional).


Software Installation

Demo [1-5]


Datenbank Vorbereitungen für ABCD (1)

• Auswahl der zu veröffentlichen Datensätze

• Konkatenierung von Daten

• Konvertierung von Datentypen, z.B. Datumsformate

• Erzeugung von Views oder einer “statischen” Tabelle

Erwägen Sie es eine Kopie der Datenbank anzulegen, um Ihre Daten zu veröffentlichen!


Datenbank Vorbereitungen für ABCD (2)

Erzeugen der obligatorischen und empfohlenen ABCD Konzepte:

• Metadaten• Unit ID• NameAuthorYearString• RecordBasis• Country


Vorbereiten der Datenbank

Demo [6]


Die Konfigurations Dateien

• Globale Konfiguration:Das “Wrapper Configuration File”

• Datenbank spezifische Konfiguration(en):Das “Provider Setup File” (PSF)

• Daten Standard spezifische Konfiguration(en):Das “Concept Mapping File” (CMF)

Alle Konfigurationen sind XML Dateien, die manuell oder mit dem “configuration-tool” editiert werden können


Das “Wrapper Configuration File”

Angaben zu:

• Config-tool Passwort• Debug Einstellungen• Log Verhalten• Limit der maximal zurückgegebenen Datensätze


Das “Provider Setup File” - PSF

Angaben zu:

• Parameter der Datenbank Verbindung• Tabellen und deren Aliase• Primär Schlüssel(n)• Fremd Schlüssel(n)• Text Kodierung


Das „Concept Mapping File“ - CMF

Dient als alternative Darstellung aller potentiellen ABCD Konzepte and definiert die Struktur der zurückgegebenen XML Dokumente. Enthälz Angaben zu:

• allen ABCD Elementen• Ihre XML Datentypen• Ihre Wiederholbarkeit• Und Bemerkungen

Neben diesen „festen“ Angaben zur ABCD Struktur beinhaltet es auch die „mappings“ – welche Datenbank Attribute gehören zu welchem ABCD Konzept …


Konfiguration eines CMF

Verknüpfe Datenbank Attribute mit ABCD Konzepten mit Hilfe des Konfigurations Tools:

1. Lokalisieren der passenden Konzepte mit dem “CMF lister”

2. Hinzufügen der Konzepte zum CMF

3. Angabe der entsprechenden Datenbank Attribute für jedes Konzept

4. Angabe des Datentyps für jedes Datenbank Attribut


Konfiguration eines CMF - Beispiel


Wrapper Konfiguration

Demo [7]


Testen der Datenquelle mit Hilfe von …

• „Query-Tool“

• HTML Formularen

Registrierung der Datenquelle …

Bitte senden Sie die URLs der aktiven Wrapper an das BioCASE Sekretariat oder den Support.


Häufige Konfigurations Probleme

Berechtigungen nicht richtig gesetzt.

Schreibfehler bei DB Attributen.

Tabellen Namen anstelle von Alias namen benutzt.

Falsche Datentypen angegeben.

Falsche Text Kodierung angegeben.

Kreisförmige Tabellen Struktur angegeben.


Testen der Datenquelle

Demo [8]


[email protected]

Documents

ABCD Data Provider Workshop Berlin - january 2004 M.Döring, A. Hahn, W. Lipp & J. de la Torre Dept. of Biodiversity Informatics and Laboratories Botanical