PandoraPandoraPreserving and Accessing Networked Documentary Resources of Australia

Vortrag von Danny Poppe

am 4. Mai 2000

GliederungGliederung ProjektübersichtProjektübersicht AuswahlrichtlinienAuswahlrichtlinien für Dokumente für Dokumente Allgemeines FunktionsmodellAllgemeines Funktionsmodell Logisches DatenmodellLogisches Datenmodell Digital Services ProjectDigital Services Project PURL-Resolver-ServicePURL-Resolver-Service

ProjektübersichtProjektübersicht

ProblembeschreibungProblembeschreibungInternetinhalte sind meist nur kurze Zeit Internetinhalte sind meist nur kurze Zeit

verfügbar, weil:verfügbar, weil:– sich URLs ändern oder ganz verschwindensich URLs ändern oder ganz verschwinden– die URL weiterexistiert, sich aber der die URL weiterexistiert, sich aber der

Inhalt ändertInhalt ändertProblem: Referenzen sind nicht mehr Problem: Referenzen sind nicht mehr

aktuell und wichtige Dokumente für aktuell und wichtige Dokumente für immer verschwundenimmer verschwunden

ProjektbeschreibungProjektbeschreibung AuswahlrichtlinienAuswahlrichtlinien für Dokumente für Dokumente die „Electronic Unit“die „Electronic Unit“ FunktionsFunktions- und - und DatenmodellDatenmodell „Digital Services Project“„Digital Services Project“ Verknüpfungsmodell und Verknüpfungsmodell und

ZusammenarbeitZusammenarbeit rechtliche Grundlagenrechtliche Grundlagen PURL-Resolver-ServicePURL-Resolver-Service

AuswahlrichtlinienAuswahlrichtlinien

(Selection Guidelines)(Selection Guidelines)

Warum Warum Auswahlrichtlinien?Auswahlrichtlinien?

Qualität der DokumenteQualität der Dokumente begrenzte Ressourcenbegrenzte Ressourcen Vermeidung doppelter ArbeitVermeidung doppelter Arbeit Berücksichtigung techn. Berücksichtigung techn.

SchwierigkeitenSchwierigkeiten

DokumentenartenDokumentenarten Folgende Formen treten auf:Folgende Formen treten auf:

– gedruckt,gedruckt,– online undonline und– auf Datenträgernauf Datenträgern

Archivierung in dieser Reihenfolge Archivierung in dieser Reihenfolge berücksichtigt techn. Schwierigkeitenberücksichtigt techn. Schwierigkeiten

Ausnahme: bei signifikanten Ausnahme: bei signifikanten zusätzlichen Inhaltenzusätzlichen Inhalten

BeschränkungenBeschränkungen Pandora-spezifische EinschränkungenPandora-spezifische Einschränkungen

– Themenkreis: AustralienThemenkreis: Australienoderoder

– Bedeutung für Australien (sozial, Bedeutung für Australien (sozial, politisch, kulturell, religiös, ...)politisch, kulturell, religiös, ...)oderoder

– von einer anerkannten austral. von einer anerkannten austral. Persönlichkeit verfaßt und Teil des Persönlichkeit verfaßt und Teil des internationalen Wissensschatzesinternationalen Wissensschatzes

AnwendungAnwendung Umsetzung durch die „Electronic Unit“Umsetzung durch die „Electronic Unit“ Sonderregelungen für Ausnahmefälle:Sonderregelungen für Ausnahmefälle:

– keine Newsgroups, Informationsservicekeine Newsgroups, Informationsservice– keine Zeitschriften, die im Internet nur keine Zeitschriften, die im Internet nur

gedrucktes Material reproduzierengedrucktes Material reproduzieren– andere Protokolle (Gopher, FTP): andere Protokolle (Gopher, FTP):

Dokumente werden nicht aktiv gesucht, Dokumente werden nicht aktiv gesucht, aber archiviertaber archiviert

– ......

Allgemeines Allgemeines FunktionsmodellFunktionsmodell

(Business Process Model - (Business Process Model - BPM)BPM)

ModellübersichtModellübersicht Entwicklung basiert auf einem (nicht Entwicklung basiert auf einem (nicht

veröffentlichten) Servicemodellveröffentlichten) Servicemodell beschreibt, wie das Archiv beschreibt, wie das Archiv

„funktionieren soll“ und nennt dazu 5 „funktionieren soll“ und nennt dazu 5 KomponentenKomponenten

Obwohl nicht an OAIS orientiert, kann Obwohl nicht an OAIS orientiert, kann man Komponenten wiederfinden man Komponenten wiederfinden („Administration“ fließt mehrmals ein)(„Administration“ fließt mehrmals ein)

Komponenten des BPMKomponenten des BPM Das Business Process Model Das Business Process Model

beschreibt 5 Komponenten:beschreibt 5 Komponenten:– DokumentenauswahlDokumentenauswahl– BenutzerzugriffBenutzerzugriff– ArchivmanagementArchivmanagement– Berichte / StatistikBerichte / Statistik– AktenverwaltungAktenverwaltung

1. Dokumentenauswahl1. Dokumentenauswahl Vgl. Beziehungen zw. „Producer“ Vgl. Beziehungen zw. „Producer“

und vor allem „Ingest“ im OAISund vor allem „Ingest“ im OAIS aktives durchsuchen des Internet aktives durchsuchen des Internet

(„Electronic Unit“) und Vorschläge („Electronic Unit“) und Vorschläge werden aufgenommenwerden aufgenommen

1. Dokumentenauswahl1. Dokumentenauswahl Zum Vergleich:Zum Vergleich:

– Publikation bereits in Bearbeitung?Publikation bereits in Bearbeitung?– Dokument in anderer Form bereits im Dokument in anderer Form bereits im

Bestand?Bestand?– Ist gedruckte Version event. verfügbar?Ist gedruckte Version event. verfügbar?

Vergleich mit den AuswahlrichtlinienVergleich mit den Auswahlrichtlinien Kontakt zum AutorKontakt zum Autor Aufnahme in Archiv Aufnahme in Archiv (Metadaten, PURL, ...)(Metadaten, PURL, ...)

2. Benutzerzugriff2. Benutzerzugriff Vgl. Beziehungen zwischen Vgl. Beziehungen zwischen

„Consumer“ und vor allem „Access“ „Consumer“ und vor allem „Access“ im OAISim OAIS

Prinzipien:Prinzipien:– kostenloskostenlos– Benutzergruppen (intern / extern)Benutzergruppen (intern / extern)– ZugriffsbeschränkungenZugriffsbeschränkungen– außer Freigabe kein weiterer Serviceaußer Freigabe kein weiterer Service

2. Benutzerzugriff2. Benutzerzugriff

3. Archivmanagement3. Archivmanagement Vergleichbar mit: „Data Vergleichbar mit: „Data

Management“ und „Archival Management“ und „Archival Storage“Storage“

beschreibt mögliche Aufgaben des beschreibt mögliche Aufgaben des Managers im Daten-BereichManagers im Daten-Bereich

durch das Funktionsmodell in durch das Funktionsmodell in weitere 5 Bereiche aufgeteiltweitere 5 Bereiche aufgeteilt

3. Archivmanagement3. Archivmanagement Die 5 Bereiche sind:Die 5 Bereiche sind:

– Hinzufügen neuer PublikationenHinzufügen neuer Publikationen– Zugriffs Ermöglichen desZugriffs Ermöglichen des – Aktualisieren der DokumenteAktualisieren der Dokumente– Modifizieren archivierter PublikationeModifizieren archivierter Publikatione

nn– Löschen von DokumentenLöschen von Dokumenten

3. Archivmanagement3. Archivmanagement Hinzufügen neuer Publikationen:Hinzufügen neuer Publikationen:

– Metadaten sammeln und speichernMetadaten sammeln und speichern– Aufnahme in nationale DatenbankAufnahme in nationale Datenbank– vorangegangene Schritte überprüfenvorangegangene Schritte überprüfen– individuelle Einstiegsseite erzeugenindividuelle Einstiegsseite erzeugen– Autor benachrichtigenAutor benachrichtigen

3. Archivmanagement3. Archivmanagement Ermöglichen des Zugriffs:Ermöglichen des Zugriffs:

– Einträge in interne SuchmaschinenEinträge in interne Suchmaschinen– Archivierung benötigter Software-Archivierung benötigter Software-

komponenten und Funktionstestskomponenten und Funktionstests– event. Konvertierungen zu Standards event. Konvertierungen zu Standards

(aktuell nicht durchgeführt)(aktuell nicht durchgeführt)– festlegen der Zugriffsbeschränkungenfestlegen der Zugriffsbeschränkungen

3. Archivmanagement3. Archivmanagement Aktualisieren von Dokumenten:Aktualisieren von Dokumenten:

– Hinzufügen neuer Abschnitte / Hinzufügen neuer Abschnitte / VersionenVersionen

– erneute Konvertierungenerneute Konvertierungen– Aktualisierung von MetadatenAktualisierung von Metadaten– Änderungen der EinstiegsseiteÄnderungen der Einstiegsseite

3. Archivmanagement3. Archivmanagement Modifizieren archivierter Modifizieren archivierter

Dokumente:Dokumente:– aktualisieren aller Dokumente aktualisieren aller Dokumente

(Update-Frequenz)(Update-Frequenz)– Registrierfunktionen deaktivierenRegistrierfunktionen deaktivieren– Links aktualisieren / deaktivierenLinks aktualisieren / deaktivieren– ungewollte Inhalte entfernenungewollte Inhalte entfernen

3. Archivmanagement3. Archivmanagement Löschen von DokumentenLöschen von Dokumenten

– 3 Gründe möglich:3 Gründe möglich: Fehler bei ErstbeschaffungFehler bei Erstbeschaffung rechtliche Gründerechtliche Gründe gedruckte Version entdecktgedruckte Version entdeckt

– Entfernen der Inhalte aus dem ArchivEntfernen der Inhalte aus dem Archiv– Metadaten aktualisierenMetadaten aktualisieren– PURL deaktivierenPURL deaktivieren

4. Berichte / Statistik4. Berichte / Statistik Werden in allen Abschnitten benötigtWerden in allen Abschnitten benötigt Beispiele:Beispiele:

– Statusberichte über DokumenteStatusberichte über Dokumente– Vergleichsberichte (Archiv - Orginal)Vergleichsberichte (Archiv - Orginal)– technische Berichte (Platzverbrauch pro technische Berichte (Platzverbrauch pro

URL, Dateiberichte, benutzte URLs, ...)URL, Dateiberichte, benutzte URLs, ...) 3 Benutzergruppen: Pandora-Manager, 3 Benutzergruppen: Pandora-Manager,

NLA-Manager, andere InteressentenNLA-Manager, andere Interessenten

5. Aktenverwaltung5. Aktenverwaltung hauptsächlich Archivierung der hauptsächlich Archivierung der

Korrespondenz mit dem Autor (E-Korrespondenz mit dem Autor (E-Mail)Mail)

Kommerzielles Programm von Trim-Kommerzielles Programm von Trim-EnterprisesEnterprises

Korrespondenz und Dokumente Korrespondenz und Dokumente müssen eindeutig verlinkt sein (auch müssen eindeutig verlinkt sein (auch mehrfach)mehrfach)

Logisches DatenmodellLogisches Datenmodell

(Logical Data Model - LDM)(Logical Data Model - LDM)

ModellübersichtModellübersicht Zusammenhänge zwischen Zusammenhänge zwischen

Dokument und gespeicherten Daten Dokument und gespeicherten Daten (auch Meta~)(auch Meta~)

orientiert sich am „Allgemeinen orientiert sich am „Allgemeinen Funktionsmodell“ (BPM)Funktionsmodell“ (BPM)

Darstellung als Entity-Relationship Darstellung als Entity-Relationship Diagramm mit detaillierter Diagramm mit detaillierter BeschreibungBeschreibung

Logical Data ModelLogical Data Model

Komponenten des LDMKomponenten des LDM LDM in Komponenten aufgespaltet, LDM in Komponenten aufgespaltet,

die sich am BPM orientieren:die sich am BPM orientieren:– Beschreibung der DokumenteBeschreibung der Dokumente– Selektion und Korrespondenz mit Selektion und Korrespondenz mit

AutorAutor– Kopienbeschaffung für das ArchivKopienbeschaffung für das Archiv– Kopienmanagement und ArchivierungKopienmanagement und Archivierung– Copyright- und ZugriffsmanagementCopyright- und Zugriffsmanagement

DokumentbeschreibungDokumentbeschreibung• Descriptive Attribute: beschreibt das Dokument (Titel, Autor, URL, ...)

• Descriptive Attribute Type: charakterisiert verschiedene Datensatztypen, die einem Dokument zur Beschreibung zugeordnet werden

Descriptive AttributeDescriptive Attribute• Regeln:

• Das Attribut muß genau eine Publikation beschreiben

• Das Attribut muß durch genau einen Atributtyp charakterisiert sein

• Daten:

• Publikations ID

• Attribut Typ

• Attribut

• genaue Beschreibung über Inhalt und Benutzung im Archiv

Descriptive Attribute TypeDescriptive Attribute Type• Regeln:

• Ein Attribut Typ kann eines oder mehrere Attribute charakterisieren

• Datentypen:

• Gesamt-Titel, Untertitel, Autor, Veröffentlicher, Sprache, Beschreibung, ISBN/ISSN (Identifier), Orginal-URL, Pandora-URL, Label, Dokument-ID, Veröffentlichungsdatum, Gültigkeitsdauer, Update-Frequenz, Themenschlüsselworte, Quellentyp

• genaue Beschreibung der Daten und deren Rolle im Archiv

Selektion und KorrespondeSelektion und Korrespondenznz

BeschaffungBeschaffung

Management und ArchivieManagement und Archivierungrung

Copyright- und ZugriffsmaCopyright- und Zugriffsmanagementnagement

Digital Services ProjectDigital Services Project

(DSP)(DSP)

DSP BeschreibungDSP Beschreibung Geplant: Pandora als Bestandteil des Geplant: Pandora als Bestandteil des

DSPDSP Umstellung auf Digitaltechnologie:Umstellung auf Digitaltechnologie:

– Zugriff auf traditionelle DokumenteZugriff auf traditionelle Dokumente– Langzeitarchivierung elektr. DokumenteLangzeitarchivierung elektr. Dokumente– (umfangreiche Audioaufnahmen der NLA)(umfangreiche Audioaufnahmen der NLA)

„„Buy not Build“ ProjektBuy not Build“ Projekt

DSP VerlaufDSP Verlauf Bisher Schriften veröffentlicht:Bisher Schriften veröffentlicht:

– „„Request for Quotation“ als Request for Quotation“ als Projektbeschreibung, um Feedback zu Projektbeschreibung, um Feedback zu sammelnsammeln

– Beschreibungen benötigter Teilsysteme für Beschreibungen benötigter Teilsysteme für Überblick über mögliche kommerzielle Überblick über mögliche kommerzielle Produkte:Produkte:

Speichersystem für MetadatenSpeichersystem für Metadaten Speichersystem für digitale ObjekteSpeichersystem für digitale Objekte effizientes Suchsystemeffizientes Suchsystem

DSP ErgebnisseDSP Ergebnisse derzeit noch in Planungsphasederzeit noch in Planungsphase Pandora komplett überarbeitet bis Ende Pandora komplett überarbeitet bis Ende

20002000 kein kommerzielles integriertes Gesamt-kein kommerzielles integriertes Gesamt-

system für genannte Anforderungensystem für genannte Anforderungen Zerlegung in TeilabschnitteZerlegung in Teilabschnitte geplantes Ende für eine Gesamt-geplantes Ende für eine Gesamt-

übersicht: Mitte 2001übersicht: Mitte 2001

PURL-Resolver-ServicePURL-Resolver-Service

Was ist eine PURL?Was ist eine PURL? Prinzipiell eine normale URL wie im Prinzipiell eine normale URL wie im

Browser verwendetBrowser verwendet spricht einen PURL-Resolver an, spricht einen PURL-Resolver an,

der die URL mit Datenbank der die URL mit Datenbank vergleicht und HTTP-redirect auf vergleicht und HTTP-redirect auf verzeichnete URL ausführt verzeichnete URL ausführt

PURL FunktionsweisePURL Funktionsweise

Vorteil der PURLVorteil der PURL In Verbindung mit Archiven, lassen In Verbindung mit Archiven, lassen

sich Verweise realisieren, die nie sich Verweise realisieren, die nie verschwinden und immer verschwinden und immer denselben Inhalt haben:denselben Inhalt haben:– solange Orginalseite existiert, solange Orginalseite existiert,

verweist die PURL dorthinverweist die PURL dorthin– wenn Orginal-URL verschwindet, wenn Orginal-URL verschwindet,

verweist PURL auf den Archivinhaltverweist PURL auf den Archivinhalt

PURL-ResolverPURL-Resolver Wird für alle Archivinhalte der NLA Wird für alle Archivinhalte der NLA

verwendetverwendet Frei verfügbarer Service der NLAFrei verfügbarer Service der NLA Software frei kopierbar und einsetzbarSoftware frei kopierbar und einsetzbar Beispiel:Beispiel:

– http://purl.nla.gov.au/NET/PURLExample(verwaltet durch: Danny Poppe)

Links zum ThemaLinks zum Thema

LinklisteLinklistePandora-ArchivPandora-Archiv

ProjektseiteProjektseitePURL-Resolver-ServicePURL-Resolver-Service

SeminarseiteSeminarseiteDigital Service ProjectDigital Service Project

Business Process ModelBusiness Process ModelLogical Data ModelLogical Data Model

OAIS-ModellOAIS-Modell