Sie sind hier

Daten Importieren

Der Datenimport benötigt Admin-Rechte.

Vorbereitungen
Upload
Testlauf
Import
Kontrolle
Anmerkungen

Vorbereitungen
1. Export als .mrc aus Quellsystem

2. Umwandlung in Marc-XML mit yaz-marcdump auf der Konsole: die Umwandlung mit yaz-marcdump stellt sicher, dass die korrekte MARC-XML-Syntax verwendet wird.

  • yaz-marcdump -f UTF-8 -t UTF-8 -i marc -o marcxml PSCH.mrc > PSCH.xml

3. Einloggen in

4. Backup des aktuellen Standes erstellen:

  • Scripts => Backup erstellen (dauert ca. 15 Min.)

Backup wird in Ordner ~/vufind-date/backup erstellt, getrennt nach "Collections".

5. 773 ergänzen

  • Scripts => 773g aufteilen => Datei hochladen => ergänzte Datei herunterladen

Zurück

Upload
Kleine Dateien können direkt über den Browser hochgeladen und importiert werden.

Grössere Dateien (>30 MB) sollten auf den Server geladen werden und von dort importiert werden, um unfreiwillige Abbrüche im Datentransfer zu vermeiden. Die DB kann Schaden nehmen, falls eine Operation nicht abgeschlossen werden kann!

PSCH-Daten können problemlos über den Browser hochgeladen und verarbeitet werden.

Zurück

Testlauf
Zuerst einen Testlauf OHNE SPEICHERN und OHNE DEDUPLIZIEREN ausführen (ohne Deduplikation geht das blitzschnell)!

Es werden allfällige Katalogisierfehler ausgegeben => ggf. in Quellsystem korrigieren und bei Punkt 1 wieder anfangen.

Zurück

Import
Falls alles i.O. ist => Import inkl. SPEICHERN und DEDUPLIZIEREN ausführen. Kann > 10 Min. dauern, da im worst case gegen > 1'000'000 records dedupliziert wird...

Done! Alles verarbeitet, abgespeichert und bereit für den automatisierten nächtlichen Import nach Vufind.

Zurück

Kontrolle
Im Ordner ~/vufind-data/deduped gibt es zwei Dateien:

  • deduped-PSCH.xml (diese Daten wurden importiert und gespeichert/geupdated)
  • duplicates-PSCH.xml (für Duplikate befunde Datensätze, die nicht importiert wurden)

Zurück

Anmerkungen
Option LOCK TABLES nicht untertags verwenden: alle anderen User werden ausgesperrt und Lese- und Schreibzugriffe landen in einer Warteschlange!

Option DISABLE KEYS lohnt sich nur bei grossen Importen OHNE Deduplikation, also nie bei PSCH-Daten. Eine Deduplikation ohne Indexe (KEYS) dauert Ewigkeiten, da hier unnötigerweise jedesmal ein full table scan ausgeführt wird!

Zurück