| Table of Contents | ||||||
|---|---|---|---|---|---|---|
|
...
Innledning
Brage er en tjeneste for digitale fulltekstarkiv publisering og effektiv tilgjendeliggjøring av institusjonens forsknings- og studentarbeider. Dette vil betjene begge Arkiv- og DigEks-tjenestene, som inneholder vitenskapelige artikler, bachelor- og masteroppgaver og annet materiale produsert av ansatte og studenter ved de fleste norske utdanningsinstitusjoner. Arkivet høstes av søketjenester som inneholder materialet fra Universitetene som avtaleparter.studentarbeid. Denne integrasjonen sørger for publisering av master- og bachelor-oppgaver som leveres i eksamensystemene Inspera og Wiseflow.
For å kunne publisere oppgavene, trenger integrasjonen en del ekstra meta-data som tittel, sammendrag, veildere, forfattere, språk og om oppgaven skal publiseres og eventuelt om det skal være noe utsatt-publisering. Det er litt ulikt mellom Inspera og Wiseflow hvordan hver enkelt av disse informasjonselementene plukkes opp.
Se også dokumentasjon og flytdiagram her : Master/Bachelor publisering
| Inc drawio | ||||||||||||||||||||||||||||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
|
Nøkkel info
Initiering av flyt |
| Innlevering av master/bachelor-oppgaver |
|
|---|---|---|---|
Flyt møsnter | Halveis synkronAsynkron | Ved levering av oppgaver, sendes det webhook meldinger som trigger jobben | |
Bruk av meldingskø | Ja, Apache Kafka (Consumer) |
| |
Open API | Nei | ||
IntArk | Ikke brukt |
Bakgrunn
Brage leser masteroppgaver og overfører dem til databasen. Utdata vil bli lagret i databasen og brukt i masteroppgave- / NVA- / oaipmh- / brage-records-appeneDet er behov for publisering av master og bachelor oppgaver. Oppgavene legges inn/lastes opp av studentene i eksamensystemet (Inspera/Wiseflow). De plukkes opp av integrasjonen og publiseres i Brage/NVA.
Interessenter
Dette er en leveranse til både Arkiv og Digital-eksamen.
PS! Arkiv, i forbindelse med integrasjonen for arkivering av master/bachelor oppgaver, gjenbruker deler av denne integrasjonen
Brukerhistorie
en student (eller i noen tilfeller flere studenter i en gruppe) leverer en bachelor- eller masteroppgave (for seg selv, eller på vegne av en gruppe) via en av de to eksamenssystemene, og det klar til arkivering.integrasjonen også får nådd “expected records” for hver kandidat fra FS for å finne 'record'er å oppdatere med info (status hvis den er klar for levering, oppdatering forventet_dato eller satt klar_dato) fra FS. Oppgaven plukkes opp, og publiseres når den er klar for publisering.
Systemer/tjenester
Detaljert liste av alle innvolverte systemer/tjenester Hva utveksler data? Fra hvor / Til hvor?
System | Data | Brukt API (endepunkter) |
|---|---|---|
Config-databasen | setter | configDB.getSingleOrg |
Config-databasen | Henter en list fra databasen ( | configDB.getSlackBlacklist |
FS-Digex | Henter status (et JSON-objekt) på bachelor/master oppgave ifm overføring til Brage (basert på | GET:/eksamen/ferdigstatus/{examSystem}/{taskId} URL for test: https://fs-test.uio.no/eksamen/ferdigstatus/<ID>?fnr=<nr>&..... https://www.fellesstudentsystem.no/brukersider/teknisk/fsws-dok/rest/digitaleksamen.html |
Inspera | Hent resultatkandidatinformasjonen for en gitt bruker på en gitt test. Dette samsvarer nesten nøyaktig med utdata fra kandidatinformasjon i GET /test/ API, kun fokusert på en spesifikk bruker ( | GET:/v1/candidates/result/{testId}/{userId} https://api.inspera.no/apidoc/#/candidates/getCandidateResult |
Inspera | Henter alle relevante metadata | GET: /test/{testId} |
LaaS | Registrerer en indeks | do Index |
Oai-databasen | Henter en record med | oai-getRecord |
Oai-databasen | Legger til et nytt dokument i databasen | oai-addRecord |
Oai-databasen | Oppdaterer et dokument i databasen | oai-updateRecord |
Oai-databasen | Legger auditInfoMap log til databasen | oai-addAuditLog |
Oai-databasen | Hente dokumenter fra et visst antall dager tilbake ( | oai-getPassedExpectedRecords |
Oai-databasen | Legger filer ( | oai-upsertBrageFile |
Oai-databasen | Henter filer klare for opplasting ( | oai-getBrageFiles |
Oai-databasen | Henter en rekke 'repo’er for systemet ( | oai-getRepositoriesForSystem |
Amazon S3 | Overfører arkiverte filer ( | upload file: |
Slack | Sender feilmeldinger (inkludert også data på | Slack-kanalen (mule-prod) |
WISEflow | Returnerer informasjon om en innlevering ( | GET: /flow/{flowId}/submission/{submissionId} |
WISEflow | Henter opp grunnleggende informasjon for en gitt flyt som navn, type, start- og sluttdato som kan brukes til å identifisere flyten (basert på | GET: /flow/{flowId} |
Tilgangsstyring og logging
Integrasjonen loger til Humio med detaljert logging av prosessen.
Integrasjonen er knyttet logg-oversikten som vil logge følgende data:
action, callTime, candidateIds, event, eventName, eventVersion, env, errorMessage, examSys (examSystem), flowId, id (identifier), identifier, inputTopic, isHandedIn, key, licenseId, moduleId, modified_date, orgId (org), participantId, sequenceNumber, submissionId, submodule, success (boolsk), testId, timestamp, triggeringCandidateId, vurdId (decodedVurdId) og userId
Integrasjonen har ikke noe behov for tilgangstyring
Forretningsregler
Behandlingstid/responstid og volum
Behandlingstid/responstid: ca. 2s
Frekvens: HTTPS-‘listener’ repeterbar fillagerstrøm for datastrømmestrategi (Inspera-webhook, brage-app og oai-pmh) og 5-minutter poll timeout for Apache-Kafka forbruk for eksamensystemer (Brage-app)
Volum (målt: ): gj.sn. ca. 23k hits daglig
Feilhåndtering, konsekvenser av feil og overordnet risikoanalyse
Generelt vil status og dermed eventuelle feil være synlig og tilgjengelig for institusjonen via logg-oversikten (https://dbapp.de-c1.eu1.cloudhub.io/). Det er også utarbeidet mulighet for at enkelt personer ved institusjonen kan melde seg på for mottak av feilmeldinger på epost daglig (“Jeg vil ha e-post varsling”-knappe). Videre har vi overvåkning av loggene via Humio for å fange opp feil-situasjoner utenfor institusjonens virkeområde.
Hva skjer ved overload i kø?
Det skjer ikke da kafka-køene kun har én parallell forbruker (' message listener');
Hva skjer med ufullstendige meldinger?
De vil feile. Siden køen for automatiske innkommende meldinger har kafka-monitor, vil mulige feiltilfeller bli håndtert (oppdage i loggene) og vi kan ta aksjon basert på det; men hvis meldingen sendes manuelt er ingen automatisk oppfølging satt opp.
Inneholder meldingene personopplysninger?
Merk at det utveksles mange “meldinger” mellom ulike systemer i løpet av en integrasjon. Melinger fra eksamensystem inneholder ikke noe persondata (meldingen består av
contextObjectId,contextObjectType,ASSESSMENT_RUN,associatedObjectId,associatedObjectType,triggeringUserId,triggeringUserName,timestamp,org,instance,envogexamSystem), men data vi henter fra FS basert på de meldingene gjør det. Filene vi arkiverer (som kommer fra eksamensystemene) kan også potensielt inneholde personopplysninger.
Noe om viktige feil/situasjoner som må passes ekstra på (som kan ha stor konsekvens) :
Oppgavene ikke arkiveres (miste meldinger)
Oppgaver arkiveres med feil info. (feiltolking eller feil logikk)
Oppgaver arkiveres med feil tilganger (slik at oppgaver som ikke skal være offentlige, arkiveres slik at de blir offentlig synlige)
Kommentarer
“Brage skal fases ut og funksjonaliteten blir videreført i det som i dag har prosjektnavnet Cris/NVA. Innholdet som i dag ligger i Brage, vil bli flyttet til NVA (Nasjonalt vitenarkiv) sommeren i løpet av 2023.” (https://sikt.no/tjenester/brage-lokale-vitenarkiv )