Page Comparison

...

Innledning

Brage er en tjeneste for digitale fulltekstarkiv publisering og effektiv tilgjendeliggjøring av institusjonens forsknings- og studentarbeider. Dette vil betjene begge Arkiv- og DigEks-tjenestene, som inneholder vitenskapelige artikler, bachelor- og masteroppgaver og annet materiale produsert av ansatte og studenter ved de fleste norske utdanningsinstitusjoner. Arkivet høstes av søketjenester som inneholder materialet fra Universitetene som avtaleparter.  Utdata vil bli lagret i databasen og brukt i masteroppgave- / NVA- / oaipmh- / brage-records-appene.studentarbeid. Denne integrasjonen sørger for publisering av master- og bachelor-oppgaver som leveres i eksamensystemene Inspera og Wiseflow.

For å kunne publisere oppgavene, trenger integrasjonen en del ekstra meta-data som tittel, sammendrag, veildere, forfattere, språk og om oppgaven skal publiseres og eventuelt om det skal være noe utsatt-publisering. Det er litt ulikt mellom Inspera og Wiseflow hvordan hver enkelt av disse informasjonselementene plukkes opp.

Se også dokumentasjon og flytdiagram her : Publisering av Master/Bachelor

Teknisk dokumentasjon for sensurprotokoll: Bevaring av sensurprotokoll

Nøkkel info

Bakgrunn

Arkivering av masteroppgaver er et krav som alle institusjoner skal oppfylleDet er behov for publisering av master og bachelor oppgaver. Oppgavene legges inn/lastes opp av studentene i eksamensystemet (Inspera/Wiseflow). De plukkes opp av integrasjonen og publiseres i Brage/NVA.

Interessenter

Dette er en leveranse til både Arkiv og Digital-eksamen. Kostandene deles derfor mellom disse 2.

Arkiv har produsert og bestemt den såkalte mappinsdokument som definerer hvordan oppgavene skal arkiveres i arkiv-systemet.

Brukerhistorie

...

PS! Arkiv, i forbindelse med integrasjonen for arkivering av master/bachelor oppgaver, gjenbruker deler av denne integrasjonen

Brukerhistorie

• en student leverer en bachelor- eller masteroppgave (for seg selv, eller på vegne av en gruppe) via en av de to eksamenssystemene. Oppgaven plukkes opp, og publiseres når den er klar for publisering.

Systemer/tjenester

• Detaljert liste av alle innvolverte systemer/tjenester Hva utveksler data? Fra hvor / Til hvor?

Tilgangsstyring og logging

• Integrasjonen loger til Humio med detaljert logging av prosessen.

• Integrasjonen er knyttet logg-oversikten som vil logge følgende data:

  • action, callTime, candidateIds, event, eventName, eventVersion, env, errorMessage, examSys (examSystem), flowId, id (identifier), identifier, inputTopic, isHandedIn, key, licenseId, moduleId, modified_date, orgId (org), participantId, sequenceNumber, submissionId, submodule, success (boolsk), testId, timestamp, triggeringCandidateId, vurdId (decodedVurdId) og userId

• Integrasjonen har ikke noe behov for tilgangstyring

Forretningsregler

Behandlingstid/responstid og volum

• Behandlingstid/responstid: ca. 2s4s

• Frekvens: HTTPS-‘listener’ repeterbar fillagerstrøm for datastrømmestrategi (Inspera-webhook, brage-app og oai-pmh) og 5-minutter poll timeout for Apache-Kafka forbruk for eksamensystemer (Brage-app)Den nye meldingssystemet (meldingQ) kjører uten forsinkelse på meldingskøen – lytteren til køen tar meldinger én etter én og starter behandlingen umiddelbart. Hver melding hentes direkte fra databasen, prosesseres, og status oppdateres deretter til enten ‘processed’ eller ‘failed’ i samme database-kolleksjon.

• Volum (målt: 16 Aug 2022 31 Oct 2024): gj.sn. ca. 23k 8k hits daglig

Feilhåndtering, konsekvenser av feil og overordnet risikoanalyse

Generelt vil status og dermed eventuelle feil være synlig og tilgjengelig for institusjonen via logg-oversikten (https://dbapp.de-c1.eu1.cloudhub.io/). Det er også utarbeidet mulighet for at enkelt personer ved institusjonen kan melde seg på for mottak av feilmeldinger på epost daglig . (“Jeg vil ha e-post varsling”-knappe). Videre har vi overvåkning av loggene via Humio for å fange opp feil-situasjoner utenfor institusjonens virkeområde, som f.eks. utilgjengelige API endepunkter og bugs i kodensituasjoner utenfor institusjonens virkeområde.

• Hva skjer ved overload i kø?

  • Det skjer ikke . Men om vi skulle på grunn av noe feil ikke motta meldingene fra eksamensystemene, vil : Inspera vite om det og sende dem på nytt. Wiseflow: er basert på polling, så vi kan alltid polle igjen

  Hva skjer med ufullstendige meldinger?

  • De vil feile og det vil vi oppdage i loggene og kan ta aksjon basert på detda-køene kun har én parallell forbruker (' queue-listener');

• Hva skjer med ufullstendige meldinger?

  • Meldinger med status ‘failed’ (opptil 5 ganger) eller ‘processing’ (med 10 minutters forsinkelse for å sikre at meldingen ikke allerede behandles) blir hentet fra kolleksjonen igjen i grupper på opptil 100, og behandlet i samme flyt.

    Meldingssystemet bruker ‘manual’ protokoll for håndtering av bekreftelse, som betyr at prosessen fullføres med en endelig status ‘failed’ eller ‘processed’ for hver melding etter fullført behandling. Ingen meldinger skal ha status ‘processing’ eller ‘enqueued’ lengre enn forventet behandlingstid.

• Inneholder meldingene personopplysninger?

  • Merk at det utveksles mange “meldinger” mellom ulike systemer i løpet av en integrasjon. Melinger fra eksamensystem inneholder ikke noe persondata (meldingen består av contextObjectId, contextObjectType, ASSESSMENT_RUN, associatedObjectId, associatedObjectType, triggeringUserId, triggeringUserName, timestamp, org, instance, env og examSystem), men data vi henter fra FS basert på de meldingene gjør det. Filene vi arkiverer (som kommer fra eksamensystemene) kan også potensielt inneholde personopplysninger.

• Noe om viktige feil/situasjoner som må passes ekstra på (som kan ha stor konsekvens) :

  • Oppgavene ikke arkiveres (miste meldinger)

  • Oppgaver arkiveres med feil info. (feiltolking eller feil logikk)

  • Oppgaver arkiveres med feil tilganger (slik at oppgaver som ikke skal være offentlige, arkiveres slik at de blir offentlig synlige) 

Kommentarer

“Brage skal fases ut og funksjonaliteten blir videreført i det som i dag har prosjektnavnet Cris/NVA. Innholdet som i dag ligger i Brage, vil bli flyttet til NVA (Nasjonalt vitenarkiv) sommeren i løpet av 2023.” (https://sikt.no/tjenester/brage-lokale-vitenarkiv )