Brage (under arbeid)

Innledning

Brage er en tjeneste for digitale fulltekstarkiv og effektiv tilgjendeliggjøring av institusjonens forsknings- og studentarbeider. Dette vil betjene begge Arkiv- og DigEks-tjenestene, som inneholder vitenskapelige artikler, bachelor- og masteroppgaver og annet materiale produsert av ansatte og studenter ved de fleste norske utdanningsinstitusjoner. Arkivet høstes av søketjenester som inneholder materialet fra Universitetene som avtaleparter.

Nøkkel info

Initiering av flyt	planlagt igangsetting for “update from FS” planlagt igangsetting for opplasting av filer til S3 planlagt igangsetting for å sende/laste opp “in process”-filer til S3 2 meldingskøer for å dele meldinger til de to eksamenssystemene (WISEflow og Inspera)	fast frekvens (en gang i timen) fast frekvens (hvert 10. minutt) poll-timeout: 5 minutter (topics: “submission_delivered” og “submission_delivered_brage“)
Flyt møsnter	Halveis synkron
Bruk av meldingskø	Ja, Apache Kafka (Consumer)	Brage forbruker webhook-meldinger fra begge eksamenssystemene (Inspera/WISEflow)
Open API	Nei
IntArk	Ikke brukt

Bakgrunn

Brage leser masteroppgaver og overfører dem til databasen. Utdata vil bli lagret i databasen og brukt i masteroppgave- / NVA- / oaipmh- / brage-records-appene.

Interessenter

Dette er en leveranse til både Arkiv og Digital-eksamen.

Brukerhistorie

en student (eller i noen tilfeller flere studenter i en gruppe) leverer en bachelor- eller masteroppgave via de to eksamenssystemene, og det klar til arkivering.
integrasjonen også får nådd “expected records” for hver kandidat fra FS for å finne 'record'er å oppdatere med info (status hvis den er klar for levering, oppdatering forventet_dato eller satt klar_dato) fra FS.

Systemer/tjenester

Detaljert liste av alle innvolverte systemer/tjenester Hva utveksler data? Fra hvor / Til hvor?

System	Data	Brukt API (endepunkter)
Config-databasen	setter `orgCoverSheet` til en gitt `orgId`	configDB.getSingleOrg
Config-databasen	Henter en list fra databasen (`MongoDb.SLACK_BLACKLISTS`) for appen	configDB.getSlackBlacklist
FS-Digex	Henter status (et JSON-objekt) på bachelor/master oppgave ifm overføring til Brage (basert på `examSystem` og `taskId`)	GET:/eksamen/ferdigstatus/{examSystem}/{taskId} URL for test: https://fs-test.uio.no/eksamen/ferdigstatus/<ID>?fnr=<nr>&..... URL for prod: https://fsws.usit.no/eksamen/ferdigstatus/<ID>?fnr=<nr>&....... https://www.fellesstudentsystem.no/brukersider/teknisk/fsws-dok/rest/digitaleksamen.html
Inspera	Hent resultatkandidatinformasjonen for en gitt bruker på en gitt test. Dette samsvarer nesten nøyaktig med utdata fra kandidatinformasjon i GET /test/ API, kun fokusert på en spesifikk bruker (`testId` og `userId`)	GET:/v1/candidates/result/{testId}/{userId} https://api.inspera.no/apidoc/#/candidates/getCandidateResult
Inspera	Henter alle relevante metadata `assessmentRunId` og `result` (`generalInfo`, `assessmentInfo`, `externalTestInfo`, `options`, `committees`, `candidates`, `contributors`, `organizationalUnits` osv) for testen gitt av `instance` og `testId`. Dette vil også inkludere alle relevante kandidatmetadata (`userId`, `candidateId`, `attendanceStatus`, `deliveryMode`, `committeeId`, `committeeName`, `committeeGradingStatus`, `groupId`, `groupName`, `submissionDeletedOn`, `automaticQuestionScore`, `roomId`, `roomName`, `building`, `candidateExtraTime`, `incidentTime`, `finalGrade`, `gradedDate`, `startTime`, `endTime`, `restrictedUntilDate`, `deliveryDeadline`, `externalIds`, `lastDeviceName` og `assetsDownloadInfo`).	GET: /test/{testId} https://api.inspera.no/apidoc/#/test/getTestMetadata
LaaS	Registrerer en indeks `org`, `instance`, `env`, `event-name`, `remote-adr` og `request-uri` i Humio (for å innta og beholde strømmedata)	do Index
Oai-databasen	Henter en record med `identifier` query	oai-getRecord
Oai-databasen	Legger til et nytt dokument i databasen	oai-addRecord
Oai-databasen	Oppdaterer et dokument i databasen	oai-updateRecord
Oai-databasen	Legger auditInfoMap log til databasen	oai-addAuditLog
Oai-databasen	Hente dokumenter fra et visst antall dager tilbake (`fs-check-days-back`)	oai-getPassedExpectedRecords
Oai-databasen	Legger filer (`mainDoc` og `attachments`) til i databasen (BrageFil)	oai-upsertBrageFile
Oai-databasen	Henter filer klare for opplasting (`ready`) til S3 fra databasen	oai-getBrageFiles
Oai-databasen	Henter en rekke 'repo’er for systemet (`wiseflow`)	oai-getRepositoriesForSystem
Amazon S3	Overfører arkiverte filer (`localFileName` og `fileName`) til S3 `bucket`	upload file: https://docs.safespring.com/storage/generalinfo/
Slack	Sender feilmeldinger (inkludert også data på `module-id`og `submodul`, organisasjons `shortName` og `orgId`, `examSystem`, `examSysInstance`, `vurdId`, `fetchFsListDates`, `decodedFsTestId` og `filesToArchive`). Det stemmer overens med Config-databasen (configDB.getSlackBlacklist).	Slack-kanalen (mule-prod)
WISEflow	Returnerer informasjon om en innlevering (`submissionId`) levert av en student på en bestemt `flowId`som samsvarer med spørringsparameteren (`submissionId`, `flowId`, `env` og `orgShortName`).	GET: /flow/{flowId}/submission/{submissionId} https://europe-apidocs.wiseflow.net/
WISEflow	Henter opp grunnleggende informasjon for en gitt flyt som navn, type, start- og sluttdato som kan brukes til å identifisere flyten (basert på `contextObjectId` (Flow id), `org` (orgShortName) og `env`).	GET: /flow/{flowId} https://europe-apidocs.wiseflow.net/

Tilgangsstyring og logging

Integrasjonen loger til Humio med detaljert logging av prosessen.
Integrasjonen er knyttet logg-oversikten som vil logge følgende data:
- action, callTime, candidateIds, event, eventName, eventVersion, env, errorMessage, examSys (examSystem), flowId, id (identifier), identifier, inputTopic, isHandedIn, key, licenseId, moduleId, modified_date, orgId (org), participantId, sequenceNumber, submissionId, submodule, success (boolsk), testId, timestamp, triggeringCandidateId, vurdId (decodedVurdId) og userId
Integrasjonen har ikke noe behov for tilgangstyring

Forretningsregler

Behandlingstid/responstid og volum

Behandlingstid/responstid: ca. 2s
Frekvens: HTTPS-‘listener’ repeterbar fillagerstrøm for datastrømmestrategi (Inspera-webhook, brage-app og oai-pmh) og 5-minutter poll timeout for Apache-Kafka forbruk for eksamensystemer (Brage-app)
Volum (målt: 16 Aug 2022): gj.sn. ca. 23k hits daglig

Feilhåndtering, konsekvenser av feil og overordnet risikoanalyse

Generelt vil status og dermed eventuelle feil være synlig og tilgjengelig for institusjonen via logg-oversikten (https://dbapp.de-c1.eu1.cloudhub.io/). Det er også utarbeidet mulighet for at enkelt personer ved institusjonen kan melde seg på for mottak av feilmeldinger på epost daglig (“Jeg vil ha e-post varsling”-knappe). Videre har vi overvåkning av loggene via Humio for å fange opp feil-situasjoner utenfor institusjonens virkeområde.

Hva skjer ved overload i kø?
- Det skjer ikke da kafka-køene kun har én parallell forbruker (' message listener');
Hva skjer med ufullstendige meldinger?
- De vil feile. Siden køen for automatiske innkommende meldinger har kafka-monitor, vil mulige feiltilfeller bli håndtert (oppdage i loggene) og vi kan ta aksjon basert på det; men hvis meldingen sendes manuelt er ingen automatisk oppfølging satt opp.
Inneholder meldingene personopplysninger?
- Merk at det utveksles mange “meldinger” mellom ulike systemer i løpet av en integrasjon. Melinger fra eksamensystem inneholder ikke noe persondata (meldingen består av contextObjectId, contextObjectType, ASSESSMENT_RUN, associatedObjectId, associatedObjectType, triggeringUserId, triggeringUserName, timestamp, org, instance, env og examSystem), men data vi henter fra FS basert på de meldingene gjør det. Filene vi arkiverer (som kommer fra eksamensystemene) kan også potensielt inneholde personopplysninger.
Noe om viktige feil/situasjoner som må passes ekstra på (som kan ha stor konsekvens) :
- Oppgavene ikke arkiveres (miste meldinger)
- Oppgaver arkiveres med feil info. (feiltolking eller feil logikk)
- Oppgaver arkiveres med feil tilganger (slik at oppgaver som ikke skal være offentlige, arkiveres slik at de blir offentlig synlige)

Kommentarer

“Brage skal fases ut og funksjonaliteten blir videreført i det som i dag har prosjektnavnet Cris/NVA. Innholdet som i dag ligger i Brage, vil bli flyttet til NVA (Nasjonalt vitenarkiv) sommeren 2023.” (https://sikt.no/tjenester/brage-lokale-vitenarkiv )