| Inc drawio | ||||||||||||||||||||||||||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
|
| Table of Contents | ||||||
|---|---|---|---|---|---|---|
|
Innledning
Dette er en integrasjon for arkivering av Master oppgaver fra Wiseflow og Inspera. Integrasjonen bygger videre på arbeidet allerede gjort i forbindelse med Brage-integrasjonen. Da Brage-integrasjonen allerede henter inn master-oppgaver med tilhørende meta-data fra eksamen-systemene, benyttes den delen videre i denne integrasjonen.
Til arkivering, benyttes
Veiledning til integrasjonen og løsningsbeskrivelse :
Nøkkel info
...
Initiering av flyt
...
Poll-request
...
Flyt møsnter
...
Halveis synkron
...
Bruk av meldingskø
...
Ja, Kafka
...
Inspera-webhook produserer webhook-meldinger (
timestamp,org,instance,envogexamSystem) mot begge eksamenssystemene (Inspera/WISEflow);Brage også forbruker
event,contextObjectId,contextObjectType,associatedObjectId,associatedObjectType,triggeringUserId,triggeringUserName,inputTopic,id,action,licenseId,flowId,userId,submissionId,participantId,isHandedIn,callTime,eventVersion,sequenceNumber,timestamp,org,instance,env,eventNameogexamSystemfra eksamensystemer
...
Open API
...
Nei
...
IntArk
...
Ikke brukt
Bakgrunn
Arkivering av masteroppgaver er et krav som alle institusjoner skal oppfylle.
Interessenter
Dette er en leveranse til både Arkiv og Digital-eksamen. Kostandene deles derfor mellom disse 2.
Arkiv har produsert og bestemt den såkalte mappinsdokument som definerer hvordan oppgavene skal arkiveres i arkiv-systemet.
Brukerhistorie
Student A leverer masteroppgave i Inspera/Wiseflow. Oppgaven skal automatisk arkiveres i institusjonens arkivsystem etter at div. klage/begrunnelse frister er gått ut.
Systemer/tjenester
Detaljert liste av alle innvolverte systemer/tjenester Hva utveksler data? Fra hvor / Til hvor?
...
System
...
Data
...
Brukt API (endepunkter)
...
Config-databasen
...
Finner orgShortName i databasen til en gitt orgId
...
configDB.orgs
...
Config-databasen
...
Hvis prosessen var mislykket (success er False), henter den en 'blacklist' for tjenesten for å bestemme om det skal registreres som en Slack-feilmelding i kanalen.
NB: Modulen hjelper utviklere og testere av systemet; sluttbrukeren vil ikke legge merke til det.
...
configDB.slack-blacklists
...
FS-Digex
...
Henter status (et JSON-objekt) på bachelor/master oppgave ifm overføring til Brage (basert på examSystem og taskId)
GET:/eksamen/ferdigstatus/{examSystem}/{taskId}
URL for test: https://fs-test.uio.no/eksamen/ferdigstatus/<ID>?fnr=<nr>&.....
URL for prod: https://fsws.usit.no/eksamen/ferdigstatus/<ID>?fnr=<nr>&.......
...
FS-Digex
Henter ut en liste (en json-liste) over begrunnelsesforespørsler som har blitt opprettet eller endret siden oppgitt tidspunkt basert på examSystem, institutionNr (Nummeret for institusjonen som du skal hente fra) og changedSince (tidspunkt for sist sjekk).
GET: /eksamen/begrunnelse/{examSystem}
URL for test: https://fs-test.uio.no/eksamen/begrunnelse/<examSystem>?institusjonsnr=...&siden=...&
URL for prod: https://fsws.usit.no/eksamen/begrunnelse/<examSystem>?institusjonsnr=...&siden=...&
...
FS-Digex
...
Henter begrunnelser for en gitt eksamen basert på examSystem og examId.
GET: /eksamen/begrunnelser/{examSystem}/{examId}
URL for test: https://fs-test.uio.no/eksamen/begrunnelser/{examSystem}/{examId}
URL for prod: https://fsws.usit.no/eksamen/begrunnelser/{examSystem}/{examId}
https://www.fellesstudentsystem.no/brukersider/teknisk/fsws-dok/rest/digitaleksamen.html
...
FS-Digex
...
Registrerer explanations (urlBegrunnelse, datoBegrunnelseBedtOm, dokumentBegrunnelse, kandidatnr, datoBegrunnelseGitt, contentTypeBegrunnelse) gitt til en kandidat for en eksamen basert på examSystem
POST: /eksamen/begrunnelser/{examSystem}
URL for test: https://fs-test.uio.no/eksamen/begrunnelser/<examSystem>
URL for prod: https://fsws.usit.no/eksamen/begrunnelser/<examSystem>
...
Inspera
...
planlegger og laster ned innlevering av en enkelt kandidat eller gruppe på en test …😎
...
GET: /candidates/submission/{testId}/{userId} (depreciated)
POST: /fileExport/order (resourceType 'CandidateSubmission')
https://api.inspera.no/apidoc/#/fileExport/orderExports
...
Inspera
...
Henter resultatkandidatinformasjonen (title, startTime, endTime, assessmentRunId, externalId, candidateId) for en gitt bruker på en gitt test (instance, org, assessmentRunId og userOrGroupId)
GET: /candidates/listTests/{userId}
...
Inspera
...
Henter alle relevante metadata assessmentRunId og result (generalInfo, assessmentInfo, externalTestInfo, options, committees, candidates, contributors, organizationalUnits osv) for testen gitt av instance og testId. Dette vil også inkludere alle relevante kandidatmetadata (userId, candidateId, attendanceStatus, deliveryMode, committeeId, committeeName, committeeGradingStatus, groupId, groupName, submissionDeletedOn, automaticQuestionScore, roomId, roomName, building, candidateExtraTime, incidentTime, finalGrade, gradedDate, startTime, endTime, restrictedUntilDate, deliveryDeadline, externalIds, lastDeviceName og assetsDownloadInfo).
GET: /test/{testId}
...
LaaS
...
Registrerer en indeks org, instance, env, event-name, remote-adr og request-uri i Humio (for å innta og beholde strømmedata)
...
do Index
...
Mongo-databasen
...
Finner alle dokumenter i databasen (orgId, examSys, insperaClientCode, fsEnv, instance, active, begrunnelse, klage, autoEpost og XklageFilter) som samsvarer med aktiv status og aktiv-verdi for Klage- eller Begrunnelse-felt.
...
Find documents i oai.KlageBegrunnelseEnvs kolleksjonen
...
Oai-databasen
...
Henter record med identifier query
...
oai-getRecords
...
Oai-databasen
...
Legger til et nytt dokument i databasen
...
oai-addRecord
...
Oai-databasen
...
Oppdaterer et dokument i databasen
...
oai-updateRecord
...
Oai-databasen
...
Legger auditInfoMap log til databasen
...
oai-addAuditLog
...
Oai-databasen
...
Hente dokumenter fra et visst antall dager tilbake (fs-check-days-back)
...
oai-getPassedExpectedRecords
...
Oai-databasen
...
Legger filer (mainDoc og attachments) til i databasen (BrageFil)
...
oai-upsertBrageFile
...
Oai-databasen
...
Henter aktive institusjoner med aktiv klage- og begrunnelse-status som tilsvarer examSystem, org og instance
...
oai.KlageBegrunnelseEnvs
...
Oai-databasen
...
Sender category (wiseflow-begrunnelse) og Json-string (vurdId, klage, examSys, orgId og env) til databasen, og hvis
...
‘returnTrueAndAddToDatabaseIfNotInDatabase’ i oai.kafkaMessages
...
Oai-databasen
...
Henter dokumenter som ikke ble behandlet (success er False med mindre enn 5 failedAttempts) for å sende dem videre i flyten for å prøve på nytt.
...
oai.LastAudit
...
Slack
...
Sender feilmeldinger (inkludert også data på module-idog submodul, organisasjons shortName og orgId, examSystem, examSysInstance, vurdId, fetchFsListDates, decodedFsTestId og filesToArchive). Det stemmer overens med Config-databasen (configDB.slack-blacklists).
...
Slack-kanalen (mule-prod)
...
WISEflow
...
Returnerer informasjon om karakterbegrunnelsen (av gitt orgShortName, env, flowId og explanationRequestId). Denne informasjonen inneholder navnet på flyten (flowId), datoer (requestDate, assignDate, acceptDate og dueDate), informasjon om participant, informasjon om assignedAssessor og eventuell karakterbegrunnelse gitt med mer.
...
GET: /flow/{flowId}/explanation/request/{explanationRequestId}
https://europe-apidocs.wiseflow.net/
...
WISEflow
...
Oppdater synligheten til en karakterbegrunnelse (av gitt orgShortName, env, flowId og explanationRequestId) for participant i WISEflow med flowId, explanationRequestId og showJustification.
...
PATCH: /flow/{flowId}/explanation/request/{explanationRequestId}
https://europe-apidocs.wiseflow.net/
...
WISEflow
...
Returnerer en liste (combinedMainFlowId, purpose, combinedSubFlowIds, variant, state, creationDate, type og flowId) over flyter som samsvarer med spørringsparameteren (sisCode, env og orgShortName).
...
GET: /license/sis/flows/{sisCode}
https://europe-apidocs.wiseflow.net/
...
WISEflow
...
Henter opp grunnleggende informasjon for en gitt flyt som navn, type, start- og sluttdato som kan brukes til å identifisere flyten (basert på contextObjectId (Flow id), org (orgShortName) og env).
...
GET: /flow/{flowId}
https://europe-apidocs.wiseflow.net/
...
WISEflow
...
Returnerer grunnleggende informasjon (submissionId, assessorIds, groupId, id, assessorGroupIds og user) om alle deltakere som er tildelt en gitt flowId.
...
| Table of Contents | ||||||
|---|---|---|---|---|---|---|
|
...
Innledning
Brage er en tjeneste for publisering og effektiv tilgjendeliggjøring av institusjonens forsknings- og studentarbeid. Denne integrasjonen sørger for publisering av master- og bachelor-oppgaver som leveres i eksamensystemene Inspera og Wiseflow.
For å kunne publisere oppgavene, trenger integrasjonen en del ekstra meta-data som tittel, sammendrag, veildere, forfattere, språk og om oppgaven skal publiseres og eventuelt om det skal være noe utsatt-publisering. Det er litt ulikt mellom Inspera og Wiseflow hvordan hver enkelt av disse informasjonselementene plukkes opp.
Se også dokumentasjon og flytdiagram her : Publisering av Master/Bachelor
Teknisk dokumentasjon for sensurprotokoll: Bevaring av sensurprotokoll
| Inc drawio | ||||||||||||||||||||||||||||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
|
Nøkkel info
Initiering av flyt | Innlevering av master/bachelor-oppgaver |
|
|---|---|---|
Flyt møsnter | Asynkron | Ved levering av oppgaver, sendes det webhook meldinger som trigger jobben |
Bruk av meldingskø | Ja; MeldingQ (Sikt egen melding-kø system basert på MongoDb, i.e. DocumentDb) |
|
Open API | Nei | |
IntArk | Ikke brukt |
Bakgrunn
Det er behov for publisering av master og bachelor oppgaver. Oppgavene legges inn/lastes opp av studentene i eksamensystemet (Inspera/Wiseflow). De plukkes opp av integrasjonen og publiseres i Brage/NVA.
Interessenter
Dette er en leveranse til Digital-eksamen.
PS! Arkiv, i forbindelse med integrasjonen for arkivering av master/bachelor oppgaver, gjenbruker deler av denne integrasjonen
Brukerhistorie
en student leverer en bachelor- eller masteroppgave (for seg selv, eller på vegne av en gruppe) via en av de to eksamenssystemene. Oppgaven plukkes opp, og publiseres når den er klar for publisering.
Systemer/tjenester
Detaljert liste av alle innvolverte systemer/tjenester Hva utveksler data? Fra hvor / Til hvor?
System | Data | Brukt API (endepunkter) |
|---|---|---|
Config-databasen | setter | configDB.getSingleOrg |
Config-databasen | Henter en list fra databasen ( | configDB.getSlackBlacklist |
FS-Digex | Henter status (et JSON-objekt) på bachelor/master oppgave ifm overføring til Brage (basert på | GET:/eksamen/ferdigstatus/{examSystem}/{taskId} URL for test: https://fs-test.uio.no/eksamen/ferdigstatus/<ID>?fnr=<nr>&..... https://www.fellesstudentsystem.no/brukersider/teknisk/fsws-dok/rest/digitaleksamen.html |
Inspera | Hent resultatkandidatinformasjonen for en gitt bruker på en gitt test. Dette samsvarer nesten nøyaktig med utdata fra kandidatinformasjon i GET /test/ API, kun fokusert på en spesifikk bruker ( | GET:/v1/candidates/result/{testId}/{userId} https://api.inspera.no/apidoc/#/candidates/getCandidateResult |
Inspera | Henter alle relevante metadata | GET: /test/{testId} |
LaaS | Registrerer en indeks | do Index |
Oai-databasen | Henter en record med | oai-getRecord |
Oai-databasen | Legger til et nytt dokument i databasen | oai-addRecord |
Oai-databasen | Oppdaterer et dokument i databasen | oai-updateRecord |
Oai-databasen | Legger auditInfoMap log til databasen | oai-addAuditLog |
Oai-databasen | Hente dokumenter fra et visst antall dager tilbake ( | oai-getPassedExpectedRecords |
Oai-databasen | Legger filer ( | oai-upsertBrageFile |
Oai-databasen | Henter filer klare for opplasting ( | oai-getBrageFiles |
Oai-databasen | Henter en rekke 'repo’er for systemet ( | oai-getRepositoriesForSystem |
Amazon S3 | Overfører arkiverte filer ( | upload file: |
Slack | Sender feilmeldinger (inkludert også data på | Slack-kanalen (mule-prod) |
WISEflow | Returnerer informasjon om en innlevering ( | GET: /flow/{flowId}/submission/{submissionId} |
WISEflow |
Hvis den er aktivert på flyten (av gitt orgShortName, env, flowId , dueDate og participantId), kan en participant be om en begrunnelse på den gitte vurderingen.
Henter opp grunnleggende informasjon for en gitt flyt som navn, type, start- og sluttdato som kan brukes til å identifisere flyten (basert på | GET: /flow/{flowId} |
Tilgangsstyring og logging
Integrasjonen loger til Humio med detaljert logging av prosessen.
Integrasjonen er knyttet logg-oversikten som vil logge følgende data:
action, callTime, candidateIds, event, eventName, eventVersion, env, errorMessage, examSys (examSystem), flowId, id (identifier), identifier, inputTopic, isHandedIn, key, licenseId, moduleId, modified_date, orgId (org), participantId, sequenceNumber, submissionId, submodule, success (boolsk), testId, timestamp, triggeringCandidateId, vurdId (decodedVurdId) og userId
Integrasjonen har ikke noe behov for tilgangstyring
Forretningsregler
Behandlingstid/responstid og volum
Behandlingstid/responstid: ca. 2s4s
Frekvens: HTTPS-‘listener’ repeterbar fillagerstrøm for datastrømmestrategi (Inspera-webhook, brage-app og oai-pmh) og 5-minutter poll timeout for Apache-Kafka forbruk for eksamensystemer (Brage-app)Den nye meldingssystemet (meldingQ) kjører uten forsinkelse på meldingskøen – lytteren til køen tar meldinger én etter én og starter behandlingen umiddelbart. Hver melding hentes direkte fra databasen, prosesseres, og status oppdateres deretter til enten ‘processed’ eller ‘failed’ i samme database-kolleksjon.
Volum (målt: ): gj.sn. ca. 23k 8k hits daglig
Feilhåndtering, konsekvenser av feil og overordnet risikoanalyse
Generelt vil status og dermed eventuelle feil være synlig og tilgjengelig for institusjonen via logg-oversikten (https://dbapp.de-c1.eu1.cloudhub.io/). Det er også utarbeidet mulighet for at enkelt personer ved institusjonen kan melde seg på for mottak av feilmeldinger på epost daglig . (“Jeg vil ha e-post varsling”-knappe). Videre har vi overvåkning av loggene via Humio for å fange opp feil-situasjoner utenfor institusjonens virkeområde, som f. eks. utilgjengelige API endepunkter og bugs i koden.
Hva skjer ved overload i kø?
Det skjer ikke. Men om vi skulle på grunn av noe feil ikke motta meldingene fra eksamensystemene, vil : Inspera vite om det og sende dem på nytt. Wiseflow: er basert på polling, så vi kan alltid polle igjen
De vil feile og det vil vi oppdage i loggene og kan ta aksjon basert på detHva skjer med ufullstendige meldinger?kø?
Det skjer ikke da-køene kun har én parallell forbruker (' queue-listener');
Hva skjer med ufullstendige meldinger?
Meldinger med status ‘failed’ (opptil 5 ganger) eller ‘processing’ (med 10 minutters forsinkelse for å sikre at meldingen ikke allerede behandles) blir hentet fra kolleksjonen igjen i grupper på opptil 100, og behandlet i samme flyt.
Meldingssystemet bruker ‘manual’ protokoll for håndtering av bekreftelse, som betyr at prosessen fullføres med en endelig status ‘failed’ eller ‘processed’ for hver melding etter fullført behandling. Ingen meldinger skal ha status ‘processing’ eller ‘enqueued’ lengre enn forventet behandlingstid.
Inneholder meldingene personopplysninger?
Merk at det utveksles mange “meldinger” mellom ulike systemer i løpet av en integrasjon. Melinger fra eksamensystem inneholder ikke noe persondataløpet av en integrasjon. Melinger fra eksamensystem inneholder ikke noe persondata (meldingen består av
contextObjectId,contextObjectType,ASSESSMENT_RUN,associatedObjectId,associatedObjectType,triggeringUserId,triggeringUserName,timestamp,org,instance,envogexamSystem), men data vi henter fra FS basert på de meldingene gjør det. Filene vi arkiverer (som kommer fra eksamensystemene) kan også potensielt inneholde personopplysninger.
Noe om viktige feil/situasjoner som må passes ekstra på (som kan ha stor konsekvens) :
Oppgavene ikke arkiveres (miste meldinger)
Oppgaver arkiveres med feil info. (feiltolking eller feil logikk)
Oppgaver arkiveres med feil tilganger (slik at oppgaver som ikke skal være offentlige, arkiveres slik at de blir offentlig synlige)
Kommentarer
“Brage skal fases ut og funksjonaliteten blir videreført i det som i dag har prosjektnavnet Cris/NVA. Innholdet som i dag ligger i Brage, vil bli flyttet til NVA (Nasjonalt vitenarkiv) i løpet av 2023.” (https://sikt.no/tjenester/brage-lokale-vitenarkiv )