Innledning
Dette er en integrasjon for arkivering av Master oppgaver fra Wiseflow og Inspera. Integrasjonen bygger videre på arbeidet allerede gjort i forbindelse med Brage-integrasjonen. Da Brage-integrasjonen allerede henter inn master-oppgaver med tilhørende meta-data fra eksamen-systemene, benyttes den delen videre i denne integrasjonen.
Til arkivering, benyttes
Veiledning til integrasjonen og løsningsbeskrivelse :
Nøkkel info
Initiering av flyt | Inspera : Push (inspera-webhooks) | |
---|---|---|
Flyt møsnter | Halveis synkron | Den delen som leser inn fra Inspera er en egen prosess og er fra-koblet fra resten. Men den delen som arkiverer går synkront til arkiv-tjenesten |
Bruk av meldingskø | Ja, Kafka |
|
Open API | Nei | |
IntArk | Ikke brukt |
Bakgrunn
Arkivering av masteroppgaver er et krav som alle institusjoner skal oppfylle.
Interessenter
Dette er en leveranse til både Arkiv og Digital-eksamen. Kostandene deles derfor mellom disse 2.
Arkiv har produsert og bestemt den såkalte mappinsdokument som definerer hvordan oppgavene skal arkiveres i arkiv-systemet.
Brukerhistorie
Student A leverer masteroppgave i Inspera/Wiseflow. Oppgaven skal automatisk arkiveres i institusjonens arkivsystem etter at div. klage/begrunnelse frister er gått ut.
Systemer/tjenester
Detaljert liste av alle innvolverte systemer/tjenester Hva utveksler data? Fra hvor / Til hvor?
System | Data | Brukt API (endepunkter) |
---|---|---|
Config-databasen | Finner | configDB.orgs |
Config-databasen | Hvis prosessen var mislykket ( NB: Modulen hjelper utviklere og testere av systemet; sluttbrukeren vil ikke legge merke til det. | configDB.slack-blacklists |
FS-Digex | Henter ut en liste (en json-liste) over begrunnelsesforespørsler som har blitt opprettet eller endret siden oppgitt tidspunkt basert på | GET: /eksamen/begrunnelse/{examSystem} URL for test: https://fs-test.uio.no/eksamen/begrunnelse/<examSystem>?institusjonsnr=...&siden=...& https://www.fellesstudentsystem.no/brukersider/teknisk/fsws-dok/rest/digitaleksamen.html |
FS-Digex | Henter ut en json-liste basert på | GET: /eksamen/klager/{examSystem}/ URL for test: https://fs-test.uio.no/eksamen/klager/<examSystem>?institusjonsnr=...&siden=...& https://www.fellesstudentsystem.no/brukersider/teknisk/fsws-dok/rest/digitaleksamen.html |
FS-Digex | Henter begrunnelser for en gitt eksamen basert på | GET: /eksamen/begrunnelser/{examSystem}/{examId} URL for test: https://fs-test.uio.no/eksamen/begrunnelser/{examSystem}/{examId} https://www.fellesstudentsystem.no/brukersider/teknisk/fsws-dok/rest/digitaleksamen.html |
FS-Digex | Henter klager for en gitt eksamen basert på | GET: /eksamen/klager/{examSystem}/{examId} URL for test: https://fs-test.uio.no/eksamen/klager/{examSystem}/{examId} https://www.fellesstudentsystem.no/brukersider/teknisk/fsws-dok/rest/digitaleksamen.html |
FS-Digex | Registrerer | POST: /eksamen/begrunnelser/{examSystem} URL for test: https://fs-test.uio.no/eksamen/begrunnelser/<examSystem> |
Inspera | Henter alle relevante metadata | GET: /test/{testId} |
Inspera | Lar en søke etter tester basert på enkle kriterier ( | GET: /test/search |
Inspera | Henter alle begrunnelser og begrunnelse forespørsler for en gitt | GET: /test/{testId}/explanations |
Inspera | Når | POST: /test/{testId}/appeals/withdraw |
Inspera | Når | POST: /test/{testId}/appeals |
Inspera | Aktiver/oppdater alternativer for test | POST: /test/{testId}/options |
Inspera | Poster NB: Når de er publisert, er begrunnelse endelige, og det vil ikke være mulig å be om dem igjen. | POST: /test/{testId}/explanations https://api.inspera.no/apidoc/#/test/requestTestExplanations |
LaaS | Registrerer en indeks | do Index |
Mongo-databasen | Finner alle dokumenter i databasen ( | Find documents i oai.KlageBegrunnelseEnvs kolleksjonen |
Oai-databasen | legger auditInfoMap log til databasen | oai-addAuditLog |
Oai-databasen | Henter aktive institusjoner med aktiv klage- og begrunnelse-status som tilsvarer | oai.KlageBegrunnelseEnvs |
Oai-databasen | Hvis prosessen var mislykket ( | ‘Delete Kafka Message By Hash’ i oai.Records |
Oai-databasen | Henter | ‘Get Instance By Org And Env’ i oai.KlageBegrunnelseEnvs |
Oai-databasen | Legger klagen eller begrunnelsen (hvis den ikke er i databasen) til i databasen ( | oai.Records |
Slack | Sender feilmeldinger (inkludert også data på | Slack-kanalen (mule-prod) |
Tilgangsstyring og logging
Integrasjonen loger til Humio med detaljert logging av prosessen.
Integrasjonen er knyttet logg-oversikten som vil logge følgende data:
env
errorMessage (String)
examSys
inputTopic
instance
kafkaOffset
kandidatnr
key
klagestatus
orgId
personlopenr
submodule
success (boolsk)
testId
userCandidateId
vurdId (decodedVurdId)
Integrasjonen har ikke noe behov for tilgangstyring
Forretningsregler
Behandlingstid/responstid og volum
behandlingstid/responstid: gj.sn. ca. 6s
Frekvens: 2-minutter poll timeout for manuelt triggering og 120-minutters tidsplaner for faste frekvenser (Klage-beg-dispatcher), HTTPS ‘listener’ repeterbar fillagerstrøm for datastrømmestrategi (Inspera-webhook), 2-minutter poll timeout for Apache-Kafka forbruk for klage og 2-sekunder poll timeout for Apache-Kafka forbruk for klage-vedtak (Inspera-klage), 2-minutter poll timeout for Apache-Kafka forbruk for både begrunnelse og begrunnelse-svar (Inspera-begrunnelse)
Volum (målt: ): gj.sn. ca. 118k hits daglig
Feilhåndtering, konsekvenser av feil og overordnet risikoanalyse
Generelt vil status og dermed eventuelle feil være synlig og tilgjengelig for institusjonen via logg-oversikten. Det er også utarbeidet mulighet for at enkelt personer ved institusjonen kan melde seg på for mottak av feilmeldinger på epost daglig.
Videre har vi overvåkning av loggene via Humio for å fange opp feil-situasjoner utenfor institusjonens virkeområde, som f.eks. utilgjengelige API endepunkter og bugs i koden.
Hva skjer ved overload i kø?Det skjer ikke. Men om vi skulle på grunn av noe feil ikke motta meldingene fra eksamensystemene, vil : Inspera vite om det og sende dem på nytt. Wiseflow: er basert på polling, så vi kan alltid polle igjen
Hva skjer med ufullstendige meldinger?De vil feile og det vil vi oppdage i loggene og kan ta aksjon basert på det.
Inneholder meldingene personopplysninger?Merk at det utveksles mange “meldinger” mellom ulike systemer i løpet av en integrasjon. Melinger fra eksamensystem inneholder ikke noe persondata, men data vi henter fra FS basert på de meldingene gjør det. Filene vi arkiverer (som kommer fra eksamensystemene) kan også potensielt inneholde personopplysninger.
Noe om viktige feil/situasjoner som må passes ekstra på (som kan ha stor konsekvens) :Oppgavene ikke arkiveres (miste meldinger)Oppgaver arkiveres med feil info. (feiltolking eller feil logikk)Oppgaver arkiveres med feil tilganger (slik at oppgaver som ikke skal være offentlige, arkiveres slik at de blir offentlig synlige)