| Table of Contents | ||||||
|---|---|---|---|---|---|---|
|
Innledning
Dette er en integrasjon for arkivering av Master oppgaver fra Wiseflow og Inspera. Integrasjonen bygger videre på arbeidet allerede gjort i forbindelse med Brage-integrasjonen. Da Brage-integrasjonen allerede henter inn master-oppgaver med tilhørende meta-data fra eksamen-systemene, benyttes den delen videre i denne integrasjonen.
Til arkivering, benyttes
Veiledning til integrasjonen og løsningsbeskrivelse :
| Inc drawio | ||||||||||||||||||||||||||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
|
Nøkkel info
...
Initiering av flyt
...
Inspera : Push (inspera-webhooks)
...
Flyt møsnter
...
Halveis synkron
...
Den delen som leser inn fra Inspera er en egen prosess og er fra-koblet fra resten. Men den delen som arkiverer går synkront til arkiv-tjenesten
...
Bruk av meldingskø
...
Ja, Kafka
...
I klage-beg-dispatcher-app trigger den meldinger fra FS som skal komponeres og videresendes mot Inspera. Den mottar data nedenfor:
contextObjectId,contextObjectType,associatedObjectId,associatedObjectType,triggeringUserId,triggeringUserName,timestamp,org,instance,envogexamSystem, og sender over begrunnelser (vurdId,klage,examSys,orgIdogenv) til eksamenssystemet;ّInspera-webhook produserer webhook-meldinger (
timestamp,org,instance,envogexamSystem) mot Inspera;Inspera-klage forbruker
vurdId,examSys,orgId,envog klage meldinger (personlopenr, kandidatnr,brukernavn,fornavn,etternavn,klagestatus,sensurfrist,kommisjonsidOpprogkommisjonsidNy) sendes fra FS, og klage-vedtak meldinger fra Inspera (contextObjectId,contextObjectType,associatedObjectId,associatedObjectType,triggeringUserId,triggeringUserName,timestamp,org,instance,env,eventName,examSystem);Inspera-begrunnelse forbruker
vurdId,examSys,orgId,envog begrunnelse-forespørsler (personlopenr, kandidatnr,brukernavn,kommisjonsId,datoKlageMottatogdatoVedtakFormidlet) sendes fra FS, og begrunnelse-svar meldinger fra Inspera (contextObjectId,contextObjectType,associatedObjectId,associatedObjectType,triggeringUserId,triggeringUserName,timestamp,org,instance,env,eventName,examSystem).
...
Open API
...
Nei
...
IntArk
...
Ikke brukt
Bakgrunn
Arkivering av masteroppgaver er et krav som alle institusjoner skal oppfylle.
Interessenter
Dette er en leveranse til både Arkiv og Digital-eksamen. Kostandene deles derfor mellom disse 2.
Arkiv har produsert og bestemt den såkalte mappinsdokument som definerer hvordan oppgavene skal arkiveres i arkiv-systemet.
Brukerhistorie
Student A leverer masteroppgave i Inspera/Wiseflow. Oppgaven skal automatisk arkiveres i institusjonens arkivsystem etter at div. klage/begrunnelse frister er gått ut.
Systemer/tjenester
Detaljert liste av alle innvolverte systemer/tjenester Hva utveksler data? Fra hvor / Til hvor?
...
System
...
Data
...
Brukt API (endepunkter)
...
Config-databasen
...
Finner orgShortName i databasen til en gitt orgId
...
configDB.orgs
...
Config-databasen
...
Hvis prosessen var mislykket (success er False), henter den en 'blacklist' for tjenesten for å bestemme om det skal registreres som en Slack-feilmelding i kanalen.
NB: Modulen hjelper utviklere og testere av systemet; sluttbrukeren vil ikke legge merke til det.
...
configDB.slack-blacklists
...
FS-Digex
Henter ut en liste (en json-liste) over begrunnelsesforespørsler som har blitt opprettet eller endret siden oppgitt tidspunkt basert på examSystem, institutionNr (Nummeret for institusjonen som du skal hente fra) og changedSince (tidspunkt for sist sjekk).
...
| Table of Contents | ||||||
|---|---|---|---|---|---|---|
|
...
Innledning
Denne integrasjonen sørger for at klage- og begrunnelse-forespørsler sendes fra FS til eksamensystemet Inspera og at klage-vedtak og begrunnelser sendes tilbake fra eksamensystemet tilbake til FS.
Flytdiagramene på denne siden viser prosessen i detalj: Klage og begrunnelse (Inspera)
| Inc drawio | ||||||||||||||||||||||||||||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
|
Nøkkel info
Initiering av flyt | Inspera : Push (inspera-webhooks) (for begrunnelsesvar og klage-vedtak) FS: Pull (for begrunnelse og klage-forespørsler) | |
|---|---|---|
Flyt møsnter | Asynkron | |
Bruk av meldingskø | Ja; MeldingQ (Sikt egen melding-kø system basert på MongoDb, i.e. DocumentDb) |
|
Open API | Nei | |
IntArk | Ikke brukt |
Interessenter
Dette er en tjeneste bestilt av og levert til Digitaleksamen tilgjengelig for alle institusjoner som bruker Inspera som eksamensystem i dag.
Brukerhistorie
Studenten ber om klage/begrunnelse i FS (via studweb). Forespørselen registreres i Inspera. Sensoren behandler og svarer tilbake. Besvarelsen/klagevedtaket registreres tilbake i FS.
Systemer/tjenester
Detaljert liste av alle innvolverte systemer/tjenester Hva utveksler data? Fra hvor / Til hvor?
System | Data | Brukt API (endepunkter) |
|---|---|---|
Config-databasen | Finner | configDB.orgs |
Config-databasen | Hvis prosessen var mislykket ( NB: Modulen hjelper utviklere og testere av systemet; sluttbrukeren vil ikke legge merke til det. | configDB.slack-blacklists |
FS-Digex | Henter ut en liste (en json-liste) over begrunnelsesforespørsler som har blitt opprettet eller endret siden oppgitt tidspunkt basert på | GET: /eksamen/begrunnelse/{examSystem} URL for test: https://fs-test.uio.no/eksamen/begrunnelse/<examSystem>?institusjonsnr=...&siden=...& https://www.fellesstudentsystem.no/brukersider/teknisk/fsws-dok/rest/digitaleksamen.html |
FS-Digex | Henter ut en json-liste basert på | GET: /eksamen/klager/{examSystem}/ URL for test: https://fs-test.uio.no/eksamen/klager/<examSystem>?institusjonsnr=...&siden=...& https://www.fellesstudentsystem.no/brukersider/teknisk/fsws-dok/rest/digitaleksamen.html |
FS-Digex | Henter begrunnelser for en gitt eksamen basert på | GET: /eksamen/begrunnelser/{examSystem}/{examId} URL for test: https://fs-test.uio.no/eksamen/begrunnelser/{examSystem}/{examId} https://www.fellesstudentsystem.no/brukersider/teknisk/fsws-dok/rest/digitaleksamen.html |
FS-Digex | Henter klager for en gitt eksamen basert på | GET: /eksamen/klager/{examSystem}/{examId} URL for test: https://fs-test.uio.no/eksamen/klager/ |
{examSystem}/{examId} |
{examSystem}/{examId} https://www.fellesstudentsystem.no/brukersider/teknisk/fsws-dok/rest/digitaleksamen.html |
FS-Digex |
Henter ut en json-liste basert på institutionNr, siden og examSystem over klager som har blitt opprettet eller endret siden oppgitt tidspunkt.
Registrerer | POST: /eksamen/ |
begrunnelser/{examSystem} |
URL for test: https://fs-test.uio.no/eksamen/ |
begrunnelser/<examSystem> |
|
begrunnelser/<examSystem> |
https://www.fellesstudentsystem.no/brukersider/teknisk/fsws-dok/rest/digitaleksamen. |
FS-Digex
examSystem og examIdInspera | Henter alle relevante metadata | GET: / |
test/{ |
testId} |
URL for prod: https://fsws.usit.no/eksamen/begrunnelser/{examSystem}/{examId}
Inspera | Lar en søke etter tester basert på enkle kriterier ( | GET: /test/search |
FS-Digex
examSystem og examIdInspera | Henter alle begrunnelser og begrunnelse forespørsler for en gitt | GET: / |
test/{ |
testId}/ |
explanations |
URL for prod: https://fsws.usit.no/eksamen/klager/{examSystem}/{examId}
Inspera | Når | POST: /test/{testId}/appeals/withdraw |
FS-Digex
Registrerer explanations (urlBegrunnelse, datoBegrunnelseBedtOm, dokumentBegrunnelse, kandidatnr, datoBegrunnelseGitt, contentTypeBegrunnelse) gitt til en kandidat for en eksamen basert på examSystem
POST: /eksamen/begrunnelser/{examSystem}
URL for test: https://fs-test.uio.no/eksamen/begrunnelser/<examSystem>
URL for prod: https://fsws.usit.no/eksamen/begrunnelser/<examSystem>
Inspera
Henter alle relevante metadata assessmentRunId og result (generalInfo, assessmentInfo, externalTestInfo, options, committees, candidates, contributors, organizationalUnits osv) for testen gitt av instance og testId. Dette vil også inkludere alle relevante kandidatmetadata (userId, candidateId, attendanceStatus, deliveryMode, committeeId, committeeName, committeeGradingStatus, groupId, groupName, submissionDeletedOn, automaticQuestionScore, roomId, roomName, building, candidateExtraTime, incidentTime, finalGrade, gradedDate, startTime, endTime, restrictedUntilDate, deliveryDeadline, externalIds, lastDeviceName og assetsDownloadInfo).
Inspera | Når | POST: /test/{testId}/appeals |
Inspera | Aktiver/oppdater alternativer for test | POST: /test/{testId}/options |
Inspera | Poster NB: Når de er publisert, er begrunnelse endelige, og det vil ikke være mulig å be om dem igjen. | POST: /test/{testId}/explanations |
LaaS |
Lar en søke etter tester basert på enkle kriterier (tittel, instance og eksternId/vurdId).
GET: /test/search
Inspera
Henter alle begrunnelser og begrunnelse forespørsler for en gitt testId og instance. Dette vil kun returnere begrunnelser som er publisert.
GET: /test/{testId}/explanations
https://api.inspera.no/apidoc/#/test/getTestExplanationsInspera
Når klagestatus er "TRUKKET", poster den trekk av klage (gitt av testId og instance) til path med candidateId
POST: /test/{testId}/appeals/withdraw
https://api.inspera.no/apidoc/#/test/withdrawAppealInspera
Når klagestatus er "AKTIV", poster en klage for studenter på en prøve (gitt av testId og instance)
POST: /test/{testId}/appeals
https://api.inspera.no/apidoc/#/test/requestAppealsInspera
Aktiver/oppdater alternativer for test testOptions (gitt av testId og instance) for posting av begrunnelsen (postExplenation modulen)
POST: /test/{testId}/options
https://api.inspera.no/apidoc/#/test/setTestOptionsInspera
candidates til Inspera (gitt av testId og instance) og ber om begrunnelse for kandidater på testIdNB: Når de er publisert, er begrunnelse endelige, og det vil ikke være mulig å be om dem igjen.
POST: /test/{testId}/explanations
https://api.inspera.no/apidoc/#/test/requestTestExplanationsLaaS
Registrerer en indeks org, instance, env, event-name, remote-adr og request-uri i Humio (for å innta og beholde strømmedata)
do Index
Mongo-databasen
Finner alle dokumenter i databasen (orgId, examSys, insperaClientCode, fsEnv, instance, active, begrunnelse, klage, autoEpost og XklageFilter) som samsvarer med aktiv status og aktiv-verdi for Klage- eller Begrunnelse-felt.
Find documents i oai.KlageBegrunnelseEnvs kolleksjonen
Oai-databasen
legger auditInfoMap log til databasen
oai-addAuditLog
Oai-databasen
Henter aktive institusjoner med aktiv klage- og begrunnelse-status som tilsvarer examSystem, org og instance
oai.KlageBegrunnelseEnvs
Oai-databasen
Hvis prosessen var mislykket (success er False), fjerner Kafka melding fra databasen basert på hash verdi
‘Delete Kafka Message By Hash’ i oai.Records
Oai-databasen
Henter intance som tilsvarer orgId og klage/begrunnelse env fra databasen
‘Get Instance By Org And Env’ i oai.KlageBegrunnelseEnvs
Oai-databasen
Legger klagen eller begrunnelsen (hvis den ikke er i databasen) til i databasen (vurdId, klage, examSys, orgId og env).
oai.Records
Slack
Sender feilmeldinger (inkludert også data på module-idog submodul, organisasjons shortName og orgId, examSystem, examSysInstance, vurdId, fetchFsListDates, decodedFsTestId og filesToArchive). Det stemmer overens med Config-databasen (configDB.slack-blacklists).
Slack-kanalen (mule-prod)
Tilgangsstyring og logging
Integrasjonen loger til Humio med detaljert logging av prosessen.
Integrasjonen er knyttet logg-oversikten som vil logge følgende data:
env
errorMessage (String)
examSys
inputTopic
instance
kafkaOffset
kandidatnr
key
klagestatus
orgId
personlopenr
submodule
success (boolsk)
testId
userCandidateId
vurdId (decodedVurdId)
Integrasjonen har ikke noe behov for tilgangstyring
Forretningsregler
Behandlingstid/responstid og volum
behandlingstid/responstid: gj.sn. ca. 6s
Frekvens: 2-minutter poll timeout for manuelt triggering og 120-minutters tidsplaner for faste frekvenser (Klage-beg-dispatcher), HTTPS ‘listener’ repeterbar fillagerstrøm for datastrømmestrategi (Inspera-webhook), 2-minutter poll timeout for Apache-Kafka forbruk for klage og 2-sekunder poll timeout for Apache-Kafka forbruk for klage-vedtak (Inspera-klage), 2-minutter poll timeout for Apache-Kafka forbruk for både begrunnelse og begrunnelse-svar (Inspera-begrunnelse)
Volum (målt: ): gj.sn. ca. 118k hits daglig
Feilhåndtering, konsekvenser av feil og overordnet risikoanalyse
Generelt vil status og dermed eventuelle feil være synlig og tilgjengelig for institusjonen via logg-oversikten. Det er også utarbeidet mulighet for at enkelt personer ved institusjonen kan melde seg på for mottak av feilmeldinger på epost daglig.
Videre har vi overvåkning av loggene via Humio for å fange opp feil-situasjoner utenfor institusjonens virkeområde, som f.eks. utilgjengelige API endepunkter og bugs i koden.
...
Hva skjer ved overload i kø?
Det skjer ikke. Men om vi skulle på grunn av noe feil ikke motta meldingene fra eksamensystemene, vil : Inspera vite om det og sende dem på nytt. Wiseflow: er basert på polling, så vi kan alltid polle igjen
Hva skjer med ufullstendige meldinger?
...
Registrerer en indeks | do Index | |
Mongo-databasen | Finner alle dokumenter i databasen ( | Find documents i oai.KlageBegrunnelseEnvs kolleksjonen |
Oai-databasen | legger auditInfoMap log til databasen | oai-addAuditLog |
Oai-databasen | Henter aktive institusjoner med aktiv klage- og begrunnelse-status som tilsvarer | oai.KlageBegrunnelseEnvs |
Oai-databasen | Henter | ‘Get Instance By Org And Env’ i oai.KlageBegrunnelseEnvs |
Oai-databasen | Legger klagen eller begrunnelsen (hvis den ikke er i databasen) til i databasen ( | oai.Records |
Slack | Sender feilmeldinger (inkludert også data på | Slack-kanalen (mule-prod) |
Tilgangsstyring og logging
Integrasjonen loger til Humio med detaljert logging av prosessen.
Integrasjonen er knyttet logg-oversikten (som er tilgjengelig for brukerne å se). Følgende data logges i databasen :
env
errorMessage (String)
examSys
instance
kandidatnr
klagestatus
orgId
personlopenr
submodule
success (boolsk)
testId
userCandidateId
vurdId (decodedVurdId)
Integrasjonen har ikke noe behov for tilgangstyring
Forretningsregler
Utover hovedprosessen slik det framkommer i flyt-digrammet:
Klage- og begrunnelse forespørslene leses fra FS annen hvertime for 2 dager tilbake i tid. Det vil si hver forespørsel leses 24 ganger totalt og det betyr igjen at FS kan være nede i 2 dager før vi begynner å miste data.
Når en forespørsel er lest, og sendt vellykket, vil den ikke forsøkes sendt videre igjen på 2 dager.
Inspera støtter en funksjon, der brukeren kan inne i Inspera, inne på en prøve, klikke på en knapp for å trigge overføring av alle klage og begrunnelse forespørsler.
Behandlingstid/responstid og volum
behandlingstid/responstid: gj.sn. ca. 2s
Frekvens: Den nye meldingssystemet (meldingQ) kjører uten forsinkelse på meldingskøen – lytteren til køen tar meldinger én etter én og starter behandlingen umiddelbart (fra webhooks og klage-beg-dispatcher). Hver melding hentes direkte fra databasen, prosesseres, og status oppdateres deretter til enten ‘processed’ eller ‘failed’ i samme database-kolleksjon.
Volum (målt: ): gj.sn. ca. 1k (klage+begrunnelse) hits (i.e. “correlationId“) daglig
Feilhåndtering, konsekvenser av feil og overordnet risikoanalyse
Den mest sannsynlige og nærmest uunngåelige feilen som kan oppstå er å miste meldinger (klage/begrunnelser på vei til eller fra Inspera fra/til FS). Generelt vil status og dermed eventuelle feil være synlig og tilgjengelig for institusjonen via logg-oversikten (https://dbapp.de-c1.eu1.cloudhub.io/). Det er også utarbeidet mulighet for at enkelt personer ved institusjonen kan melde seg på for mottak av feilmeldinger på epost daglig (“Jeg vil ha e-post varsling”-knappe). Videre har vi overvåkning av loggene via Humio for å fange opp feil-situasjoner utenfor institusjonens virkeområde.
Miste meldinger
Tjenesten benytter resendt-tjenesten vår, som sørger for at meldinger forsøkes resendt. Alle feilede overføringer, vil forsøkes resendt, oftest 5 ganer hver halvtime. Dette betyr om noen av syetemene (FS eller Insepera ..) feiler eller mister konnektivitet mindre enn 2.5 timer, vil integrasjonen håndtere det automatisk.
For feil som varer lenger, kan vi med en enkel manuell operasjon (oppdatering av failedAttemps i databasen), trigge nye overføringer på nytt.
Klage- begrunnelse-forespørslene er alltid tilgjengelige i FS og kan alltid hentes ut igjen tilbake i tid, da den er pull-basert. Det er verre med meldinger fra Inspera. Om vi får problem med web-hook-app’en derimot, slik at den ikke mottar meldinger om innkommende begrunnelse/klage-vedtak, vil de være borte. Inspera vil da få feilmelding ved sending av meldingene via webhooks og dermed vite hvilke meldinger som ikke er sendt. Vi må da be Inspera om å sende de meldingene på nytt.
Hva skjer ved overload i kø?
Det skjer ikke da-køene kun har én parallell forbruker ('queue-listener'). Men om vi skulle på grunn av noe feil ikke motta meldingene fra eksamensystemene, vil : Inspera vite om det og sende dem på nytt.
Hva skjer med ufullstendige meldinger?
De vil feile og det vil vi oppdage i loggene og kan ta aksjon basert på det.
Meldinger med status ‘failed’ (opptil 5 ganger) eller ‘processing’ (med 10 minutters forsinkelse for å sikre at meldingen ikke allerede behandles) blir hentet fra kolleksjonen igjen i grupper på opptil 100, og behandlet i samme flyt.
Meldingssystemet bruker ‘manual’ protokoll for håndtering av bekreftelse, som betyr at prosessen fullføres med en endelig status ‘failed’ eller ‘processed’ for hver melding etter fullført behandling. Ingen meldinger skal ha status ‘processing’ eller ‘enqueued’ lengre enn forventet behandlingstid.
Inneholder meldingene personopplysninger?
Merk at det utveksles mange “meldinger” mellom ulike systemer i løpet av en integrasjon. Melinger fra eksamensystem Melingene fra FS eller Inspera, inneholder ikke noe direkte persondata, men data vi henter fra FS basert på de meldingene gjør det. Filene vi arkiverer (som kommer fra eksamensystemene) kan også potensielt inneholde personopplysninger.
Noe om viktige feil/situasjoner som må passes ekstra på (som kan ha stor konsekvens) :Oppgavene ikke arkiveres (miste meldinger)Oppgaver arkiveres med feil info. (feiltolking eller feil logikk)Oppgaver arkiveres med feil tilganger (slik at oppgaver som ikke skal være offentlige, arkiveres slik at de blir offentlig synlige)de inneholder kandidatnr og brukernavn.
Inneholder meldingene sensitive personopplysninger?
ifølge definisjonen på sensitive personopplysninger hos Sikt (Sikt Personvernhåndbok) kan vi konstatere at det ikke forekommer behandling eller overføring av slike data i MuleSoft-plattformen.