Page Comparison

Innledning

Dette er en integrasjon for arkivering av Master oppgaver fra Wiseflow og Inspera. Integrasjonen bygger videre på arbeidet allerede gjort i forbindelse med Brage-integrasjonen. Da Brage-integrasjonen allerede henter inn master-oppgaver med tilhørende meta-data fra eksamen-systemene, benyttes den delen videre i denne integrasjonen.

Til arkivering, benyttes

Veiledning til integrasjonen og løsningsbeskrivelse :

Nøkkel info

...

Initiering av flyt

...

Inspera : Push (inspera-webhooks)
WISEflow : Poll-request

...

Flyt møsnter

...

Halveis synkron

...

Den delen som leser inn fra Inspera/Wiseflow er en egen prosess og er fra-koblet fra resten. Men den delen som arkiverer går synkront til arkiv-tjenesten

...

Bruk av meldingskø

...

Ja, Kafka

...

• I klage-beg-dispatcher-app trigger den meldinger fra FS som skal komponeres og videresendes mot eksamensystemer. Den mottar data nedenfor: contextObjectId, contextObjectType, associatedObjectId, associatedObjectType, triggeringUserId, triggeringUserName, timestamp, org, instance, env og examSystem, og sender over begrunnelser (vurdId, klage, examSys, orgId og env) til Inspera/WISEflow.

• ّInspera-webhook produserer webhook-meldinger (timestamp, org, instance, env og examSystem) mot begge eksamenssystemene (Inspera/WISEflow);

• Inspera-klage og wiseflow-klage forbruker vurdId, examSys, orgId, env og klage meldinger (personlopenr, kandidatnr, brukernavn, fornavn, etternavn, klagestatus, sensurfrist, kommisjonsidOppr og kommisjonsidNy) sendes fra FS, og klage-vedtak meldinger fra Inspera (contextObjectId, contextObjectType, associatedObjectId, associatedObjectType, triggeringUserId, triggeringUserName, timestamp, org, instance, env, eventName, examSystem) eller svar fra wiseflow (flowId, explanationRequestId, participantId, assessorId, callTime, sequenceNumber, timestamp, org, env og examSystem).

• Inspera-begrunnelse og wiseflow-begrunnelse forbruker vurdId, examSys, orgId, env og begrunnelse-forespørsler (personlopenr, kandidatnr, brukernavn, kommisjonsId, datoKlageMottat og datoVedtakFormidlet) sendes fra FS, og begrunnelse-svar meldinger fra Inspera (contextObjectId, contextObjectType, associatedObjectId, associatedObjectType, triggeringUserId, triggeringUserName, timestamp, org, instance, env, eventName, examSystem).

...

Open API

...

Nei

...

IntArk

...

Ikke brukt

Bakgrunn

Arkivering av masteroppgaver er et krav som alle institusjoner skal oppfylle.

Interessenter

Dette er en leveranse til både Arkiv og Digital-eksamen. Kostandene deles derfor mellom disse 2.

Arkiv har produsert og bestemt den såkalte mappinsdokument som definerer hvordan oppgavene skal arkiveres i arkiv-systemet.

Brukerhistorie

• Student A leverer masteroppgave i Inspera/Wiseflow. Oppgaven skal automatisk arkiveres i institusjonens arkivsystem etter at div. klage/begrunnelse frister er gått ut.

Systemer/tjenester

• Detaljert liste av alle innvolverte systemer/tjenester Hva utveksler data? Fra hvor / Til hvor?

...

System

...

Data

...

Brukt API (endepunkter)

...

Config-databasen (& WB )

...

Finner orgShortName i databasen til en gitt orgId

...

configDB.orgs

...

Config-databasen (ALL)

...

Hvis prosessen var mislykket (success er False), henter den en 'blacklist' for tjenesten for å bestemme om det skal registreres som en Slack-feilmelding i kanalen.

NB: Modulen hjelper utviklere og testere av systemet; sluttbrukeren vil ikke legge merke til det.

...

configDB.slack-blacklists

...

FS-Digex ( & WB)

Henter ut en liste (en json-liste) over begrunnelsesforespørsler som har blitt opprettet eller endret siden oppgitt tidspunkt basert på examSystem, institutionNr (Nummeret for institusjonen som du skal hente fra) og changedSince (tidspunkt for sist sjekk).

GET: /eksamen/begrunnelse/{examSystem}

URL for test: https://fs-test.uio.no/eksamen/begrunnelse/<examSystem>?institusjonsnr=...&siden=...&
URL for prod: https://fsws.usit.no/eksamen/begrunnelse/<examSystem>?institusjonsnr=...&siden=...&

...

FS-Digex

...

Henter ut en json-liste basert på institutionNr, siden og examSystem over klager som har blitt opprettet eller endret siden oppgitt tidspunkt.

GET: /eksamen/klager/{examSystem}/

URL for test: https://fs-test.uio.no/eksamen/klager/<examSystem>?institusjonsnr=...&siden=...&
URL for prod: https://fsws.usit.no/eksamen/klager/<examSystem>?institusjonsnr=...&siden=...&

...

FS-Digex

...

Henter begrunnelser for en gitt eksamen basert på examSystem og examId.

GET: /eksamen/begrunnelser/{examSystem}/{examId}

URL for test: https://fs-test.uio.no/eksamen/begrunnelser/{examSystem}/{examId}
URL for prod: https://fsws.usit.no/eksamen/begrunnelser/{examSystem}/{examId}

https://www.fellesstudentsystem.no/brukersider/teknisk/fsws-dok/rest/digitaleksamen.html

...

FS-Digex

...

Henter klager for en gitt eksamen basert på examSystem og examId.

...

GET: /eksamen/klager/{examSystem}/{examId}

URL for test: https://fs-test.uio.no/eksamen/klager/{examSystem}/{examId}
URL for prod: https://fsws.usit.no/eksamen/klager/{examSystem}/{examId}

https://www.fellesstudentsystem.no/brukersider/teknisk/fsws-dok/rest/digitaleksamen.html

...

FS-Digex (InB & WB)

...

Registrerer explanations (urlBegrunnelse, datoBegrunnelseBedtOm, dokumentBegrunnelse, kandidatnr, datoBegrunnelseGitt, contentTypeBegrunnelse) gitt til en kandidat for en eksamen basert på examSystem

POST: /eksamen/begrunnelser/{examSystem}

URL for test: https://fs-test.uio.no/eksamen/begrunnelser/<examSystem>
URL for prod: https://fsws.usit.no/eksamen/begrunnelser/<examSystem>

...

Inspera (InK & InB)

...

Henter alle relevante metadata assessmentRunId og result (generalInfo, assessmentInfo, externalTestInfo, options, committees, candidates, contributors, organizationalUnits osv) for testen gitt av instance og testId. Dette vil også inkludere alle relevante kandidatmetadata (userId, candidateId, attendanceStatus, deliveryMode, committeeId, committeeName, committeeGradingStatus, groupId, groupName, submissionDeletedOn, automaticQuestionScore, roomId, roomName, building, candidateExtraTime, incidentTime, finalGrade, gradedDate, startTime, endTime, restrictedUntilDate, deliveryDeadline, externalIds, lastDeviceName og assetsDownloadInfo).

GET: /test/{testId}

...

Inspera (InK & InB)

...

Lar en søke etter tester basert på enkle kriterier (tittel, instance og eksternId/vurdId).

...

GET: /test/search

https://api.inspera.no/apidoc/#/test/search

...

Inspera (InB)

...

Henter alle begrunnelser og begrunnelse forespørsler for en gitt testId og instance. Dette vil kun returnere begrunnelser som er publisert.

GET: /test/{testId}/explanations

...

Inspera (InK)

...

Når klagestatus er "TRUKKET", poster den trekk av klage (gitt av testId og instance) til path med candidateId

POST: /test/{testId}/appeals/withdraw

...

Inspera (InK)

...

Når klagestatus er "AKTIV", poster en klage for studenter på en prøve (gitt av testId og instance)

POST: /test/{testId}/appeals

...

Inspera (InB)

...

Aktiver/oppdater alternativer for test testOptions (gitt av testId og instance) for posting av begrunnelsen (postExplenation modulen)

POST: /test/{testId}/options

...

Inspera (InB)

...

NB: Når de er publisert, er begrunnelse endelige, og det vil ikke være mulig å be om dem igjen.

POST: /test/{testId}/explanations

...

LaaS (ALL)

...

Registrerer en indeks org, instance, env, event-name, remote-adr og request-uri i Humio (for å innta og beholde strømmedata)

...

do Index

...

Mongo-databasen

...

Finner alle dokumenter i databasen (orgId, examSys, insperaClientCode, fsEnv, instance, active, begrunnelse, klage, autoEpost og XklageFilter) som samsvarer med aktiv status og aktiv-verdi for Klage- eller Begrunnelse-felt.

...

Find documents i oai.KlageBegrunnelseEnvs kolleksjonen

...

Oai-databasen (ALL)

...

legger auditInfoMap log til databasen

...

oai-addAuditLog

...

Oai-databasen (InK & InB)

...

Henter aktive institusjoner med aktiv klage- og begrunnelse-status som tilsvarer examSystem, org og instance

...

oai.KlageBegrunnelseEnvs

...

Oai-databasen (InK & InB & WK)

...

Hvis prosessen var mislykket (success er False), fjerner Kafka melding fra databasen basert på hash verdi

...

‘Delete Kafka Message By Hash’ i oai.Records

...

Oai-databasen (InK & InB)

...

Henter intance som tilsvarer orgId og klage/begrunnelse env fra databasen

...

‘Get Instance By Org And Env’ i oai.KlageBegrunnelseEnvs

...

Oai-databasen (InK & InB)

...

Legger klagen eller begrunnelsen (hvis den ikke er i databasen) til i databasen (vurdId, klage, examSys, orgId og env).

...

oai.Records

...

Oai-databasen (WB)

...

Henter dokumenter som ikke ble behandlet (success er False med mindre enn 5 failedAttempts) for å sende dem videre i flyten for å prøve på nytt.

...

oai.LastAudit

...

Slack (ALL)

...

Sender feilmeldinger (inkludert også data på module-idog submodul, organisasjons shortName og orgId, examSystem, examSysInstance, vurdId, fetchFsListDates, decodedFsTestId og filesToArchive). Det stemmer overens med Config-databasen (configDB.slack-blacklists).

...

Slack-kanalen (mule-prod)

...

WISEflow (B)

...

Returnerer informasjon om karakterbegrunnelsen (av gitt orgShortName, env, flowId og explanationRequestId). Denne informasjonen inneholder navnet på flyten (flowId), datoer (requestDate, assignDate, acceptDate og dueDate), informasjon om participant, informasjon om assignedAssessor og eventuell karakterbegrunnelse gitt med mer.

...

GET: /flow/{flowId}/explanation/request/{explanationRequestId}

https://europe-apidocs.wiseflow.net/

...

WISEflow (B)

...

Oppdater synligheten til en karakterbegrunnelse (av gitt orgShortName, env, flowId og explanationRequestId) for participant i WISEflow med flowId, explanationRequestId og showJustification.

...

PATCH: /flow/{flowId}/explanation/request/{explanationRequestId}

https://europe-apidocs.wiseflow.net/

...

WISEflow (B &K)

...

Returnerer en liste (combinedMainFlowId, purpose, combinedSubFlowIds, variant, state, creationDate, type og flowId) over flyter som samsvarer med spørringsparameteren (sisCode, env og orgShortName).

...

GET: /license/sis/flows/{sisCode}

https://europe-apidocs.wiseflow.net/

...

WISEflow ( & B )

...

Henter opp grunnleggende informasjon for en gitt flyt som navn, type, start- og sluttdato som kan brukes til å identifisere flyten (basert på contextObjectId (Flow id), org (orgShortName) og env).

...

GET: /flow/{flowId}

https://europe-apidocs.wiseflow.net/

...

WISEflow (B & K)

...

Returnerer grunnleggende informasjon (submissionId, assessorIds, groupId, id, assessorGroupIds og user) om alle deltakere som er tildelt en gitt flowId.

GET: ​/flow​/{flowId}​/participants

...

WISEflow (B )

...

Hvis den er aktivert på flyten (av gitt orgShortName, env, flowId , dueDate og participantId), kan en participant be om en begrunnelse på den gitte vurderingen.

POST: /flow/{flowId}/explanation/request

...

WISEflow (K)

...

Oppretter en revurderingsflyt til en allerede opprettet flyten (av gitt orgShortName, env og flowId). Hvis en revurderingsflyt allerede eksisterer (queuedForSynchronization er False), vil flowId bli returnert og flyten vil ikke bli satt i kø for synkronisering.

NB: Dette endepunktet krever revurderingsmodulen på lisensen.

POST: /flow/{flowId}/reassessment

...

Tilgangsstyring og logging

• Integrasjonen loger til Humio med detaljert logging av prosessen.

• Integrasjonen er knyttet logg-oversikten som vil logge følgende data:

  • Inspera-begrunnelse:

    • env

    • errorMessage (String)

    • examSys

    • inputTopic

    • instance

    • kafkaOffset

    • kandidatnr

    • key

    • orgId

    • personlopenr

    • submodule

    • success (boolsk)

    • testId

    • userCandidateId

    • vurdId

  • Inspera-klage:

    • env

    • errorMessage (String)

    • examSys

    • inputTopic

    • instance

    • kandidatnr

    • key

    • klagestatus

    • orgId

    • personlopenr

    • submodule

    • success (boolsk)

    • testId

    • userCandidateId

    • vurdId (decodedVurdId)

  • WISEflow-klage:

    • env

    • errorMessage (String)

    • errorCode (Number)

    • examSys

    • flowId

    • hash

    • inputTopic

    • kandidatNr

    • orgId

    • personlopeNr

    • reassessmentFlowId

    • submodule

    • success (boolsk)

    • vurdId (decodedVurdId)

  • WISEflow-begrunnelse:

    • env

    • errorMessage (String)

    • errorCode (Number)

    • examSys

    • explanationRequestId

    • flowId

    • hash

    • kandidatNr

    • key

    • orgId

    • participantId

    • personlopeNr

    • submodule

    • success (boolsk)

    • vurdId (decodedVurdId)

• Integrasjonen har ikke noe behov for tilgangstyring

Forretningsregler

Behandlingstid/responstid og volum

• Klage-beg-dispatcher

  • behandlingstid/responstid: ca. 1s

  • volum: 2-minutter poll timeout for manuelt triggering (antall parallelle forbrukere: 1) og 120-minutters tidsplaner for faste frekvenser

• Inspera-webhook

  • behandlingstid/responstid: ca. 1s

  • volum: ‘listener’ repeterbar fillagerstrøm for datastrømmestrategi

• Inspera-klage

  • behandlingstid/responstid: ca. 2s

  • volum: 2-minutter poll timeout for Apache-Kafka forbruk for klage og 2-sekunder poll timeout for Apache-Kafka forbruk for klage-vedtak (antall parallelle forbrukere: 1)

• Inspera-begrunnelse

  • behandlingstid/responstid: ca. 2s

  • volum: 2-minutter poll timeout for Apache-Kafka forbruk for både begrunnelse og begrunnelse-svar (antall parallelle forbrukere: 1)

• WISEflow-klage

  • behandlingstid/responstid: ca. 2s

  • volum: 2-minutter poll timeout for Apache-Kafka forbruk (antall parallelle forbrukere: 1)

• WISEflow-begrunnelse

  • behandlingstid/responstid: ca. 4s

  • volum: 2-minutter poll timeout for Apache-Kafka forbruk for begrunnelse og 1-minutt poll timeout for Apache-Kafka forbruk for begrunnelse-svar (antall parallelle forbrukere: 1)

Feilhåndtering, konsekvenser av feil og overordnet risikoanalyse

Generelt vil status og dermed eventuelle feil være synlig og tilgjengelig for institusjonen via logg-oversikten. Det er også utarbeidet mulighet for at enkelt personer ved institusjonen kan melde seg på for mottak av feilmeldinger på epost daglig.

Videre har vi overvåkning av loggene via Humio for å fange opp feil-situasjoner utenfor institusjonens virkeområde, som f.eks. utilgjengelige API endepunkter og bugs i koden.

...

Hva skjer ved overload i kø?

• Det skjer ikke. Men om vi skulle på grunn av noe feil ikke motta meldingene fra eksamensystemene, vil : Inspera vite om det og sende dem på nytt. Wiseflow: er basert på polling, så vi kan alltid polle igjen

...

Hva skjer med ufullstendige meldinger?

• De vil feile og det vil vi oppdage i loggene og kan ta aksjon basert på det.

...

Inneholder meldingene personopplysninger?

• Merk at det utveksles mange “meldinger” mellom ulike systemer i løpet av en integrasjon. Melinger fra eksamensystem inneholder ikke noe persondata, men data vi henter fra FS basert på de meldingene gjør det. Filene vi arkiverer (som kommer fra eksamensystemene) kan også potensielt inneholde personopplysninger.

Noe om viktige feil/situasjoner som må passes ekstra på (som kan ha stor konsekvens) :

...

Oppgavene ikke arkiveres (miste meldinger)

...

Oppgaver arkiveres med feil info. (feiltolking eller feil logikk)

...

...

Innledning

Dette er et proxy-api som i hovedsak gjenspeiler DigEks API’et fra FS. https://www.fellesstudentsystem.no/brukersider/teknisk/fsws-dok/rest/digitaleksamen.html#digeks_liste

Dokumentasjonen til dette API’et er å finne her : https://api-sikt.intark.uh-it.no/catalog/api/81ecdc41-73ed-48c4-acdc-4173ed88c4e9?q=digex

Hoved funksjonen er er at den bygger en Authentiisering og authorisasjonslag på toppen av den eksisterende API’et fra FS.
Brukeren av dette API’et er eksamensystemer.

Nøkkel info

FBakgrunn

Da FS DigEks i sin tid ble opprettet, hadde den ikke noe passende mekanisme for tilgangskontroll. Den var heller ikke egnet for å stå som en ekstern endepunkt mot et ukjent antall eksamen-systemer. Et API ble derfor opprettet via Mule som samtidig sørget for et mer uniformt API.

Interessenter

Brukeren av API’et er eksamensystemer som trenger data fra FS.

Brukerhistorie

• Eksamensystem X skal kunne utføre disse operasjonene:

  • Hent liste av eksamener

  • Hent info for en eksamen

  • Registrere sensur for en eksamen

  • Testregistrere sensur for en eksamen

  • Registrere oppmøte for en eksamen

  • Hent begrunnelser for eksamen

  • Registrere begrunnelse gitt til en kandidat for en eksamen

  • Hent klager for eksamen

  • Registrere et vedtak for klagesensur (Registrere et vedtak for eksamen)

  • Registrere gruppeid for kandidater

  • Hent eksamener filtrert på hjelpemiddel

  • Hent klager endret siden tidspunkt

  • Hent begrunnelsesforespørsler endret siden tidspunkt

Systemer/tjenester

• Detaljert liste av alle innvolverte systemer/tjenester Hva utveksler data? Fra hvor / Til hvor?

/eksamen/liste
/eksamen/<system>/<ID>
/eksamen/sensur/<system>/registrer
/eksamen/sensur/<system>/valider
/eksamen/oppmote/<system>/registrer
/eksamen/begrunnelser/<SYSTEM>/<ID>
/eksamen/begrunnelser/<SYSTEM>
/eksamen/klager/<SYSTEM>/<ID>
/eksamen/vedtak/<SYSTEM>
/eksamen/gruppeid/<SYSTEM>/registrer
/eksamen/hjelpemiddel
/eksamen/klager/<SYSTEM>
/eksamen/begrunnelse/<SYSTEM>

Tilgangsstyring og logging

• Integrasjonen loger til Humio med detaljert logging av prosessen.

• Integrasjonen er knyttet logg-oversikten som vil logge følgende data:

  • errorMessage (tekst)

  • host

  • httpStatus

  • institusjonsId

  • method

  • orgId

  • orginal_user

  • remote_address

  • request_uri_inn

  • success (boolsk)

  • tjeneste

  • user

  • vurdId (examID)

• Tilgangstyringen (autentisering via API-keys) skjer via Gravitee. Authorisasjonen håndteres via Auth-modulen vår.

Forretningsregler

Behandlingstid/responstid og volum

• Behandlingstid/responstid: ca. 1ms

• Frekvens: HTTPS-‘listener’ repeterbar fillagerstrøm for datastrømmestrategi

• Volum (målt: 27 Jul 2022 ): gj.sn. ca. 66k hits daglig

Feilhåndtering, konsekvenser av feil og overordnet risikoanalyse

Generelt vil status og dermed eventuelle feil være synlig og tilgjengelig for institusjonen via logg-oversikten (https://dbapp.de-c1.eu1.cloudhub.io/). Det er også utarbeidet mulighet for at enkelt personer ved institusjonen kan melde seg på for mottak av feilmeldinger på epost daglig (“Jeg vil ha e-post varsling”-knappe). Videre har vi overvåkning av loggene via Humio og serviceMonitor appen for å fange opp feil-situasjoner utenfor institusjonens virkeområde.

• Hva skjer ved overload i kø?

  • Det finnes ikke noe kø her, men en overload av kall fra eksamensystemer er mulig og vil føre til feilede kall.

• Hva skjer med ufullstendige meldinger?

  • Det finnes ikke noe meldinger, men ufullstendige eller invalide kall vil føre til feilmeldinger. Enten fra Mule eller fra FS-API’et.

  • Når meldinger publiseres til WISEflow, håndterer connectoren dette med følgende logikk:

    • Connectoren forsøker å sende meldingen opptil 10 ganger, med 1000 millisekunder (1 sekund) mellom hvert forsøk.

    • Dersom alle forsøk mislykkes, vil connectoren kaste en feil som indikerer at meldingen ikke kunne sendes.

    • Når en slik feil oppstår og en feilmelding mottas, må meldingen sendes manuelt på nytt.

    Dette sikrer robusthet i meldingsflyten, samtidig som det kreves manuell oppfølging for ufullførte meldinger.

• Inneholder meldingene personopplysninger?

  • Ja i form av navn, e-postadresse eller brukernavn.

  • Ifølge definisjonen på ‘sensitive personopplysninger' hos Sikt (Sikt Personvernhåndbok) kan vi konstatere at det ikke forekommer behandling eller overføring av slike data i MuleSoft-plattformen.

• Noe om viktige feil/situasjoner som må passes ekstra på (som kan ha stor konsekvens) :

  • Det mest sannsynlige er at tjenesten faller bort. Dette kan skje ved flere nivåer. Enten Gravitee i front, Mule tjenesten selv eller feil i FS. En slik utfall kan i verste fall ødelegge for eksamengjennomføring. Ingen av kallene/operasjonene i dette API'et er nødvendig for selve gjennomføringen av eksamen, men for oppsett. Det er alltid noen “last-minute” endringer som vil bli rammet om denne integrasjonen ikke fungerer.

  • Feil i data levert fra FS kan rote til opprettelse av prøver i eksamensystemene.

  • Da dette API’et brukes også til å sette sensur, feil som f.eks. sette på feil karakter til en student, vil ha store omdømme konsekvenser.

Kommentarer