Versions Compared

Version Old Version 6 New Version 7
Changes made by

babak.tavassoli

Armaz Mellati

Saved on

Key

  • This line was added.
  • This line was removed.
  • Formatting was changed.
Table of Contents
minLevel1
maxLevel7
printablefalse

Innledning

Dette er en integrasjon for arkivering av Master oppgaver fra Wiseflow og Inspera. Integrasjonen bygger videre på arbeidet allerede gjort i forbindelse med Brage-integrasjonen. Da Brage-integrasjonen allerede henter inn master-oppgaver med tilhørende meta-data fra eksamen-systemene, benyttes den delen videre i denne integrasjonen.

Til arkivering, benyttes

...

Table of Contents
minLevel1
maxLevel7
printablefalse

...

Innledning

Denne integrasjonen sørger for å opprette klage-flows for hver flow, der det kommer en klage på. Egentlig skal den opprette en klage-flow når den første klage-forespørselen kommer. Men i praksis, oppretter den klage-flowen (utfører kall til WF) for hver eneste klage som kommer. API’et til Wiseflow oppretter uansett bare 1 klage-flow og over ser alle andre.

Inc drawio
zoom1
simple0
pageId2300936195
custContentId2640019666
lbox1
diagramDisplayNameGenerell dokumentasjon 202302023.drawio
hiResPreview0
baseUrlhttps://unit.atlassian.net/wiki
diagramNameGenerell dokumentasjon 202302023.drawio
imgPageId2302705702
pCenter0
aspectAi07oeDUYuJmaNu14gI9 PiZ0G4hhaF3ktgYVbMgz-1
width1386
includedDiagram1
aspectHash6541a2f3a906cb6386205d7cd265aa88b8a5b551
linksauto
tbstyletop
height1156

Nøkkel

...

Initiering av flyt

...

Inspera : Push (inspera-webhooks)
WISEflow : Poll-request

...

Flyt møsnter

...

Halveis synkron

...

Den delen som leser inn fra WISEflow er en egen prosess og er fra-koblet fra resten. Men den delen som arkiverer går synkront til arkiv-tjenesten

...

Bruk av meldingskø

...

Ja, Kafka

...

info

Initiering av flyt

Polling utført av klage-beg-dispatcher

Merk at klage-beg-dispatcher-app

trigger den meldinger fra FS som skal komponeres og videresendes mot eksamensystemer. Den mottar data nedenfor: contextObjectId, contextObjectType, associatedObjectId, associatedObjectType, triggeringUserId, triggeringUserName, timestamp, org, instance, env og examSystem, og sender over begrunnelser (vurdId, klage, examSys, orgId og env) til WISEflow;WISEflow-klage forbruker vurdId, examSys, orgId, env og klage meldinger (personlopenr, kandidatnr, brukernavn, fornavn, etternavn, klagestatus, sensurfrist, kommisjonsidOppr og kommisjonsidNy) sendes fra FS og svar fra WISEflow (flowId, explanationRequestId, participantId, assessorId, callTime, sequenceNumber, timestamp, org, env og examSystem).

poller FS og sender klage-forespørslene som meldinger til wiseflog-klage

Flyt møsnter

Asynkron

Den delen som leser fra FS er

Bruk av meldingskø

Ja, Kafka

  • I klage-beg-dispatcher-app poller klage-forespørsler fra FS som skal komponeres og videresendes mot eksamensystemer. De sendes via Kafka

  • WISEflow-klage plukker opp meldingene og utfører jobben mot Wiseflow

Open API

Nei

IntArk

Ikke brukt

Bakgrunn

Arkivering av masteroppgaver er et krav som alle institusjoner skal oppfylle.

Interessenter

Dette er en leveranse til både Arkiv og Digital-eksamen. Kostandene deles derfor mellom disse 2.

Arkiv har produsert og bestemt den såkalte mappinsdokument som definerer hvordan oppgavene skal arkiveres i arkiv-systemet.

Brukerhistorie

...

Det er Wiseflow som oppdaterer en klage-flow med kandidater og kommisjoner osv. Men en klage-flow må opprettes når den første klage-forespørselen kommer inn. Det er den jobben denne integrasjonen tar seg av.

Interessenter

Dette er en leveranse til Digital-eksamen.

Brukerhistorie

  • Student ber om klage i studenweb (eller hvor det måtte være). En klage-flow opprettes i Wiseflow hvis den ikke er allerede opprettet.

Systemer/tjenester

  • Detaljert liste av alle innvolverte systemer/tjenester Hva utveksler data? Fra hvor / Til hvor?hvor / Til hvor?

Det er 2 applikasjoner som er innvolvert.
Klage-beg-dispatcher-app

Wiseflow-klage-app

System

Data

Brukt API (endepunkter)

Config-databasen

Finner orgShortName i databasen til en gitt orgId

configDB.orgs

Config-databasen

Hvis prosessen var mislykket (success er False), henter den en 'blacklist' for tjenesten for å bestemme om det skal registreres som en Slack-feilmelding i kanalen.

NB: Modulen hjelper utviklere og testere av systemet; sluttbrukeren vil ikke legge merke til det.

configDB.slack-blacklists

FS-Digex

Henter ut en json-liste basert på institutionNr, siden og examSystem over klager som har blitt opprettet eller endret siden oppgitt tidspunkt.

GET: /eksamen/klager/{examSystem}/

URL for test: https://fs-test.uio.no/eksamen/klager/<examSystem>?institusjonsnr=...&siden=...&
URL for prod: https://fsws.usit.no/eksamen/klager/<examSystem>?institusjonsnr=...&siden=...&

https://www.fellesstudentsystem.no/brukersider/teknisk/fsws-dok/rest/digitaleksamen.html

FS-Digex

Henter klager for en gitt eksamen basert på examSystem og examId.

GET: /eksamen/klager/{examSystem}/{examId}

URL for test: https://fs-test.uio.no/eksamen/klager/{examSystem}/{examId}
URL for prod: https://fsws.usit.no/eksamen/klager/{examSystem}/{examId}

https://www.fellesstudentsystem.no/brukersider/teknisk/fsws-dok/rest/digitaleksamen.html

LaaS

Registrerer en indeks org, instance, env, event-name, remote-adr og request-uri i Humio (for å innta og beholde strømmedata)

do Index

Mongo-databasen

Finner alle dokumenter i databasen (orgId, examSys, insperaClientCode, fsEnv, instance, active, begrunnelse, klage, autoEpost og XklageFilter) som samsvarer med aktiv status og aktiv-verdi for Klage- eller Begrunnelse-felt.

Find documents i oai.KlageBegrunnelseEnvs kolleksjonen

Oai-databasen

legger auditInfoMap log til databasen

oai-addAuditLog

Oai-databasen

Henter aktive institusjoner med aktiv klage- og begrunnelse-status som tilsvarer examSystem, org og instance

oai.KlageBegrunnelseEnvs

Oai-databasen

Hvis prosessen var mislykket (success er False), fjerner Kafka melding fra databasen basert på hash verdi

‘Delete Kafka Message By Hash’ i oai.Records

Slack

Sender feilmeldinger (inkludert også data på module-idog submodul, organisasjons shortName og orgId, examSystem, examSysInstance, vurdId, fetchFsListDates, decodedFsTestId og filesToArchive). Det stemmer overens med Config-databasen (configDB.slack-blacklists).

Slack-kanalen (mule-prod)

WISEflow

Returnerer en liste (combinedMainFlowId, purpose, combinedSubFlowIds, variant, state, creationDate, type og flowId) over flyter som samsvarer med spørringsparameteren (sisCode, env og orgShortName).

GET: /license/sis/flows/{sisCode}

https://europe-apidocs.wiseflow.net/

WISEflow

Henter opp grunnleggende informasjon for en gitt flyt som navn, type, start- og sluttdato som kan brukes til å identifisere flyten (basert på contextObjectId (Flow id), org (orgShortName) og env).

GET: /flow/{flowId}

https://europe-apidocs.wiseflow.net/

WISEflow

Returnerer grunnleggende informasjon (submissionId, assessorIds, groupId, id, assessorGroupIds og user) om alle deltakere som er tildelt en gitt flowId.

GET: ​/flow​/{flowId}​/participants

https://europe-apidocs.wiseflow.net/

WISEflow

Oppretter en revurderingsflyt til en allerede opprettet flyten (av gitt orgShortName, env og flowId). Hvis en revurderingsflyt allerede eksisterer (queuedForSynchronization er False), vil flowId bli returnert og flyten vil ikke bli satt i kø for synkronisering.

NB: Dette endepunktet krever revurderingsmodulen på lisensen.

POST: /flow/{flowId}/reassessment

https://europe-apidocs.wiseflow.net/

Tilgangsstyring og logging

  • Integrasjonen loger til Humio med detaljert logging av prosessen.

  • Integrasjonen er knyttet logg-oversikten som vil logge følgende data:

    • env

    • errorMessage (String)

    • errorCode (Number)

    • examSys

    • flowId

    • hash

    • inputTopic

    • kandidatNr

    • orgId

    • personlopeNr

    • reassessmentFlowId

    • submodule

    • success (boolsk)

    • vurdId (decodedVurdId)

  • Integrasjonen har ikke noe behov for tilgangstyring

Forretningsregler

Behandlingstid/responstid og volum

  • behandlingstid/responstid: gj.sn. ca. 3s

  • Frekvens: 2-minutter poll timeout for manuelt triggering og 120-minutters tidsplaner for faste frekvenser (Klage-beg-dispatcher), og 2-minutter poll timeout for Apache-Kafka forbruk (WISEflow-klage-app)

  • Volum (målt: ): gj.sn. ca. 5k hits daglig

  • Feilhåndtering, konsekvenser av feil og overordnet risikoanalyse

Generelt vil status og dermed eventuelle feil være synlig og tilgjengelig for institusjonen via logg-oversikten. Det er også utarbeidet mulighet for at enkelt personer ved institusjonen kan melde seg på for mottak av feilmeldinger på epost daglig.

Videre har vi overvåkning av loggene via Humio for å fange opp feil-situasjoner utenfor institusjonens virkeområde, som f.eks. utilgjengelige API endepunkter og bugs i koden.

  • Hva skjer ved overload i kø?

    • Det skjer ikke. Men om vi skulle på grunn av noe feil ikke motta meldingene fra eksamensystemene, vil : Inspera vite om det og sende dem på nytt. Wiseflow: er basert på polling, så vi kan alltid polle igjen

  • Hva skjer med ufullstendige meldinger?

    • De vil feile og det vil vi oppdage i loggene og kan ta aksjon basert på det.

  • Inneholder meldingene personopplysninger?

    • Merk at det utveksles mange “meldinger” mellom ulike systemer i løpet av en integrasjon. Melinger fra eksamensystem inneholder ikke noe persondata, men data vi henter fra FS basert på de meldingene gjør det. Filene vi arkiverer (som kommer fra eksamensystemene) kan også potensielt inneholde personopplysninger.

  • Noe om viktige feil/situasjoner som må passes ekstra på (som kan ha stor konsekvens) :

    • Oppgavene ikke arkiveres (miste meldinger)

    • Oppgaver arkiveres med feil info. (feiltolking eller feil logikk)

    • Oppgaver arkiveres med feil tilganger (slik at oppgaver som ikke skal være offentlige, arkiveres slik at de blir offentlig synlige) )

    • vurdId (decodedVurdId)

  • Integrasjonen har ikke noe behov for tilgangstyring

Forretningsregler

Hoved flyt i integrasjonen:

  • For hver klage-forespørsel fra FS

    • Finn alle aktive flow i Wiseflow.

      • Hvis studenten (som har klaget) finnes i flowen og er aktiv, opprett klage-flow for aktuell flow

Andre egenskaper og prosesser i integrasjonen

klage-beg-dispatcher kjører annen hver time og henter klager for 2 dager tilbake i tid. Den sender da klage-forespørselen over BARE hvis den ikke er sendt allerede de siste 2 dagene.
Merk ! Det vil si om en klage endres noe på innen 2 dager, vil den ikke sendes videre. Ikke sikker dette har noe praksis betydning.

Feilede overføringer vil forsøkes re-sendt opp til 5 ganger.

Behandlingstid/responstid og volum

  • behandlingstid/responstid: gj.sn. ca. 3s

  • Frekvens: 2-minutter poll timeout for manuelt triggering og 120-minutters tidsplaner for faste frekvenser (Klage-beg-dispatcher), og 2-minutter poll timeout for Apache-Kafka forbruk (WISEflow-klage-app)

  • Volum (målt: ): gj.sn. ca. 5k hits daglig

Feilhåndtering, konsekvenser av feil og overordnet risikoanalyse

  • Opprettelse av feil klage-flow for feil flow.

    • Bare en feil koding kunne føre til noe slikt. Tester sørger for at dette ikke skjer.

  • Ikke overføring og dermed opprettelse av klage-flow

    • Resending av feilede feilede overføringer pluss antall ganger hver klage forsøkes lest og overført, gjør sannsynligheten for denne feilen minimalt

Kommentarer