Versions Compared

Key

  • This line was added.
  • This line was removed.
  • Formatting was changed.

...

Inc drawio
zoom1
simple0
custContentId26400196663417112623
pageId23009361952302771203
lbox1
diagramDisplayNameGenerell dokumentasjon 202302023DigEks.drawio
hiResPreview0
baseUrlhttps://unitsikt.atlassian.net/wiki
imgPageId23027057022440429569
diagramNameGenerell dokumentasjon 202302023DigEks.drawio
pCenter0
aspectAi07oeDUYuJmaNu14gI9 PiZ0G4hhaF3ktgYVbMgz-lNPERg7QnUUZ_CQ6ziOo 1
width13861528
includedDiagram1
aspectHash6541a2f3a906cb6386205d7cd265aa88b8a5b55170ed51771bb640ff0bd58d7e7a2c8e43ce6ee63e
linksauto
tbstyletop
height11561110

Nøkkel info

Initiering av flyt

Inspera : Push (inspera-webhooks) (for begrunnelsesvar og klage-vedtak)

FS: Pull (for begrunnelse og klage-forespørsler)

Flyt møsnter

Asynkron

Bruk av meldingskø

Ja

, Kafka

;

MeldingQ (Sikt egen melding-kø system basert på MongoDb, i.e. DocumentDb)

  • I klage-beg-dispatcher-app

trigger den meldinger fra FS som skal komponeres og videresendes
  • videresender meldinger mot Inspera. Den mottar data nedenfor: contextObjectId, contextObjectType, associatedObjectId, associatedObjectType, triggeringUserId, triggeringUserName, timestamp, org, instance, env og examSystem, og sender over begrunnelser (vurdId, klage, examSys, orgId og env) til eksamenssystemet;

  • ّInspera-webhook produserer webhook-meldinger (timestamp, org, instance, env og examSystem) mot Inspera;

  • Inspera-klage forbruker vurdId, examSys, orgId, env og klage meldinger (personlopenr, kandidatnr, brukernavn, fornavn, etternavn, klagestatus, sensurfrist, kommisjonsidOppr og kommisjonsidNy) sendes fra FS, og klage-vedtak meldinger fra Inspera (contextObjectId, contextObjectType, associatedObjectId, associatedObjectType, triggeringUserId, triggeringUserName, timestamp, org, instance, env, eventName, examSystem);

  • Inspera-begrunnelse forbruker vurdId, examSys, orgId, env og begrunnelse-forespørsler (personlopenr, kandidatnr, brukernavn, kommisjonsId, datoKlageMottat og datoVedtakFormidlet) sendes fra FS, og begrunnelse-svar meldinger fra Inspera (contextObjectId, contextObjectType, associatedObjectId, associatedObjectType, triggeringUserId, triggeringUserName, timestamp, org, instance, env, eventName, examSystem).

Open API

Nei

IntArk

Ikke brukt

Interessenter

Dette er en tjeneste bestilt av og levert til Digitaleksamen tilgjengelig for alle institusjoner som bruker Inspera som eksamensystem i dag.

...

  • Detaljert liste av alle innvolverte systemer/tjenester Hva utveksler data? Fra hvor / Til hvor?

System

Data

Brukt API (endepunkter)

Config-databasen

Finner orgShortName i databasen til en gitt orgId

configDB.orgs

Config-databasen

Hvis prosessen var mislykket (success er False), henter den en 'blacklist' for tjenesten for å bestemme om det skal registreres som en Slack-feilmelding i kanalen.

NB: Modulen hjelper utviklere og testere av systemet; sluttbrukeren vil ikke legge merke til det.

configDB.slack-blacklists

FS-Digex

Henter ut en liste (en json-liste) over begrunnelsesforespørsler som har blitt opprettet eller endret siden oppgitt tidspunkt basert på examSystem, institutionNr (Nummeret for institusjonen som du skal hente fra) og changedSince (tidspunkt for sist sjekk).

GET: /eksamen/begrunnelse/{examSystem}

URL for test: https://fs-test.uio.no/eksamen/begrunnelse/<examSystem>?institusjonsnr=...&siden=...&
URL for prod: https://fsws.usit.no/eksamen/begrunnelse/<examSystem>?institusjonsnr=...&siden=...&

https://www.fellesstudentsystem.no/brukersider/teknisk/fsws-dok/rest/digitaleksamen.html

FS-Digex

Henter ut en json-liste basert på institutionNr, siden og examSystem over klager som har blitt opprettet eller endret siden oppgitt tidspunkt.

GET: /eksamen/klager/{examSystem}/

URL for test: https://fs-test.uio.no/eksamen/klager/<examSystem>?institusjonsnr=...&siden=...&
URL for prod: https://fsws.usit.no/eksamen/klager/<examSystem>?institusjonsnr=...&siden=...&

https://www.fellesstudentsystem.no/brukersider/teknisk/fsws-dok/rest/digitaleksamen.html

FS-Digex

Henter begrunnelser for en gitt eksamen basert på examSystem og examId.

GET: /eksamen/begrunnelser/{examSystem}/{examId}

URL for test: https://fs-test.uio.no/eksamen/begrunnelser/{examSystem}/{examId}
URL for prod: https://fsws.usit.no/eksamen/begrunnelser/{examSystem}/{examId}

https://www.fellesstudentsystem.no/brukersider/teknisk/fsws-dok/rest/digitaleksamen.html

FS-Digex

Henter klager for en gitt eksamen basert på examSystem og examId.

GET: /eksamen/klager/{examSystem}/{examId}

URL for test: https://fs-test.uio.no/eksamen/klager/{examSystem}/{examId}
URL for prod: https://fsws.usit.no/eksamen/klager/{examSystem}/{examId}

https://www.fellesstudentsystem.no/brukersider/teknisk/fsws-dok/rest/digitaleksamen.html

FS-Digex

Registrerer explanations (urlBegrunnelse, datoBegrunnelseBedtOm, dokumentBegrunnelse, kandidatnr, datoBegrunnelseGitt, contentTypeBegrunnelse) gitt til en kandidat for en eksamen basert på examSystem

POST: /eksamen/begrunnelser/{examSystem}

URL for test: https://fs-test.uio.no/eksamen/begrunnelser/<examSystem>
URL for prod: https://fsws.usit.no/eksamen/begrunnelser/<examSystem>

https://www.fellesstudentsystem.no/brukersider/teknisk/fsws-dok/rest/digitaleksamen.html#digeks_begr_post

Inspera

Henter alle relevante metadata assessmentRunId og result (generalInfo, assessmentInfo, externalTestInfo, options, committees, candidates, contributors, organizationalUnits osv) for testen gitt av instance og testId. Dette vil også inkludere alle relevante kandidatmetadata (userId, candidateId, attendanceStatus, deliveryMode, committeeId, committeeName, committeeGradingStatus, groupId, groupName, submissionDeletedOn, automaticQuestionScore, roomId, roomName, building, candidateExtraTime, incidentTime, finalGrade, gradedDate, startTime, endTime, restrictedUntilDate, deliveryDeadline, externalIds, lastDeviceName og assetsDownloadInfo).

GET: /test/{testId}

https://api.inspera.no/apidoc/#/test/getTestMetadata

Inspera

Lar en søke etter tester basert på enkle kriterier (tittel, instance og eksternId/vurdId).

GET: /test/search

https://api.inspera.no/apidoc/#/test/search

Inspera

Henter alle begrunnelser og begrunnelse forespørsler for en gitt testId og instance. Dette vil kun returnere begrunnelser som er publisert.

GET: /test/{testId}/explanations

https://api.inspera.no/apidoc/#/test/getTestExplanations

Inspera

Når klagestatus er "TRUKKET", poster den trekk av klage (gitt av testId og instance) til path med candidateId

POST: /test/{testId}/appeals/withdraw

https://api.inspera.no/apidoc/#/test/withdrawAppeal

Inspera

Når klagestatus er "AKTIV", poster en klage for studenter på en prøve (gitt av testId og instance)

POST: /test/{testId}/appeals

https://api.inspera.no/apidoc/#/test/requestAppeals

Inspera

Aktiver/oppdater alternativer for test testOptions (gitt av testId og instance) for posting av begrunnelsen (postExplenation modulen)

POST: /test/{testId}/options

https://api.inspera.no/apidoc/#/test/setTestOptions

Inspera

Poster candidates til Inspera (gitt av testId og instance) og ber om begrunnelse for kandidater på testId

NB: Når de er publisert, er begrunnelse endelige, og det vil ikke være mulig å be om dem igjen.

POST: /test/{testId}/explanations

https://api.inspera.no/apidoc/#/test/requestTestExplanations

LaaS

Registrerer en indeks org, instanceenvevent-name, remote-adr og request-uri i Humio (for å innta og beholde strømmedata)

do Index

Mongo-databasen

Finner alle dokumenter i databasen (orgId, examSys, insperaClientCode, fsEnv, instance, active, begrunnelse, klage, autoEpost og XklageFilter) som samsvarer med aktiv status og aktiv-verdi for Klage- eller Begrunnelse-felt.

Find documents i oai.KlageBegrunnelseEnvs kolleksjonen

Oai-databasen

legger auditInfoMap log til databasen

oai-addAuditLog

Oai-databasen

Henter aktive institusjoner med aktiv klage- og begrunnelse-status som tilsvarer examSystem, org og instance

oai.KlageBegrunnelseEnvs

Oai-databasen

Hvis prosessen var mislykket (success er False), fjerner Kafka melding fra databasen basert på hash verdi

‘Delete Kafka Message By Hash’ i oai.Records

Oai-databasen

Henter

intance

instance som tilsvarer orgId og klage/begrunnelse env fra databasen

‘Get Instance By Org And Env’ i oai.KlageBegrunnelseEnvs

Oai-databasen

Legger klagen eller begrunnelsen (hvis den ikke er i databasen) til i databasen (vurdId, klage, examSys, orgId og env).

oai.Records

Slack

Sender feilmeldinger (inkludert også data på module-idog submodul, organisasjons shortName og orgId, examSystem, examSysInstance, vurdId, fetchFsListDates, decodedFsTestId og filesToArchive). Det stemmer overens med Config-databasen (configDB.slack-blacklists).

Slack-kanalen (mule-prod)

Tilgangsstyring og logging

  • Integrasjonen loger til Humio med detaljert logging av prosessen.

  • Integrasjonen er knyttet logg-oversikten (som er tilgjengelig for brukerne å se). Følgende data logges i databasen :

    • env

    • errorMessage (String)

    • examSys

    • instancekafkaOffset

    • kandidatnr

    • klagestatus

    • orgId

    • personlopenr

    • submodule

    • success (boolsk)

    • testId

    • userCandidateId

    • vurdId (decodedVurdId)

  • Integrasjonen har ikke noe behov for tilgangstyring

...

  • behandlingstid/responstid: gj.sn. ca. 6s2s

  • Frekvens: 2-minutter poll timeout for manuelt triggering og 120-minutters tidsplaner for faste frekvenser (KlageDen nye meldingssystemet (meldingQ) kjører uten forsinkelse på meldingskøen – lytteren til køen tar meldinger én etter én og starter behandlingen umiddelbart (fra webhooks og klage-beg-dispatcher), HTTPS ‘listener’ repeterbar fillagerstrøm for datastrømmestrategi (Inspera-webhook), 2-minutter poll timeout for Apache-Kafka forbruk for klage og 2-sekunder poll timeout for Apache-Kafka forbruk for klage-vedtak (Inspera-klage), 2-minutter poll timeout for Apache-Kafka forbruk for både begrunnelse og begrunnelse-svar (Inspera-begrunnelse). Hver melding hentes direkte fra databasen, prosesseres, og status oppdateres deretter til enten ‘processed’ eller ‘failed’ i samme database-kolleksjon.

  • Volum (målt: ): gj.sn. ca. 118k hits 1k (klage+begrunnelse) hits (i.e. “correlationId“) daglig

Feilhåndtering, konsekvenser av feil og overordnet risikoanalyse

Den mest sannsynlige og nærmest uunngåelige feilen som kan oppstå er å miste meldinger (klage/begrunnelser på vei til eller fra Inspera fra/til FS). Generelt vil status og dermed eventuelle feil være synlig og tilgjengelig for institusjonen via logg-oversikten (https://dbapp.de-c1.eu1.cloudhub.io/). Det er også utarbeidet mulighet for at enkelt personer ved institusjonen kan melde seg på for mottak av feilmeldinger på epost daglig (“Jeg vil ha e-post varsling”-knappe). Videre har vi overvåkning av loggene via Humio for å fange opp feil-situasjoner utenfor institusjonens virkeområde.

Miste meldinger

Tjenesten benytter resendt-tjenesten vår, som sørger for at meldinger forsøkes resendt. Alle feilede overføringer, vil forsøkes resendt, oftest 5 ganer hver halvtime. Dette betyr om noen av syetemene (FS eller Insepera ..) feiler eller mister konnektivitet mindre enn 2.5 timer, vil integrasjonen håndtere det automatisk.

For feil som varer lenger, kan vi med en enkel manuell operasjon (oppdatering av failedAttemps i databasen), trigge nye overføringer på nytt.

Klage- begrunnelse-forespørslene er alltid tilgjengelige i FS og kan alltid hentes ut igjen tilbake i tid, da den er pull-basert. Det er verre med meldinger fra Inspera. Om vi får problem med web-hook-app’en derimot, slik at den ikke mottar meldinger om innkommende begrunnelse/klage-vedtak, vil de være borte. Inspera vil da få feilmelding ved sending av meldingene via webhooks og dermed vite hvilke meldinger som ikke er sendt. Vi må da be Inspera om å sende de meldingene på nytt.

  • Hva skjer ved overload i kø?

    • Det skjer ikke da-køene kun har én parallell forbruker ('queue-listener'). Men om vi skulle på grunn av noe feil ikke motta meldingene fra eksamensystemene, vil : Inspera vite om det og sende dem på nytt.

  • Hva skjer med ufullstendige meldinger?

    • De vil feile og det vil vi oppdage i loggene og kan ta aksjon basert på det.

    • Meldinger med status ‘failed’ (opptil 5 ganger) eller ‘processing’ (med 10 minutters forsinkelse for å sikre at meldingen ikke allerede behandles) blir hentet fra kolleksjonen igjen i grupper på opptil 100, og behandlet i samme flyt.

    • Meldingssystemet bruker ‘manual’ protokoll for håndtering av bekreftelse, som betyr at prosessen fullføres med en endelig status ‘failed’ eller ‘processed’ for hver melding etter fullført behandling. Ingen meldinger skal ha status ‘processing’ eller ‘enqueued’ lengre enn forventet behandlingstid.

  • Inneholder meldingene personopplysninger?

    • Merk at det utveksles mange “meldinger” mellom ulike systemer i løpet av en integrasjon. Melingene fra FS eller Inspera, inneholder ikke noe direkte persondata, men de inneholder kandidatnr og brukernavn.

  • Inneholder meldingene sensitive personopplysninger?

    • ifølge definisjonen på sensitive personopplysninger hos Sikt (Sikt Personvernhåndbok) kan vi konstatere at det ikke forekommer behandling eller overføring av slike data i MuleSoft-plattformen.

Kommentarer