Versions Compared

Version Old Version 9 New Version Current
Changes made by

babak.tavassoli

babak.tavassoli

Saved on

Key

  • This line was added.
  • This line was removed.
  • Formatting was changed.

  • Innledning

  • Nøkkel info

  • Bakgrunn

  • Interessenter

  • Brukerhistorie

  • Systemer/tjenester

  • Tilgangsstyring og logging

  • Forretningsregler

  • Behandlingstid/responstid og volum

  • Feilhåndtering, konsekvenser av feil og overordnet risikoanalyse

  • Kommentarer

...

Innledning

Denne integrasjonen sørger for å ektrahere oppgavetittel for Master og Bachelor oppgavene og registrere dem i FS. Tidligere har studenten selv måtte sørge for å registrere oppgavetittel direkte via studweb noe som kunne føre til dårlig og uriktig data kvalitet.

Veiledning til integrasjonen og løsningsbeskrivelse :

Inc drawio
zoom1
simple0

...

custContentId

...

3417112623

...

pageId

...

2302771203
lbox1
diagramDisplayName

...

DigEks.drawio
hiResPreview0
baseUrlhttps://

...

sikt.atlassian.net/wiki
imgPageId2471067687
diagramName

...

DigEks.drawio

...

pCenter0
aspect

...

OOK5al9Ag-Kyg9dfiho5 1
width

...

1653
includedDiagram1
aspectHash

...

6df9d94baa863af28665b1af1aaeb051fcd39e57
linksauto
tbstyletop
height

...

1101

Nøkkel info

Initiering av flyt

Poll

pull-request

 

Flyt møsnter

Halveis synkron

Asynkron

 

Bruk av meldingskø

Ja

, KafkaInspera-webhook produserer

;

MeldingQ (Sikt egen melding-kø system basert på MongoDb, i.e. DocumentDb)

  • webhook-meldinger

(timestamp, org, instance, env og examSystem) mot FS-tittel;FS-tittel forbruker meldinger (event, contextObjectId, contextObjectType, associatedObjectId, associatedObjectType, triggeringUserId, triggeringUserName, inputTopic, id, action, licenseId, flowId, userId, submissionId, participantId, isHandedIn, callTime, eventVersion, sequenceNumber, timestamp, org, instance, env, eventName og examSystem ) fra eksamenssystemene gjennom inspera-webhook

  • fra begge eksamenssystemene (Inspera/WISEflow) mottas av webhook-app og sendes (via servicemonitor) som meldingQ til denne integrasjonen

Open API

Nei

 

IntArk

Ikke brukt

 

Bakgrunn

Arkivering av masteroppgaver er et krav som alle institusjoner skal oppfylleStudenter har måttet selv registrere tittelen på oppgavene manuelt i Studentweb, men det ble senere besluttet å få prosessen automatisert.

Interessenter

Dette er en leveranse til både Arkiv og Digital-eksamen. Kostandene deles derfor mellom disse 2.

Arkiv har produsert og bestemt den såkalte mappinsdokument som definerer hvordan oppgavene skal arkiveres i arkiv-systemet.

Brukerhistorie

  • Student A leverer bachelor-/masteroppgave i Inspera/Wiseflow. Oppgaven skal automatisk arkiveres i institusjonens arkivsystem etter at div. klage/begrunnelse frister er gått ut, og tittelen på oppgaven overføres automatisk til FS.

Systemer/tjenester

  • Detaljert liste av alle innvolverte systemer/tjenester Hva utveksler data? Fra hvor / Til hvor?

System

Data

Brukt API (endepunkter)

Config-databasen

Finner FsId til en gitt orgShortName(org)

configDB.fsIdToOrgShortName

Config-databasen

Hvis prosessen var mislykket (success er False), henter den en 'blacklist' for tjenesten for å bestemme om det skal registreres som en Slack-feilmelding i kanalen.

NB: Modulen hjelper utviklere og testere av systemet; sluttbrukeren vil ikke legge merke til det.

configDB.slack-blacklists

FS (gjennom FS-tittel API’et)

Registrerer oppgavetittel (engelsk, kandidatnr, original) institusjonsnr og vurdId på vurderingsmeldinger til egen examSystem

URL for test: https://fs-test.uio.no/eksamen/oppgavetittel/{examSystem}/registrer
URL for prod: https://fsws.usit.no/eksamen/oppgavetittel/{examSystem}/registrer

Inspera

planlegger og laster ned innlevering av en enkelt kandidat eller gruppe på en test

GET: /candidates/submission/{testId}/{userId} (depreciated)

POST: /fileExport/order (resourceType 'CandidateSubmission')

https://api.inspera.no/apidoc/#/fileExport/orderExports

Inspera

Henter alle relevante metadata assessmentRunId og result (generalInfo, assessmentInfo, externalTestInfo, options, committees, candidates, contributors, organizationalUnits osv) for testen gitt av instance og testId. Dette vil også inkludere alle relevante kandidatmetadata (userId, candidateId, attendanceStatus, deliveryMode, committeeId, committeeName, committeeGradingStatus, groupId, groupName, submissionDeletedOn, automaticQuestionScore, roomId, roomName, building, candidateExtraTime, incidentTime, finalGrade, gradedDate, startTime, endTime, restrictedUntilDate, deliveryDeadline, externalIds, lastDeviceName og assetsDownloadInfo).

GET: /test/{testId}

https://api.inspera.no/apidoc/#/test/getTestMetadata

LaaS

Registrerer en indeks org, instance, env, event-name, remote-adr og request-uri i Humio (for å innta og beholde strømmedata)

do Index

Oai-databasen

Legger auditInfoMap log til databasen

oai-addAuditLog

Oai-databasen

Henter en repo etter org og system (eksamensystem)

oai-getRepository

Slack

Sender feilmeldinger (inkludert også data på module-idog submodul, organisasjons shortName og orgId, examSystem, examSysInstance, vurdId, fetchFsListDates, decodedFsTestId og filesToArchive). Det stemmer overens med Config-databasen (configDB.slack-blacklists).

Slack-kanalen (mule-prod)

WISEflow

Returnerer informasjon om en innlevering (submissionId) levert av en student på en bestemt flowIdsom samsvarer med spørringsparameteren (submissionId, flowId, env og orgShortName).

GET: /flow/{flowId}/submission/{submissionId}

https://europe-apidocs.wiseflow.net/

WISEflow

Henter opp grunnleggende informasjon for en gitt flyt som navn, type, start- og sluttdato som kan brukes til å identifisere flyten (basert på contextObjectId (Flow id), org (orgShortName) og env).

GET: /flow/{flowId}

https://europe-apidocs.wiseflow.net/

Tilgangsstyring og logging

  • Integrasjonen loger til Humio med detaljert logging av prosessen.

  • Integrasjonen er knyttet logg-oversikten som vil logge følgende data:

    • assessmentRunId, candidateId, candidateIds, env, errorMessage, examSystem, failedAttempts, flowId, handedInDate, id, inputTopic, instance, isGroup (boolsk), orgId (org), submissionId, success (boolsk), status, testId, timestamp, vurdId (decodedVurdId) og user/groupId

  • Integrasjonen har ikke noe behov for tilgangstyring

Forretningsregler

Så fort studenten har levert oppgaven, sendes det melding fra eksamensystemet. Meldingen inneholder info om hvilen prøve og hvilken innlevering dette gjelder. Integrasjonen vil da lese inn oppgaven fra eksamensystemet, hente ut tittel (og eventuelt alternativ-tittel) og registrere det i FS.

Om studenten leverer inn oppgaven flere ganger, vil prosessen gjenta seg for hver gang og dermed tittelen oppdateres riktig i FS.

PS! Etter en viss tid, når sensur er registrert, vil ikke tittel kunne endres i FS lenger. Det er derfor viktig å sørge for at alle titler er riktig registrert før den tid.

Behandlingstid/responstid og volum

  • Behandlingstid/responstid: ca. 2s4s

  • Frekvens: HTTPS-‘listener’ repeterbar fillagerstrøm for datastrømmestrategi (Inspera-webhook) og 2-minutter poll timeout for Apache-Kafka forbruk fra eksamensystemer (fs-tittel-app)Den nye meldingssystemet (meldingQ) kjører uten forsinkelse på meldingskøen – lytteren til køen tar meldinger én etter én og starter behandlingen umiddelbart. Hver melding hentes direkte fra databasen, prosesseres, og status oppdateres deretter til enten ‘processed’ eller ‘failed’ i samme database-kolleksjon.

  • Volum (målt: ): gj.sn. ca. 3k 1k hits daglig

Feilhåndtering, konsekvenser av feil og overordnet risikoanalyse

Generelt vil status og dermed eventuelle feil være synlig og tilgjengelig for institusjonen via logg-oversikten. Det er også utarbeidet mulighet for at enkelt personer ved institusjonen kan melde seg på for mottak av feilmeldinger på epost e-post daglig. Videre har vi overvåkning av loggene via Humio for å fange opp feil-situasjoner utenfor institusjonens virkeområde, som f.eks. utilgjengelige API endepunkter og bugs i koden.

 

Hva skjer ved overload i kø?

...

.

...

  • Hva skjer med ufullstendige meldinger?

    • De vil feile og det vil vi oppdage i loggene (de blir registert i en kolleksjon i databasen og feilen blir rapportert i et direktemeldingsprogram) og kan ta aksjon basert på det.

  • Inneholder meldingene personopplysninger?

    • Merk at det utveksles mange “meldinger” mellom ulike systemer i løpet av en integrasjon. Melinger fra eksamensystem inneholder ikke noe direkte persondata, men data vi henter fra FS basert på de meldingene gjør det. Filene vi arkiverer (som kommer fra eksamensystemene) kan også potensielt inneholde personopplysningerde inneholder derimot system-interne brukerid’er som gjør det mulig å finne en person ved å bruke API’et.

  • Det er noen feil vi ikke kan gjøre noe med, vanligvis de som mangler visse data; for eksempel når “kandidaten har ikke levert“, “ingen tittel er oppgitt” eller "Missing x-wiseflow-license-id in headers" (code:400). Slike meldinger kommer i en kø for å bli sendt på nytt i opptil fem ganger (med en halvtimes intervall).

  • Noe om viktige feil/situasjoner som må passes ekstra på (som kan ha stor konsekvens):

    • Oppgavene ikke arkiveres (miste meldinger)

    • Oppgaver arkiveres med feil info. (feiltolking eller feil logikk)

    • Oppgaver arkiveres med feil tilganger (slik at oppgaver som ikke skal være offentlige, arkiveres slik at de blir offentlig synlige) Feil ved registerering av tittel mot FS: Eksamen ikke funnet for eksamenssystem

    • Gjentakende ‘timeout' eller 'Bad Gateway’ ( mens en connector prøver å koble til eksamenssystemer (for å hente “test by id; set assessment”, for eksempel) eller databasen

    • For "Internal server error, please contact Inspera Support" tar vi kontakt Inspera support.

Kommentarer