| Inc drawio | ||||||||||||||||||||||||||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
|
Innledning
Denne integrasjonen sørger for å ektrahere oppgavetittel for Master og Bachelor oppgavene og registrere dem. Tidligere har studenten selv måtte sørge for å registrere oppgavetittel direkte via studweb noe som kunne føre til dårlig og uriktig data kvalitet.
Veiledning til integrasjonen og løsningsbeskrivelse :
Nøkkel info
...
Initiering av flyt
...
Poll-request
...
...
Flyt møsnter
...
Halveis synkron
...
...
Bruk av meldingskø
...
Ja, Kafka
...
Inspera-webhook produserer webhook-meldinger (
timestamp,org,instance,envogexamSystem) mot begge eksamenssystemene (Inspera/WISEflow);Brage også forbruker
event,contextObjectId,contextObjectType,associatedObjectId,associatedObjectType,triggeringUserId,triggeringUserName,inputTopic,id,action,licenseId,flowId,userId,submissionId,participantId,isHandedIn,callTime,eventVersion,sequenceNumber,timestamp,org,instance,env,eventNameogexamSystemfra eksamensystemer
...
Open API
...
Nei
...
...
IntArk
...
Ikke brukt
...
Bakgrunn
Arkivering av masteroppgaver er et krav som alle institusjoner skal oppfylle.
Interessenter
Dette er en leveranse til både Arkiv og Digital-eksamen. Kostandene deles derfor mellom disse 2.
Arkiv har produsert og bestemt den såkalte mappinsdokument som definerer hvordan oppgavene skal arkiveres i arkiv-systemet.
Brukerhistorie
Student A leverer masteroppgave i Inspera/Wiseflow. Oppgaven skal automatisk arkiveres i institusjonens arkivsystem etter at div. klage/begrunnelse frister er gått ut.
Systemer/tjenester
Detaljert liste av alle innvolverte systemer/tjenester Hva utveksler data? Fra hvor / Til hvor?
...
System
...
Data
...
Brukt API (endepunkter)
...
Config-databasen
...
setter orgCoverSheet til en gitt orgId
...
configDB.getSingleOrg
...
FS-Digex
...
Henter status (et JSON-objekt) på bachelor/master oppgave ifm overføring til Brage (basert på examSystem og taskId)
...
GET:/eksamen/ferdigstatus/{examSystem}/{taskId}
URL for test: https://fs-test.uio.no/eksamen/ferdigstatus/<ID>?fnr=<nr>&.....
URL for prod: https://fsws.usit.no/eksamen/ferdigstatus/<ID>?fnr=<nr>&.......
https://www.fellesstudentsystem.no/brukersider/teknisk/fsws-dok/rest/digitaleksamen.html
...
Inspera
...
planlegger og laster ned innlevering av en enkelt kandidat eller gruppe på en test
...
GET: /candidates/submission/{testId}/{userId} (depreciated)
POST: /fileExport/order (resourceType 'CandidateSubmission')
https://api.inspera.no/apidoc/#/fileExport/orderExports
...
Inspera
...
Henter resultatkandidatinformasjonen (title, startTime, endTime, assessmentRunId, externalId, candidateId) for en gitt bruker på en gitt test (instance, org, assessmentRunId og userOrGroupId)
...
GET: /candidates/listTests/{userId}
https://api.inspera.no/apidoc/#/candidates/getCandidateResult
...
Inspera
...
Henter alle relevante metadata assessmentRunId og result (generalInfo, assessmentInfo, externalTestInfo, options, committees, candidates, contributors, organizationalUnits osv) for testen gitt av instance og testId. Dette vil også inkludere alle relevante kandidatmetadata (userId, candidateId, attendanceStatus, deliveryMode, committeeId, committeeName, committeeGradingStatus, groupId, groupName, submissionDeletedOn, automaticQuestionScore, roomId, roomName, building, candidateExtraTime, incidentTime, finalGrade, gradedDate, startTime, endTime, restrictedUntilDate, deliveryDeadline, externalIds, lastDeviceName og assetsDownloadInfo).
...
GET: /test/{testId}
https://api.inspera.no/apidoc/#/test/getTestMetadata
...
LaaS
...
Registrerer en indeks org, instance, env, event-name, remote-adr og request-uri i Humio (for å innta og beholde strømmedata)
...
do Index
...
Oai-databasen
...
Henter en record med identifier query
...
oai-getRecord
...
Oai-databasen
...
Henter 'record’er med identifier query
...
oai-getRecords
...
Oai-databasen
...
Legger til et nytt dokument i databasen
...
oai-addRecord
...
Oai-databasen
...
Oppdaterer et dokument i databasen
...
oai-updateRecord
...
Oai-databasen
...
Legger auditInfoMap log til databasen
...
oai-addAuditLog
...
Oai-databasen
...
Hente dokumenter fra et visst antall dager tilbake (fs-check-days-back)
...
oai-getPassedExpectedRecords
...
Oai-databasen
...
Legger filer (mainDoc og attachments) til i databasen (BrageFil)
...
oai-upsertBrageFile
...
Oai-databasen
...
Henter filer klare for opplasting (ready) til S3 fra databasen
...
oai-getBrageFiles
...
Oai-databasen
...
Henter en rekke 'repo’er for systemet (wiseflow)
...
oai-getRepositoriesForSystem
...
Oai-databasen
...
Henter en repo etter org og system (eksamensystem)
...
oai-getRepository
...
Oai-databasen
...
Oppdaterer en record med DELIVERED_DATE (identifier)
...
oai-updateDeliveredDate
...
Oai-databasen
...
Lister ‘record’er (med untilDate, fromDate, eventuelle attributes, org og ready_date eller delayed_date)
...
oai-oaiListRecords
...
Amazon S3
...
Overfører arkiverte filer (localFileName og fileName) til S3 bucket
upload file:
...
...
Innledning
Denne integrasjonen sørger for å ektrahere oppgavetittel for Master og Bachelor oppgavene og registrere dem i FS. Tidligere har studenten selv måtte sørge for å registrere oppgavetittel direkte via studweb noe som kunne føre til dårlig og uriktig data kvalitet.
| Inc drawio | ||||||||||||||||||||||||||||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
|
Nøkkel info
Initiering av flyt | pull-request |
|
|---|---|---|
Flyt møsnter | Asynkron |
|
Bruk av meldingskø | Ja; MeldingQ (Sikt egen melding-kø system basert på MongoDb, i.e. DocumentDb) |
|
Open API | Nei |
|
IntArk | Ikke brukt |
|
Bakgrunn
Studenter har måttet selv registrere tittelen på oppgavene manuelt i Studentweb, men det ble senere besluttet å få prosessen automatisert.
Interessenter
Dette er en leveranse til Digital-eksamen.
Brukerhistorie
Student A leverer bachelor-/masteroppgave i Inspera/Wiseflow, og tittelen på oppgaven overføres automatisk til FS.
Systemer/tjenester
Detaljert liste av alle innvolverte systemer/tjenester Hva utveksler data? Fra hvor / Til hvor?
System | Data | Brukt API (endepunkter) |
|---|---|---|
Config-databasen | Finner | configDB.fsIdToOrgShortName |
Config-databasen | Hvis prosessen var mislykket ( NB: Modulen hjelper utviklere og testere av systemet; sluttbrukeren vil ikke legge merke til det. | configDB.slack-blacklists |
FS (gjennom FS-tittel API’et) | Registrerer | URL for test: https://fs-test.uio.no/eksamen/oppgavetittel/{examSystem}/registrer |
Inspera | planlegger og laster ned innlevering av en enkelt kandidat eller gruppe på en test | GET: /candidates/submission/{testId}/{userId} (depreciated) POST: /fileExport/order ( |
Inspera | Henter alle relevante metadata | GET: /test/{testId} |
LaaS | Registrerer en indeks | do Index |
Oai-databasen | Legger auditInfoMap log til databasen | oai-addAuditLog |
Oai-databasen | Henter en repo etter | oai-getRepository |
Slack | Sender feilmeldinger (inkludert også data på | Slack-kanalen (mule-prod) |
WISEflow | Returnerer informasjon om en innlevering ( | GET: /flow/{flowId}/submission/{submissionId} |
WISEflow | Henter opp grunnleggende informasjon for en gitt flyt som navn, type, start- og sluttdato som kan brukes til å identifisere flyten (basert på | GET: /flow/{flowId} |
Tilgangsstyring og logging
Integrasjonen loger til Humio med detaljert logging av prosessen.
Integrasjonen er knyttet logg-oversikten som vil logge følgende data:
actionassessmentRunId, callTimecandidateId, candidateIds, event, eventName, eventVersion, env, errorMessage, examSys (examSystem), flowId, id (identifier), identifier, inputTopic, isHandedIn, key, licenseId, moduleId, modified_date, orgId (org), participantId, sequenceNumber, submissionId, submodule, success (boolsk), testId, timestamp, triggeringCandidateId, vurdId (decodedVurdId) og userId
Integrasjonen har ikke noe behov for tilgangstyring
Forretningsregler
env, errorMessage, examSystem, failedAttempts, flowId, handedInDate, id, inputTopic, instance, isGroup (boolsk), orgId (org), submissionId, success (boolsk), status, testId, timestamp, vurdId (decodedVurdId) og user/groupId
Integrasjonen har ikke noe behov for tilgangstyring
Forretningsregler
Så fort studenten har levert oppgaven, sendes det melding fra eksamensystemet. Meldingen inneholder info om hvilen prøve og hvilken innlevering dette gjelder. Integrasjonen vil da lese inn oppgaven fra eksamensystemet, hente ut tittel (og eventuelt alternativ-tittel) og registrere det i FS.
Om studenten leverer inn oppgaven flere ganger, vil prosessen gjenta seg for hver gang og dermed tittelen oppdateres riktig i FS.
PS! Etter en viss tid, når sensur er registrert, vil ikke tittel kunne endres i FS lenger. Det er derfor viktig å sørge for at alle titler er riktig registrert før den tid.
Behandlingstid/responstid og volum
Behandlingstid/responstid: ca. 2s
Frekvens: HTTPS-‘listener’ repeterbar fillagerstrøm for datastrømmestrategi (Inspera-webhook, brage-app og oai-pmh) og 5-minutter poll timeout for Apache-Kafka forbruk for eksamensystemer (Brage-app)
Volum (målt: responstid: ca. 4s
Frekvens: Den nye meldingssystemet (meldingQ) kjører uten forsinkelse på meldingskøen – lytteren til køen tar meldinger én etter én og starter behandlingen umiddelbart. Hver melding hentes direkte fra databasen, prosesseres, og status oppdateres deretter til enten ‘processed’ eller ‘failed’ i samme database-kolleksjon.
Volum (målt: ): gj.sn. ca. 23k 1k hits daglig
Feilhåndtering, konsekvenser av feil og overordnet risikoanalyse
...
Generelt vil status og dermed eventuelle feil være synlig og tilgjengelig for institusjonen via logg-oversikten. Det er også utarbeidet mulighet for at enkelt personer ved institusjonen kan melde seg på for mottak av feilmeldinger på epost daglig.
Videre har vi overvåkning av loggene via Humio for å fange opp feil-situasjoner utenfor institusjonens virkeområde, som f.eks. utilgjengelige API endepunkter og bugs i koden.
Hva skjer ved overload i kø?
...
Generelt vil status og dermed eventuelle feil være synlig og tilgjengelig for institusjonen via logg-oversikten. Det er også utarbeidet mulighet for at enkelt personer ved institusjonen kan melde seg på for mottak av feilmeldinger på e-post daglig. Videre har vi overvåkning av loggene via Humio for å fange opp feil-situasjoner utenfor institusjonens virkeområde.
Hva skjer med ufullstendige meldinger?
De vil feile og det vil vi oppdage i loggene (de blir registert i en kolleksjon i databasen og feilen blir rapportert i et direktemeldingsprogram) og kan ta aksjon basert på det.
Inneholder meldingene personopplysninger?
Merk at det utveksles mange “meldinger” mellom ulike systemer i løpet av en integrasjon. Melinger fra eksamensystem inneholder ikke noe persondata, men data vi henter fra FS basert på de meldingene gjør det. Filene vi arkiverer (som kommer fra eksamensystemene) kan også potensielt inneholde personopplysningerdirekte persondata, de inneholder derimot system-interne brukerid’er som gjør det mulig å finne en person ved å bruke API’et.
Det er noen feil vi ikke kan gjøre noe med, vanligvis de som mangler visse data; for eksempel når “kandidaten har ikke levert“, “ingen tittel er oppgitt” eller "Missing x-wiseflow-license-id in headers" (
code:400). Slike meldinger kommer i en kø for å bli sendt på nytt i opptil fem ganger (med en halvtimes intervall).Noe om viktige feil/situasjoner som må passes ekstra på (som kan ha stor konsekvens):
Oppgavene ikke arkiveres (miste meldinger)Oppgaver arkiveres med feil info. (feiltolking eller feil logikk)Oppgaver arkiveres med feil tilganger (slik at oppgaver som ikke skal være offentlige, arkiveres slik at de blir offentlig synlige)Feil ved registerering av tittel mot FS: Eksamen ikke funnet for eksamenssystemGjentakende ‘timeout' eller 'Bad Gateway’ ( mens en connector prøver å koble til eksamenssystemer (for å hente “test by id; set assessment”, for eksempel) eller databasen
For
"Internal server error, please contact Inspera Support"tar vi kontakt Inspera support.