Versions Compared

Version Old Version 12 New Version 13
Changes made by

babak.tavassoli

babak.tavassoli

Saved on

Key

  • This line was added.
  • This line was removed.
  • Formatting was changed.
Table of Contents
minLevel1
maxLevel7
printablefalse

Innledning

Dette er en integrasjon for arkivering av Master oppgaver fra Wiseflow og Inspera. Integrasjonen bygger videre på arbeidet allerede gjort i forbindelse med Brage-integrasjonen. Da Brage-integrasjonen allerede henter inn master-oppgaver med tilhørende meta-data fra eksamen-systemene, benyttes den delen videre i denne integrasjonen.

Til arkivering, benyttes

...

Table of Contents
minLevel1
maxLevel7
printablefalse

...

Innledning

Brage er en tjeneste for digitale fulltekstarkiv og effektiv tilgjendeliggjøring av institusjonens forsknings- og studentarbeider. Dette vil betjene begge Arkiv- og DigEks-tjenestene, som inneholder vitenskapelige artikler, bachelor- og masteroppgaver og annet materiale produsert av ansatte og studenter ved de fleste norske utdanningsinstitusjoner. Arkivet høstes av søketjenester som inneholder materialet fra Universitetene som avtaleparter.  

Utdata vil bli lagret i databasen og brukt i masteroppgave- / NVA- / oaipmh- / brage-records-appene.

Inc drawio
zoom1
simple0
pageId2300936195
custContentId2640019666
lbox1
diagramDisplayNameGenerell dokumentasjon 202302023.drawio
hiResPreview0
baseUrlhttps://unit.atlassian.net/wiki
diagramNameGenerell dokumentasjon 202302023.drawio
imgPageId2302705702
pCenter0
aspectWZL_C7zIUOqVIDdk2fCY MtUSYfcKr3AQ57z7wqSJ-1
width1667
includedDiagram1
aspectHashae8b3dd20e5b46e945b69f512b9ff961bb0a86fe
linksauto
tbstyletop
height1127

Nøkkel info

...

Initiering av flyt

...

info

Initiering av flyt

  • planlagt igangsetting for “update from FS”

  • planlagt igangsetting for opplasting av filer til S3

  • planlagt igangsetting for å sende/laste opp “in process”-filer til S3

  • 2 meldingskøer for å dele meldinger til de to eksamenssystemene (WISEflow og Inspera)

  • fast frekvens (en gang i timen)

  • fast frekvens (hvert 10. minutt)

  • poll-timeout: 5 minutter (topics: “submission_delivered” og “submission_delivered_brage“)

Flyt møsnter

Halveis synkron

Bruk av meldingskø

Ja, Kafka

  • Inspera-webhook produserer webhook-meldinger (timestamp, org, instance, env og examSystem) mot begge eksamenssystemene (Inspera/WISEflow);

    • Brage også forbruker event, contextObjectId, contextObjectType, associatedObjectId, associatedObjectType, triggeringUserId, triggeringUserName, inputTopic, id, action, licenseId, flowId, userId, submissionId, participantId, isHandedIn, callTime, eventVersion, sequenceNumber,

    Apache Kafka (Consumer)

    • Brage forbruker webhook-meldinger(contextObjectId, contextObjectType, ASSESSMENT_RUN, associatedObjectId, associatedObjectType, triggeringUserId, triggeringUserName, timestamp, org, instance, env, eventName og examSystem fra eksamensystemer)fra begge eksamenssystemene (Inspera/WISEflow)

    Open API

    Nei

    IntArk

    Ikke brukt

    Bakgrunn

    Arkivering av masteroppgaver er et krav som alle institusjoner skal oppfylle.

    ...

    System

    Data

    Brukt API (endepunkter)

    Config-databasen

    setter orgCoverSheet til en gitt orgId

    configDB.getSingleOrg

    FS-Digex

    Henter status (et JSON-objekt) på bachelor/master oppgave ifm overføring til Brage (basert på examSystem og taskId)

    GET:/eksamen/ferdigstatus/{examSystem}/{taskId}

    URL for test: https://fs-test.uio.no/eksamen/ferdigstatus/<ID>?fnr=<nr>&.....
    URL for prod: https://fsws.usit.no/eksamen/ferdigstatus/<ID>?fnr=<nr>&.......

    https://www.fellesstudentsystem.no/brukersider/teknisk/fsws-dok/rest/digitaleksamen.html

    Inspera

    planlegger og laster ned innlevering av en enkelt kandidat eller gruppe på en test

    GET: /candidates/submission/{testId}/{userId} (depreciated)

    POST: /fileExport/order (resourceType 'CandidateSubmission')

    https://api.inspera.no/apidoc/#/fileExport/orderExports

    Inspera

    Henter resultatkandidatinformasjonen (title, startTime, endTime, assessmentRunId, externalId, candidateId) for en gitt bruker på en gitt test (instance, org, assessmentRunId og userOrGroupId)

    GET: /candidates/listTests/{userId}

    https://api.inspera.no/apidoc/#/candidates/getCandidateResult

    Inspera

    Henter alle relevante metadata assessmentRunId og result (generalInfo, assessmentInfo, externalTestInfo, options, committees, candidates, contributors, organizationalUnits osv) for testen gitt av instance og testId. Dette vil også inkludere alle relevante kandidatmetadata (userId, candidateId, attendanceStatus, deliveryMode, committeeId, committeeName, committeeGradingStatus, groupId, groupName, submissionDeletedOn, automaticQuestionScore, roomId, roomName, building, candidateExtraTime, incidentTime, finalGrade, gradedDate, startTime, endTime, restrictedUntilDate, deliveryDeadline, externalIds, lastDeviceName og assetsDownloadInfo).

    GET: /test/{testId}

    https://api.inspera.no/apidoc/#/test/getTestMetadata

    LaaS

    Registrerer en indeks org, instance, env, event-name, remote-adr og request-uri i Humio (for å innta og beholde strømmedata)

    do Index

    Oai-databasen

    Henter en record med identifier query

    oai-getRecord

    Oai-databasen

    Henter 'record’er med identifier query

    oai-getRecords

    Oai-databasen

    Legger til et nytt dokument i databasen

    oai-addRecord

    Oai-databasen

    Oppdaterer et dokument i databasen

    oai-updateRecord

    Oai-databasen

    Legger auditInfoMap log til databasen

    oai-addAuditLog

    Oai-databasen

    Hente dokumenter fra et visst antall dager tilbake (fs-check-days-back)

    oai-getPassedExpectedRecords

    Oai-databasen

    Legger filer (mainDoc og attachments) til i databasen (BrageFil)

    oai-upsertBrageFile

    Oai-databasen

    Henter filer klare for opplasting (ready) til S3 fra databasen

    oai-getBrageFiles

    Oai-databasen

    Henter en rekke 'repo’er for systemet (wiseflow)

    oai-getRepositoriesForSystem

    Oai-databasen

    Henter en repo etter org og system (eksamensystem)

    oai-getRepository

    Oai-databasen

    Oppdaterer en record med DELIVERED_DATE (identifier)

    oai-updateDeliveredDate

    Oai-databasen

    Lister ‘record’er (med untilDate, fromDate, eventuelle attributes, org og ready_date eller delayed_date)

    oai-oaiListRecords

    Amazon S3

    Overfører arkiverte filer (localFileName og fileName) til S3 bucket

    upload file:

    https://docs.safespring.com/storage/generalinfo/

    Slack

    Sender feilmeldinger (inkludert også data på module-idog submodul, organisasjons shortName og orgId, examSystem, examSysInstance, vurdId, fetchFsListDates, decodedFsTestId og filesToArchive). Det stemmer overens med Config-databasen (configDB.slack-blacklists).

    Slack-kanalen (mule-prod)

    WISEflow

    Returnerer informasjon om en innlevering (submissionId) levert av en student på en bestemt flowIdsom samsvarer med spørringsparameteren (submissionId, flowId, env og orgShortName).

    GET: /flow/{flowId}/submission/{submissionId}

    https://europe-apidocs.wiseflow.net/

    WISEflow

    Henter opp grunnleggende informasjon for en gitt flyt som navn, type, start- og sluttdato som kan brukes til å identifisere flyten (basert på contextObjectId (Flow id), org (orgShortName) og env).

    GET: /flow/{flowId}

    https://europe-apidocs.wiseflow.net/

    ...

    • Integrasjonen loger til Humio med detaljert logging av prosessen.

    • Integrasjonen er knyttet logg-oversikten som vil logge følgende data:

      • action, callTime, candidateIds, event, eventName, eventVersion, env, errorMessage, examSys (examSystem), flowId, id (identifier), identifier, inputTopic, isHandedIn, key, licenseId, moduleId, modified_date, orgId (org), participantId, sequenceNumber, submissionId, submodule, success (boolsk), testId, timestamp, triggeringCandidateId, vurdId (decodedVurdId) og userId

    • Integrasjonen har ikke noe behov for tilgangstyring

    ...

    Behandlingstid/responstid og volum

    • Behandlingstid/responstid: ca. 2s

    • Frekvens: HTTPS-‘listener’ repeterbar fillagerstrøm for datastrømmestrategi (Inspera-webhook, brage-app og oai-pmh) og 5-minutter poll timeout for Apache-Kafka forbruk for eksamensystemer (Brage-app)

    • Volum (målt: ): gj.sn. ca. 23k hits daglig

    Feilhåndtering, konsekvenser av feil og overordnet risikoanalyse

    ...

    • Hva skjer ved overload i kø?

      • Det skjer ikke. Men om vi skulle på grunn av noe feil ikke motta meldingene fra eksamensystemene, vil : Inspera vite om det og sende dem på nytt. Wiseflow: er basert på polling, så vi kan alltid polle igjen

    • Hva skjer med ufullstendige meldinger?

      • De vil feile og det vil vi oppdage i loggene og kan ta aksjon basert på det.

    • Inneholder meldingene personopplysninger?

      • Merk at det utveksles mange “meldinger” mellom ulike systemer i løpet av en integrasjon. Melinger fra eksamensystem inneholder ikke noe persondata, men data vi henter fra FS basert på de meldingene gjør det. Filene vi arkiverer (som kommer fra eksamensystemene) kan også potensielt inneholde personopplysninger.

    • Noe om viktige feil/situasjoner som må passes ekstra på (som kan ha stor konsekvens) :

      • Oppgavene ikke arkiveres (miste meldinger)

      • Oppgaver arkiveres med feil info. (feiltolking eller feil logikk)

      • Oppgaver arkiveres med feil tilganger (slik at oppgaver som ikke skal være offentlige, arkiveres slik at de blir offentlig synlige) 

    Kommentarer

    “Brage skal fases ut og funksjonaliteten blir videreført i det som i dag har prosjektnavnet Cris/NVA. Innholdet som i dag ligger i Brage, vil bli flyttet til NVA (Nasjonalt vitenarkiv) sommeren 2023.” (https://sikt.no/tjenester/brage-lokale-vitenarkiv )