Page Comparison

🙅‍♀️ Fault

Describe how the change that was implemented didn't work as expected. If available, include relevant data visualizations.

Instructure (skyleverandøren av Canvas som også står for FS-integrasjonen) hadde implementert en endring på sine servere:

Eg har fått svar frå ProServe teamet hos oss at det var nyleg gjennomført ein oppdatering av enkelte av biblioteka som bruker verktøyet som igjen forårsaket utilsiktet problemer med SFTP-funksjonaliteten. Det ser ut som problemet var på vår side denne gangen. Problemet er fikset og verifisert at det vil fungere men dei må fortsatt opplaste koden. I løpet av den neste timen eller to så skal ein ha den oppdaterte koden på plass og alt skal gå tilbake til det normale. 

🥏 Impact

Describe how internal and external users were impacted during the incident. Include how many support cases were raised.

Alle institusjoner som benytter integrasjonen var berørt. Siste gjennomførte overføring til Canvas var 2022-04-26 kl 17:00 (altså dagen før).

Tjenesteansvarlig mottok varsel fra HVL på Teams kl 07:59, og ba de varsle FS-support@sikt.no med lms@sikt.no på kopi. Tjenesteansvarlig mottok også en henvendelse fra en institusjon per e-post.

👁 Detection

Report when the team detected the incident and how they knew it was happening. Describe how the team could've improved time to detection.

Oppdaget ved melding fra sektoren, ca. kl 08:05. Sektoren meldte også om at SFTP-serveren (ved UiO/USIT) var utilgjengelig. Dette ble da først antatt som å være årsaken.

🙆‍♀️ Recovery

Report how the user impact was mitigated and when the incident was deemed resolved. Describe how the team could've improved time to mitigation.

Feilen gjorde at Canvas-institusjoner ikke fikk endringer fra FS inn i LMS i 1-2 døgn.

Feil ble oppdaget tidlig av enkeltinstitusjoner, rotårsaken ble ført avdekket 2022-04-27 kl 19:49 og rettet noen timer senere.

I løpet av kvelden/natten avventet man med å se om insitusjonene fikk import riktig, og mange hadde fortsatt problemer.

Bedre kontaktflater/avtaleforhold med eksterne driftsleverandører (både USIT og Instructure) kunne forkortet perioden der integrasjonen var utilgjengelig eller genererte feil.

⏲ Timeline

Detail the incident timeline using UTC to standardize for timezones. Include lead-up events, post-impact event, and any decisions or changes made.

2022-04-27:

Kl. 07:59: Problemet ble oppdaget av HVL som meldte fra på Teams for

Kl. 08:04: Tjenesteansvarlig (heretter TA) forsøker å koble til SFTP-server og får ikke koblet til. Melder fra på e-post til www-drift@usit.uio.no,

Kl. 08:06: TA melder fra på

Kl. 08:13: TA melder fra på Tjenestevarsling-Teamskanal for

Kl. 08:18: TA kontakter

Kl. 08:19: TA sender e-post med kort statusinformasjon om at integrasjonen har problemer og at statusoppdateringer vil gis på

Kl 08:25: USN melder på

Kl. 08:28: USN sender sak til FS-support@sikt.no (saksnr 303348) at integrasjonen og SFTP-serveren er nede (Flere institusjoner gjør det samme utover dagen).

Kl. 08:40: USN melder om at SFTP-serveren er tilgjengelig igjen og avventer ny import forespeilet ferdigstilt i 10-tiden for å se at den fungerer igjen.

Kl. 08:42: Tråd startet

Kl. 09:22:

Kl. 09:42: USIT svarer (saksnr 4872906) om at serveren ikke har blitt flyttet og at de har testet og verifisert at eksterne har tilgang.

Kl. 10:08: USN svarer på sin sak (303348) om at det fremdeles ikke er kommet en vellykket import til Canvas, men at man avventer til rundt lunsj for å se om den har blitt trigget.

Kl. 10:26-12:14: Flere institusjoner melder om at ingen ny import til Canvas er gjort.

Kl. 12:23: USN svarer på nytt i sin sak (303348) med at det fremdeles ikke er kommet en vellykket import til Canvas, og det samme gjelder alle andre institusjoner.

Kl. 13:05: TA kontakter

Kl. 14:05: TA svarer USIT (sak 4911512) med spørsmål om de kan fortsette feilsøking på sin ende og sjekke om Instructure (USA) har hatt vellykkede tilkoblinger og hentet ut filer fra SFTP-serveren.

Kl. 14:51: TA får svar fra

Kl. 15:47: TA sender utfylt avviksskjema til

Kl 19:49: TA mottar svar fra

Kl. 20:37: TA videresender svaret fra

Kl. 20:43: TA melder på

Kl 22:15: USN melder tilbake om at ny import har gått, men generert en stor mengde varsel/feilmeldinger. Avventer til nattens store hovedimport er gjennomført for videre analyse.

Kl 22:59: UiA melder på

Kl 23:08: TA melder kort status til

Kl. 23:23: TA sender sak til

2022-04-28:

Kl. 07:01: UiA melder på

Kl. 07:57: TA melder til

Kl. 10:08: TA sender oppdatering til

Kl. 10:50:

Kl. 14:02: TA ber USN melde inn support ticket til Instructure om at integrasjonen ikke fungerer som normalt.

Kl. 14:19: Tilbakemelding fra

Kl. 14:47: USN melder om at support ticket (08731556) er sendt til Instructure support og eskalert.

Kl 14:56: TA melder til

Kl. 17:59: TA gir statusoppdatering om at det avventes retting fra USA på

Kl. 19:18:

Kl. 19:50:

Kl 23:31: TA sender ny statusoppdatering på

2022-04-29:

Kl. 06:46: UiT melder på

Kl. 07:39: HVL melder om det samme

Kl. 08:49: USN videresender svar fra Instructure support på e-post (sendt fra Instructure kl. 01:26):

Sorry for the ongoing trouble.  I believe we have finally got it all sorted out and processed files should now be moved over to the "old" directory once we have finished with them.  I have manually triggered the import job for all of your schools, which should cause us to process these files one last time and then move them to "old".  From tomorrow on, things should process the way they should and then move into "old" after they are done.

Kl. 09:00-10:00: TA avventer om det kommer noen som melder om feil/problemer.

Kl: 10:11: TA friskmelder saken og melder fra til

🔎 Five whys root cause identification

Run a 5-whys analysis to understand the true causes of the incident. 

🤔 Lessons learned

Describe what you learned, what went well, and how you can improve.

✍ Follow-up tasks

List the Jira issues created to prevent this class of incident in the future. Note who is responsible, when they have to complete the work, and where that work is being tracked.