Hur genomfördes ESV:s användbarhetstester vid upphandlingen av statliga ramavtal för e-handelstjänst?

I upphandlingen ingick Användbarhet som ett utvärderingskriterium. Nedan finns en beskrivning över de tester som gjordes. Vid behov kan ESV lämna ut detaljerade beskrivningar om genomförandet.

Användbarhet definieras som "den utsträckning i vilken en specificerad användare kan använda en produkt för att uppnå specifika mål, med ändamålsenlighet, effektivitet och tillfredsställelse, i ett givet användningssammanhang" (ISO 9241-11 Riktlinjer för användbarhet). För att utvärdera användbarhet behöver man veta vem som ska använda E-handelstjänsten, vad personen ska göra och i vilken situation som E-handelstjänsten ska användas.

ESV har låtit ett representativt antal användare använda E-handelstjänsten under så realistiska förhållanden som möjligt. E-handelstjänsten har testas genom att ett antal användare utfört olika scenarier i ett så kallat användningstest. I anslutning till testet fick användarna besvara enkäten System Usability Scale (SUS) individuellt.

En expertutvärdering av E-handelstjänsten utfördes därefter utifrån dialogprinciperna i ISO-standarden 9241-10. Syftet med användbarhetsutvärderingen var att det genom användningstestet framgick i vilken grad E-handelstjänsten stödjer användarnas behov och mål, det vill säga om de kan utföra arbetsuppgifterna på ett effektivt och ändamålsenligt sätt.

Syftet med enkäten var att kvantifiera användarens upplevelse, tillfredsställelsen av E-handelstjänsten. Expertutvärderingens syfte var att uppmärksamma bristande konsekvens, otydlig eller förvirrande interaktion, hur väl E-handelstjänsten är utformad för att stödja människans informationsbearbetning och hur väl E-handelstjänsten följer allmänna riktlinjer för gränssnittsdesign. Expertutvärderingen är ett komplement till den övriga utvärderingen eftersom den täcker områden som övrig utvärdering inte berör.