Hier vind je de slides van mijn finale presentatie:

Code

Op de volgende links kan je alle code vinden die ik gebruikt heb voor de ontwikkeling van mijn digitale prototypes:

• Github-pagina met alle code voor de iOS-applicatie Healthify
• Scripts die gebruikt worden om data op te halen uit en weg te schrijven naar de centrale database

Poster

Hier vind je poster die normaal gezien gebruikt zou worden op de HCI-dag:

Zoals de titel van deze blogpost aangeeft, is het al een hele tijd geleden dat ik jullie nog eens op de hoogte stelde van waar ik mee bezig was. Ik ben echter druk bezig geweest met het analyseren van de resultaten van mijn onderzoek en het schrijven van mijn thesistekst. Met enige trots kan ik zeggen dat mijn thesistekst, op enkele proofreads na, volledig af is. Het enige wat mij nog rest is het afmaken van mijn poster.

Motiverende waarde van individuele gamification-elementen

• De badges voor fruit, minder voedsel met een hoog vetgehalte en activiteiten van minstens 30 minuten werken motiverend
• De badges van vrienden stimuleren gebruikers om dezelfde of meer badges te behalen
• De geïntegreerde stappenteller wordt als zeer nuttig bevonden en motiveert gebruikers om daadwerkelijk actiever te zijn. Dit kan enerzijds doordat ze kunnen zien hoeveel stappen ze hebben gezet, maar anderzijds kan het feit dat hun calorieënbalans daalt, ook een motivatie zijn.
• De meeste gebruikers vonden voedselvoorstellen op basis van locatie een nuttige functie, maar uit de data-analyse van alle gebruikers (niet enkel degenen uit het onderzoek) blijkt dat deze functionaliteit zelden gebruikt wordt. Een mogelijke boosdoener is hier de vereiste van een internetverbinding.
• Sociale media voegt geen (motiverende) waarde toe aan het ontwerp

Motiverende waarde van het ontwerp

Het ontwerp zonder de gamification-elementen wordt als veel minder motiverend ervaren en de gebruikers die eerst een week HealthifyOne (Healthify zonder gamification) gebruikten, verloren sneller interesse in het ontwerp. Toch werden zij (lichtjes) gemotiveerd door HealthifyOne, wat er op kan wijzen dat het quantified self-deel van het ontwerp op zich al motiverend kan werken, aangezien het de gebruiker bewust maakt van zijn levensstijl. Om de gebruiker echt te engageren is er echter wel een combinatie nodig van quantified self en gamification, quantified self alleen kan niet zorgen voor voldoende engagement voor het ontwerp (wat bleek uit het eerste traject van het onderzoek).

Data-analyse

In totaal waren er 218 personen die het ontwerp, in de vorm van een mobiele applicatie, installeerden op hun smartphone, wat veel meer is als ik voordien verwacht had. 91 van deze personen gaven voedsel in en waren samen verantwoordelijk voor een input van 2311 voedingsproducten. Bijna 41% van de vrouwen en 23% van de mannen haakten echter af vooraleer ze vijf voedingsproducten hadden ingegeven. Bij activiteiten was dit zelfs 78% van de vrouwen en 64% van de mannen.

De meeste gebruikers die Healthify installeerden, zaten in de juiste leeftijdsgroep, namelijk tussen 18 en 29 jaar.

De badges voor fruit, voedsel met een hoog vetgehalte en activiteiten konden gebruikers aanmoedigen dit vol te houden voor een korte periode (3 of 5 dagen), maar de badges voor de langere periodes werden door de meeste gebruikers niet behaald.

Tot slot werd de functionaliteit voor een gewichtsdoel weinig gebruikt. Drie mannen en drie vrouwen stelden een doelgewicht in. Bij de mannen lag dit doelgewicht gemiddeld vier kilogram lager dan hun huidige gewicht, terwijl dit bij de vrouwen gemiddelde 5,33 kilogram was. Niemand behaalde daadwerkelijk het ingestelde gewichtsdoel, maar de mannen verloren gemiddeld één kilogram, terwijl de vrouwen er niet in slaagden gewicht te verliezen. Dit kan een indicatie zijn dat vrouwen meer gewicht willen verliezen, maar geen realistische doelen voor ogen hebben en er bijgevolg ook niet in slagen deze na te streven.

Heb je Healthify zelf gebruikt en wil je graag delen wat jij van het ontwerp vond? Deel het dan zeker in de comments!

Het is ondertussen al even geleden dat ik nog een blog post schreef die beschreef waar ik mee bezig was.

Na het afwerken van mijn wetenschappelijk paper ben ik begonnen met het schrijven van thesistekst, waarvan ik intussen 3 hoofdstukken geschreven heb. Verder zijn er ook nog 12 personen bezig met mijn onderzoek en hebben 11 personen het al volledig afgewerkt.

Daarnaast heb ik me al wat bezig gehouden met het ontwerp en het uitwerken van mijn poster. De basis hiervan ligt zo goed als vast en ook de invulling is al grotendeels gebeurd. In de komende blog posts zal ik hier meer op ingaan en de poster uiteraard eens tonen.

Tot slot integreer ik de feedback die ik krijg van mensen uit mijn onderzoek telkens in de bestaande applicatie, zodat er vaak nieuwe updates van Healthify uitkomen, die kleine probleempjes verhelpen.

Deelnemen aan mijn onderzoek kan nog steeds!

Inschrijven kan via http://bit.ly/Healthify-Onderzoek!

Mijn wetenschappelijk paper vind je hier.

In de vorige blog post riep ik op om deel te nemen aan mijn onderzoek, maar gaf ik geen details over hoe het onderzoek juist in zijn werk zou gaan. Het doel van deze blog post is om wat inzicht te geven in de grote lijnen van het onderzoek, maar er zal niet worden ingegaan op wat er juist in de vragenlijsten wordt bevraagd om zo mensen die deze blog post lezen vooraleer deel te nemen, niet te beïnvloeden.

Tijdens het onderzoek zijn er 2 parallelle trajecten die beide 2 weken duren. In het ene traject zal de student één week werken met HealthifyOne. Dit is een applicatie die de gebruiker toelaat zijn of haar voedsel en activiteiten te registreren, net als Healthify, maar die geen gamification-elementen bevat. Tijdens de tweede week gebruikt de student dan wel de echte applicatie, Healthify, om zo de waarde van de gamification-elementen te kunnen evalueren. Deze evaluatie gebeurt op basis van een analyse van alle data die gelogd is tijdens het onderzoek (voedsel, activiteiten, badges, sociale media, …) en door een aantal vragenlijsten. De student vult namelijk 3 vragenlijsten in: voor het onderzoek, na de eerste week en na de tweede week. Deze vragenlijsten peilen vooral naar of en waarom studenten vinden dat een bepaald element hen motiveert en of ze vooruitgang maken tijdens deze 2 weken.

In het andere traject gebruiken studenten Healthify gedurende 2 weken, zonder eerst een andere applicatie te gebruiken. Om die manier is het mogelijk om te evalueren of het gebruik van de applicatie als geheel hen meer kan motiveren om gezonder te gaan leven dan zonder applicatie. Ook hier gebeurt de evaluatie door een analyse van data en 3 vragenlijsten.

De vragenlijsten bestaan uit een aantal open en een aantal geschaalde vragen. Door een Likert-schaal [1] te gebruiken voor een aantal vragen, is het mogelijk om moeilijk meetbare gegevens, zoals de mate waarmee een gebruiker akkoord gaat met een stelling, toch te kwantificeren [2].

Wil je deelnemen? Contacteer me dan en ik leg je uit welk traject je zal volgen en hoe je kan beginnen aan het onderzoeken!

Referenties

[1] Sanford Labovitz. Some observations on measurement and statistics. Social Forces, 46(2):151-160, 1967.

[2] Mark Traylor. Ordinal and interval scaling. Journal of the Market Research Society, 25(4):297-303, 1983.

Om mijn onderzoeksvraag

Kunnen studenten met behulp van gamification gemotiveerd worden om gezonder te gaan leven?

te kunnen evalueren, heb ik een onderzoek opgesteld, waarover je in één van de volgende blog posts meer kan lezen.

Tijdens dit onderzoek gebruik je ofwel gedurende 2 weken dezelfde applicatie, namelijk Healthify ofwel gebruik je elke week een verschillende versie van deze applicatie namelijk HealthifyOne en Healthify.

Het enige wat je moet doen, is elke dag een paar minuten de tijd nemen om in te geven wat je die dag gegeten hebt en welke activiteiten je die dag gedaan hebt. Vooraf, na week 1 en na week 2 zal je ook gevraagd worden een aantal vragen in te vullen, om zo te bepalen wat jij vindt van de verschillende functionaliteiten die de applicatie aanbiedt.

Hier vind je de slides van mijn tweede tussentijdse presentatie:

9 Problemen en mogelijke oplossingen

1. Te weinig voedsel in database
   1. Voedseldatabase uitbreiden
   2. Synchroniseren met centrale database
2. Niet duidelijk dat instellingen onder ‘Profiel’ staan
   1. Profiel-tab hernoemen naar ‘Instellingen’
   2. Icoon veranderen in iets dat gebruikers associëren met instellingen
3. Gebruiker moet altijd via overzicht om iets te kunnen toevoegen
   1. Directe verbinding tussen beginscherm en pagina om iets toe te voegen
4. Badges van vrienden laden voor scherm getoond wordt zorgt voor vertraging
   1. Pagina met badges van vrienden tonen en ondertussen bijwerken
5. Zelf toegevoegde voeding en activiteiten worden niet aan lokale database toegevoegd
   1. Deze voeding en activiteiten toevoegen aan de lokale database
6. Opslaan-knop bij instellingen is niet nodig
   1. Opslaan-knop weglaten en bij terugkeer naar vorige scherm instellingen opslaan
   2. Niets veranderen
7. Klikken bij verdiende badge is storend voor sommige gebruikers
   1. Badge na een bepaald aantal seconden van scherm laten verdwijnen
   2. Niets veranderen

10 Gekozen oplossing voor elk probleem en de motivering hiervoor

1. Te weinig voedsel in database

De voedseldatabase is uitgebreid in de nieuwe versie van de applicatie. Verder is het nu ook mogelijk om voeding toe te voegen in een centrale database. Op het moment dat de gebruiker dan beschikt over een internetverbinding wordt alles wat in deze database zit ook toegevoegd aan de lokale database op het toestel van de gebruiker.

2. Niet duidelijk dat instellingen onder ‘Profiel’ staan

Omdat er toch niet echt een ‘profiel’ is (het zijn enkel persoonlijke instellingen, de mogelijkheid om met Moves te verbinden, instellingen voor notificaties en de mogelijkheid om feedback te geven), wordt deze tab hernoemt naar ‘Instellingen’ en wordt het tab-icoon verandert naar de radartjes die in de systemen van Apple kenmerkend zijn voor instellingen.

3. Gebruiker moet altijd via overzicht om iets te kunnen toevoegen

Aan het beginscherm worden zowel voor voeding als activiteiten een knop toegevoegd die de gebruiker dadelijk naar het scherm brengt waar hij of zij iets kan toevoegen.

4. Badges van vrienden laden voor scherm getoond wordt zorgt voor vertraging

De badges worden vanaf deze versie pas geladen als het scherm met badges van vrienden getoond wordt. Wat getoond wordt voor de badges van vrienden volledig geladen zijn, zijn de badges die de vorige keer geladen werden, dus wat lokaal opgeslagen is. Nadat de badges ingeladen zijn, wordt de pagina ververst met de nieuwe gegevens.

5. Zelf toegevoegde voeding en activiteiten worden niet aan lokale database toegevoegd

Voeding en activiteiten die door de gebruiker zelf toegevoegd werden, worden nu ook aan de lokale database toegevoegd. Na verificatie, wordt het voedingsproduct of de activiteit ook aan de centrale database toegevoegd, zodat ze beschikbaar is voor alle gebruikers. Op dat moment wordt het voedingsproduct of de activiteit ook overschreven bij de gebruiker die het item toevoegde, zodat er geen dubbels aanwezig zijn in de lokale database.

6. Opslaan-knop bij instellingen is niet nodig

Dit wordt niet aangepakt. Het is maar 1 persoon, die dit storend vond en het aantal clicks dat nodig is om iets op te slaan verandert niet door de opslaan-knop weg te laten. Verder is het makkelijker om gewoon terug te keren naar de vorige pagina als gebruikers zich bedenken en een aanpassing niet willen doorvoeren. Als er geen opslaan-knop was en alles werd opgeslagen als de gebruiker terugkeerde naar de vorige pagina, zou de gebruiker handmatig alles moet terugzetten als hij of zij zich zou bedenken.

7. Klikken bij verdiende badge is storend voor sommige gebruikers

Ook hier wordt niets aangepast. Naast deze ene persoon, vond niemand het storend dat de badges lang getoond worden en expliciet moeten weg geklikt worden. Het is ook belangrijk voor de motivatie van de gebruiker dat er onmiddellijk feedback gegeven wordt aan de gebruiker als hij of zij een badge verdient en dat het duidelijk is wat de badge betekent [1, 2]. Door de gebruiker de badge te laten weg klikken, heeft hij of zij altijd voldoende tijd om deze informatie te verwerken.

Referenties

[1] Hao Wang, & Chuen-Tsai Sun. Game reward Systems: gaming experiences and social meanings. Research Paper, Department of Computer Science, National Chiao Tung University, Taiwan, 2011.

[2] Adrián Domínguez, Joseba Saenz-de-Navarrete, Luis de-Marcos, Luis Fernández-Sanz, Carmen Pagés, & José-Javier Martínez-Herráiz. Gamifying learning experiences: Practical implications and outcomes. Computers & Education, 63: 380-392, 2013.

Zoals omschreven in blogpost #42, is het tweede digitale prototype nu geëvalueerd. Aangezien de applicatie beschikbaar is in de App Store, had ik de mogelijkheid om feedback te krijgen zonder dat ik echt aanwezig moest zijn.

5 Testgebruikers

• Wie:
  • 7 Master-studenten, 1-Bachelor-student en 1 niet-student
  • 7 mannen, 2 vrouwen
  • Allen iPhone-gebruikers
  • Leeftijd: 17-25 jaar
• Waar:
  • Via de applicatie

6 Resultaten

[n = x betekent dat x testgebruikers dit probleem, deze opmerking of dit positief punt aanhaalden]

• Positief
  • Zelf voeding en activiteiten toevoegen lukt bij iedereen (n = 9)
  • Eigen badges en badges van vrienden zijn voor iedereen duidelijk (n = 9)
• Problemen met de interface:
  • Sommigen personen wouden notificaties uitzetten of van tijdstip veranderen, maar wisten niet hoe (n = 2)
  • Enkelen vonden het omslachtig om iets toe te voegen, omdat ze eerst via het overzicht moesten gaan en dan pas op de +-knop konden duwen (n = 2)

• Opmerkingen:
  • Weinig voedsel in de database (n = 4), maar wel goed dat er zelf voeding kan toegevoegd worden (n = 9)
  • 1 persoon merkte op dat het scherm met badges van vrienden beter eerst getoond en dan pas bijgewerkt kan worden ipv omgekeerd (n = 1)
  • 1 persoon merkte op dat voeding die zelf wordt toegevoegd niet terug te vinden was in de lokale voedsel-database, enkel in de lijst met recent voedsel (n = 1)
  • 1 persoon vond een opslaan-knop bij persoonlijke instellingen overbodig (n = 1)
  • 1 persoon vond het feit dat er bij een badge ergens op geklikt moest worden storend (n = 1)

7 SUS-score

• Resultaten van SUS-questionnaire:
• Gemiddelde: 89,4
• Verschillende waarden: 97,5; 95 (2x); 92,5; 90; 87,5 (2x); 85; 75
• Interpretatie:
  • Een SUS-score van 68 wordt als gemiddeld beschouwd, dus alle applicaties die meer dan 68 scoren, zitten boven het gemiddelde[1]
  • Een interface van een applicatie met een SUS-score vanaf 90.9 wordt beschouwd als de beste voorstelbare interface voor die applicatie[2]

8 Conclusie

• Alle taken kunnen zonder problemen worden uitgevoerd. Er is geen enkele testpersoon die niet in een taak slaagde.
• De belangrijkste opmerking tijdens deze iteratie is dat niet alle voeding in de voedseldatabase aanwezig is, maar het is wel een goed punt dat gebruikers zelf voeding kunnen ingeven.
• De instellingen die gewijzigd kunnen worden staan onder de tab ‚Profiel’ en dit is niet meteen voor iedereen duidelijk.

• Mensen die dadelijk iets willen invoeren moet nog altijd via het overzicht vooraleer ze iets kunnen toevoegen.

• De gebruiker moet wachten tot de badges van vrienden geladen zijn vooraleer het scherm met badges van vrienden getoond wordt.

• Voeding en activiteiten die zelf worden toegevoegd, worden enkel in de lijst met recente voeding/activiteiten weergegeven en worden niet aan de lokale database toegevoegd.

• De ‚Opslaan’-knop voor instellingen is voor sommige gebruikers overbodig.

• Het feit dat er geklikt moet worden voor een verdiende badge van het scherm verdwijnt, is voor sommige gebruikers storend.

9 Vragen

Na de SUS-questionnaire werden er ook nog een aantal vragen gesteld met betrekking tot de badges en het gebruik van sociale media in de applicatie.

• Het gebruik van badges motiveert mij om doelen te halen en gezonder te leven.
  • Gemiddeld: 4/5
• De moeilijkheid van de badges is goed gespreid tussen makkelijk en uitdagend.
  • Gemiddeld: 4/5
• Ik zou graag de mogelijkheid hebben om mijn behaalde badges te delen op sociale media.
  • Gemiddeld: 3,6/5 (5, 5, 5, 5, 4, 3, 2, 2, 1)

Referenties

[1] Jeff Sauro. Measuring Usability With The System Usability Scale (SUS), http://www.measuringusability.com/sus.php, February 2011.

[2] Aaron Bangor, Philip Kortum, and James Miller. Determining What Individual SUS Scores Mean: Adding an Adjective Rating Scale. Journal of Usability Studies, 4(3):114-123, 2009.

Als je zelf het paper prototype eens bekijkt, vind je dan dat deze opmerkingen van de testgebruikers terecht zijn (d.w.z. deel jij hun mening)? Zijn er eventueel nog andere dingen die je dadelijk opvallen in het paper prototype en die je graag anders zou zien?