Di seguito, un post di Lorenzo Bocchi e Valentino Frasnelli, due studenti del corso di Interfacce e Tecnologie della Comunicazione di Rovereto, che hanno svolto il loro percorso di internship presso Digital Humanities nello scorso autunno.
Durante il nostro tirocinio, ci siamo dedicati allo sviluppo di EasyTurk, un’interfaccia grafica alternativa e più funzionale per il celebre servizio di crowdsourcing Amazon MTurk. Questo permette di velocizzare lo svolgimento compiti che devono necessariamente essere svolti a mano, come capita spesso nelle annotazioni di linguistica. La piattaforma mette in comunicazione i requester, che hanno bisogno dei contenuti annotati, e i worker, utenti iscritti al servizio che vengono pagati, per ogni task completato, una determinata cifra stabilita dal requester. Questo servizio è spesso usato da ricercatori che hanno bisogno di annotare rapidamente grandi moli di dati, in modo da poter usufruire di un capitale umano consistente e quindi ricevere i dati annotati in un tempo minore.
Detto questo, l’interfaccia messa a disposizione da Amazon è molto limitata, ed è ciò che ha spinto il nostro tutor Alessio Palmero Aprosio ad affidarci il compito di crearne un’alternativa user friendly e più completa, aiutati dalle API da lui create, sulla base di quelle che il servizio di Amazon mette già a disposizione.
Testata infatti l’interfaccia ufficiale, si ha l’impressione che Amazon metta in primo piano le loro ben più potenti API rispetto all’interfaccia (soprattutto per il requester) e che quest’ultima sia solamente un accessorio delle prime. Oltre alle limitate funzionalità, anche l’aspetto visivo non è dei migliori, risultando anonimo e per certi aspetti datato.
La nostra interfaccia, però, non è solo un mero miglioramento estetico di un servizio che c’è già, ma offre alcune funzionalità aggiuntive che Amazon, nella versione web della piattaforma, non mette a disposizione.
Per esempio, attraverso EasyTurk è possibile inserire in modo semplice più richieste nello stesso compito (detto HIT, Human Intelligent Task), permettendo, soprattutto nel caso di annotazioni veloci, un’ottimizzazione delle risorse umane disponibili e una spesa inferiore.
Un’altra grossa mancanza nell’interfaccia di Amazon è l’assenza della possibilità di utilizzare un gold standard, ovvero un insieme di domande annotate preventivamente dai ricercatori, normalmente molto semplici, che verificare se il worker sta effettivamente leggendo con attenzione le domande oppure se completa gli incarichi distrattamente e in fretta per guadagnare il denaro più velocemente.
In ultimo, EasyTurk dà la possibilità di bloccare i worker automaticamente. Sull’interfaccia originale di Mturk, questi possono essere bloccati solo manualmente dopo aver accertato che ci siano effettivamente le condizioni per bloccarli. Tramite questa nuova interfaccia è invece possibile impostare dei parametri di blocco, basati sul gold standard. Questa feature permette di bloccare automaticamente i worker se, per esempio, impiegano meno di tot secondi per completare un compito oppure se sbagliano la domanda gold per un certo numero di volte consecutive.
In questo modo il requester può bloccare i worker poco attenti che stanno facendo gli HIT a caso solamente per guadagnare, falsando i dati finali; così come è possibile bloccare i worker, è anche possibile rifiutare i risultati dai worker che sono stati bloccati o che hanno sbagliato il gold standard.
La visualizzazione Dot Matrix
Anche per quanto riguarda la visualizzazione dei risultati abbiamo pensato a qualcosa di totalmente diverso dalla classica tabella. Infatti, abbiamo implementato una visualizzazione stile Dot Matrix, che permette di suddividere le HIT in pallini di diverso colore in base al loro stato attuale (ad esempio inviata ad Amazon, pubblicata, in corso, completata, contiene o meno errori, e così via). Con questa visualizzazione siamo riusciti a semplificare l’esperienza del requester che, anziché scorrere varie pagine di una tabella e scegliere manualmente l’ordinamento, si ritrova tutti i dati in un’unica pagina facilmente distinguibili in base al colore. Ovviamente c’è la possibilità di usare una tabella per i nostalgici dei fogli di calcolo.
EasyTurk è al momento disponibile su github, e può essere installata su qualsiasi macchina che abbia a disposizione Node.js, php e MySQL. Il software è già pensato per poter essere utilizzato da utenti diversi per ogni istanza installata, ciascuno protetto da password.
Questo progetto ci ha aiutati a meglio comprendere come funziona lo sviluppo in un ambiente di lavoro reale, nonché di affinare le nostre competenze di VueJS, un framework di sviluppo per strumenti web, e più in generale di design di interfacce. Speriamo che il nostro lavoro e quello di Alessio torni utile a chiunque lo utilizzerà e che il tool dia una valida alternativa a quello offerto da Amazon o ad altri strumenti per il crowdsourcing più costosi, come per esempio Appen.
