Guida ai Task di Aether: Come Scrivere Justifications Impeccabili e Mantenere il Progetto
Il segreto per mantenere punteggi alti su Aether: formula per scrivere buone motivazioni, gestione del timer di lavoro ed eliminazione dei punti deboli nelle revisioni.
Ci sono annotatori che lavorano su Aether per mesi, altri che spariscono dopo due settimane. La differenza quasi mai riguarda la scelta della risposta migliore — su quella, la maggior parte dei candidati arriva già a un livello accettabile. La differenza sta nella motivazione scritta.
Il sistema di qualità di Aether non è automatizzato: un revisore umano legge quello che hai scritto. Valuta se il tuo ragionamento è tracciabile, se le tue citazioni sono reali, se le tue conclusioni seguono dai tuoi argomenti. Un annotatore che sceglie sempre la risposta giusta ma non sa spiegare perché viene rimosso. Un annotatore che a volte sceglie quella leggermente sbagliata ma produce ragionamenti solidi ottiene feedback, migliora e resta.
Perché le Justifications Sono il 90% del Tuo Voto
La scelta tra Risposta A e Risposta B è binaria — o hai ragione o hai torto, e nemmeno sempre in modo chiaro. La justification invece è un testo che il revisore valuta su una scala sfumata, e può compensare o distruggere il punteggio di una singola scelta.
Ecco cosa guarda concretamente un revisore senior quando legge la tua motivazione:
1. Tracciabilità del ragionamento — Riesci a guidarlo dalla premessa alla conclusione senza salti logici? Se scrivi “la risposta B è meglio perché è più precisa”, il revisore non può seguire il tuo ragionamento perché non ha definito cosa intendi per “precisa” né ha indicato dove questa precisione si manifesta.
2. Specificità delle evidenze — Hai citato porzioni reali delle risposte, o hai descritto in modo vago l’impressione generale? “Il modello A ha usato un tono inappropriato” è vago. “Il modello A ha risposto con ‘ovviamente’ nella terza frase, un termine che suona condiscendente rispetto alla domanda genuina dell’utente” è specifico.
3. Allineamento con la rubrica — La tua motivazione parla dei criteri che contano per Aether (factuality, instruction following, safety) o parla di criteri che non sono nella rubrica (creatività, originalità, eleganza stilistica)? Citare criteri non ufficiali non aiuta — può anzi segnalare che non hai letto le linee guida.
4. Proporzionalità del giudizio — Hai usato “Much Better” per una differenza minima? Hai usato “Slightly Better” per una differenza sostanziale? Il grado di preferenza deve corrispondere all’entità della differenza documentata.
La Formula in 3 Parti di una Buona Justification
Non esiste un template rigido che funzioni per ogni task. Esiste però una struttura logica che produce motivazioni robuste nella grande maggioranza dei casi.
Parte 1 — La Premessa: il vincolo principale del prompt
Inizia identificando e dichiarando il criterio più rilevante per quel task specifico. Questo serve a due cose: dimostra che hai letto e compreso il prompt, e fornisce al revisore il quadro di riferimento con cui leggere il resto.
“Il prompt richiedeva una spiegazione di un concetto tecnico rivolta a un pubblico non esperto, con un limite di 200 parole e senza uso di terminologia specialistica.”
La premessa non deve essere lunga — una o due frasi. Il suo scopo è ancorare la motivazione al task specifico, non riassumere l’intero prompt.
Parte 2 — Il Confronto Evidente: dove uno ha fallito e l’altro ha brillato
Questa è la parte più importante e quella più spesso eseguita male. Devi citare porzioni specifiche delle risposte, non descrivere impressioni generali.
Regola delle virgolette: usa le virgolette ogni volta che fai riferimento a qualcosa che la risposta dice letteralmente. Se stai parafrasando o descrivendo, specifica che stai parafrasando. La distinzione importa perché un revisore può andare a verificare la tua citazione.
La struttura interna del confronto segue questo schema:
- Cosa ha sbagliato o mancato la risposta perdente (con evidenza specifica)
- Cosa ha fatto bene la risposta vincente sullo stesso parametro (con evidenza specifica)
- Se rilevante: altri elementi di differenza secondari (ma non più di uno o due — non vuoi diluire il punto principale)
“La risposta A supera il limite di parole con circa 280 parole invece delle 200 richieste, e include termini tecnici come ‘iperparametro’ e ‘funzione di attivazione’ che violano il vincolo di linguaggio semplice. La risposta B si mantiene entro 195 parole e sostituisce la terminologia tecnica con analogie comprensibili (‘il modello impara come un bambino che riceve correzioni’), rispettando entrambi i vincoli del prompt.”
Parte 3 — Il Verdetto Conclusivo: grado di preferenza e logica
Chiudi con una frase che dichiara il grado di preferenza e lo collega alle evidenze che hai già presentato. Non introdurre argomenti nuovi qui — stai concludendo, non aprendo.
La scala dei gradi di preferenza e quando usarli:
| Grado | Quando si usa |
|---|---|
| Slightly Better | Una differenza minore su un singolo criterio; entrambe le risposte sono sostanzialmente valide |
| Better | Una differenza chiara su uno o più criteri importanti; la risposta perdente ha difetti reali |
| Much Better | Una differenza sostanziale: violazione grave di vincoli, errore fattuale significativo, problema di sicurezza |
| Significantly Better | Usato raramente; riservato a casi in cui la risposta perdente è chiaramente dannosa o del tutto fuori target |
“Per questi motivi, la risposta B è da preferire con grado ‘Better’: rispetta entrambi i vincoli espliciti del prompt mentre la risposta A ne viola due simultaneamente.”
Esempio Pratico Prima/Dopo
Il prompt: “Spiega cos’è l’inflazione a un bambino di 10 anni. Massimo 100 parole. Non usare la parola ‘economia’.”
Risposta A (112 parole, contiene “economia”): “L’inflazione è un fenomeno dell’economia per cui i prezzi delle cose aumentano nel tempo. Quando c’è inflazione, con gli stessi soldi compri meno cose di prima. Ad esempio, se oggi un gelato costa 1 euro e l’anno prossimo costa 1,20 euro, c’è stata inflazione del 20%. I governi cercano di controllare l’inflazione attraverso le politiche monetarie della banca centrale…”
Risposta B (87 parole, non contiene “economia”): “Immagina che con 5 euro puoi comprare 5 caramelle oggi. L’anno prossimo, gli stessi 5 euro ne comprano solo 4. I soldi hanno ‘perso potere’. Questo succede perché le cose costano di più — si chiama inflazione. È come se i tuoi soldi si stringessero un po’ ogni anno. Per questo i tuoi genitori a volte dicono che ‘una volta costava meno’.”
❌ Justification bocciata
“Il modello A è più lungo e risponde meglio alla domanda dando più informazioni. Il modello B è troppo semplicistico.”
Perché viene bocciata:
- Non cita alcun vincolo del prompt
- “Risponde meglio” non è motivato con evidenze
- “Troppo semplicistico” ignora che semplicità era un requisito esplicito
- Ha scelto la risposta sbagliata basandosi su un criterio inesistente (lunghezza = qualità)
✅ Justification che supera la revisione
“Il prompt richiedeva una spiegazione adatta a un bambino di 10 anni con limite di 100 parole e senza l’uso della parola ‘economia’.
La risposta A viola entrambi i vincoli: supera il limite con circa 112 parole e include la parola ‘economia’ nella prima frase (‘fenomeno dell’economia’). Contiene inoltre riferimenti a ‘banca centrale’ e ‘politiche monetarie’ che non sono adatti al livello cognitivo richiesto.
La risposta B si mantiene entro 87 parole, non usa mai la parola ‘economia’ e impiega un’analogia concreta (le caramelle, i soldi che ‘si stringono’) accessibile a un bambino. Rispetta il registro richiesto dall’inizio alla fine.
Preferenza: Much Better per la risposta B. La risposta A viola due vincoli espliciti simultaneamente, mentre la risposta B li rispetta entrambi mantenendo una qualità comunicativa adeguata al pubblico target.“
Perché questa supera la revisione:
- Apre identificando i vincoli rilevanti
- Cita testo letterale con le virgolette (“fenomeno dell’economia”)
- Conta le parole invece di stimarle
- Usa “Much Better” in modo proporzionale alla gravità della violazione (doppia violazione di vincoli espliciti)
- Chiude con un verdetto che riassume la logica senza aggiungere elementi nuovi
Come Gestire il Timer del Task
Ogni task su Aether ha un timer visibile. La sua funzione non è solo organizzativa — è anche un segnale di qualità. Tempi anomali in entrambe le direzioni attivano flag nel sistema.
Il problema del rushing (invio troppo rapido)
Completare un task in meno di 2–3 minuti è statisticamente impossibile se l’annotatore ha davvero letto tutto, verificato i vincoli e scritto una motivazione articolata. Il sistema lo sa. Task inviati in tempi molto brevi vengono automaticamente segnalati per revisione prioritaria — e quando un revisore apre un task già segnalato, lo esamina con una lente più critica.
Questo non significa che devi deliberatamente perdere tempo. Significa che se hai genuinamente finito in 5 minuti, vale la pena rileggere tutto con calma prima di inviare. Quasi sempre trovi qualcosa da migliorare.
Il problema dell’inattività prolungata (timeout)
I task hanno una finestra di completamento. Se lasci un task aperto senza attività per un periodo prolungato — il limite esatto varia, ma indicativamente oltre 30–45 minuti di inattività — il task può tornare in coda o scadere. Un task scaduto non genera punteggio e in alcuni casi viene registrato come completamento mancato.
La strategia corretta per task complessi che richiedono ricerche esterne:
- Apri il task e fai una prima lettura completa
- Esegui le verifiche esterne in finestre separate (il timer continua a scorrere, ma sei “attivo” sulla pagina)
- Torna alla pagina, scrivi la motivazione, invia
Se ti rendi conto di aver aperto un task in un momento in cui non hai il tempo di completarlo, in alcuni progetti è possibile “rilasciare” il task — restituendolo alla coda senza penalità. Verifica se questa opzione è disponibile nell’interfaccia prima di lasciarlo scadere.
Distribuzione del tempo indicativa per mantenere un ritmo sostenibile senza flag:
| Tipo di task | Minimo ragionevole | Massimo efficiente |
|---|---|---|
| Task semplice (conversazione breve) | 8 minuti | 15 minuti |
| Task medio (ragionamento o istruzioni complesse) | 12 minuti | 22 minuti |
| Task avanzato (coding o fact-checking intensivo) | 18 minuti | 35 minuti |
Cosa Fare Quando Arriva una Valutazione Bassa
Le valutazioni basse arrivano. Anche agli annotatori più esperti, anche su task che sembravano chiari. La reazione a un feedback negativo è spesso più importante del task stesso.
Come leggere il feedback del revisore
Il feedback di Aether tipicamente indica:
- Il criterio su cui la tua motivazione è stata ritenuta insufficiente
- A volte una nota del revisore che spiega il problema
- Il punteggio del task (che contribuisce al tuo Quality Score aggregato)
Leggi il feedback senza difensività. La domanda da farti non è “ha ragione il revisore?” ma “cosa avrei potuto scrivere che avrebbe evitato questa valutazione?”. Sono due domande diverse. La seconda è quella utile.
Domande guida per analizzare un feedback negativo:
- Ho dichiarato il vincolo principale del prompt?
- Ho citato testo reale delle risposte o ho descritto impressioni?
- Il grado di preferenza che ho usato era proporzionato?
- Ho parlato di criteri non presenti nella rubrica di Aether?
Quando aprire un ticket di contestazione
La contestazione di una valutazione bassa è possibile, ma va usata con giudizio. Aprire ticket sistematicamente per ogni feedback negativo viene registrato e interpretato come incapacità di accettare feedback — il che, paradossalmente, abbassa la fiducia dei revisori nel tuo lavoro.
Apri un ticket di contestazione solo se:
- Il feedback del revisore cita un criterio che non è presente nelle linee guida ufficiali del progetto
- Il revisore ha valutato negativamente una tua citazione che è letteralmente presente nel testo della risposta (errore di verifica)
- Il tuo task ha ricevuto una valutazione che contraddict esplicitamente il feedback su un task precedente identico
In tutti gli altri casi — inclusi quelli in cui pensi che il revisore abbia torto — la cosa più produttiva è applicare il feedback al task successivo e misurare se il punteggio migliora.
Come correggere il tiro dopo un feedback
Il metodo più efficace è la calibrazione progressiva: non cambiare tutto dopo un singolo feedback, ma isolare l’elemento che il revisore ha segnalato e modificare solo quello nel task successivo. Se hai modificato tre elementi contemporaneamente e il punteggio migliora, non sai quale dei tre ha fatto la differenza.
Schema di calibrazione in 4 step:
- Identifica: quale parte specifica della tua motivazione ha generato il feedback negativo?
- Ipotizza: cosa avresti dovuto scrivere invece?
- Applica: usa quella struttura modificata nel task successivo
- Verifica: il feedback migliora? Se sì, hai calibrato correttamente. Se no, torna al punto 1
Un Quality Score che scende sotto il 75% su Aether tipicamente attiva una revisione del tuo profilo. Non è necessariamente una rimozione immediata, ma è il momento in cui smettere di lavorare “a volume” e concentrarsi su task singoli eseguiti con la massima cura, fino a riportare il punteggio sopra l’80%.
Pronto a metterti alla prova?
Scopri le piattaforme AI che abbiamo recensito in modo indipendente e candidati direttamente.
Vedi le piattaforme