Equivalenza fra somministrazione carta-matita, al computer e in internet: il caso Self-Directed Search e Big Five


Klement Poláček

Professore Emerito, Docente di Mezzi psicodiagnostici e orientamento alla Pontificia Università Salesiana di Roma.

polacek@ups.urbe.it


Con la diffusione dell'uso del personal computer (PC) e più recentemente di internet, la somministrazione e l’utilizzazione dei mezzi diagnostici strutturati e di quelli proiettivi sono state notevolmente modificate. Molti strumenti diagnostici sono stati inizialmente pubblicati nella versione originale carta-matita, confezionati in libretti e accompagnati dai fogli di risposta. Successivamente sono stati proposti nella versione informatica che utilizza programmi gestiti da PC in modo diretto o attraverso sistemi telematici come Internet, con necessarie modifiche rispetto all'originale. Ci si può ragionevolmente chiedere se le versioni informatiche dei mezzi elaborati per essere usati in forma carta-matita siano equivalenti. Oltre alla versione computerizzata anche le norme sono state elaborate utilizzando la versione carta-matita e il foglio di risposta. Anche esse possono essere utilizzate tranquillamente con le versioni informatizzate?

La traduzione degli originali carta-matita di vari test e questionari è stata effettuata già negli anni Settanta-Ottanta in versione di PC e l’equivalenza delle due versioni è stata esaminata in un certo numero di studi. Il rapporto invece tra la versione carta-matita e la somministrazione e la correzione come anche la consegna dei risultati di profili via internet non è stato verificato se non in qualche sporadico studio. La verifica tra la versione carta-matita e i due tipi di versioni informatizzate è imposta da Standards for Educational and Psychological Testing dell'American Psychological Association (1999).

In Italia recentemente è stata pubblicata la Self-Directed Search (SDS), uno strumento per rilevare le preferenze professionali dei giovani e degli adulti nell'ambito della teoria dei tipi professionali di John L. Holland (Holland, Powell e Fritzsche, 1994). In un recente studio Lumsden, Sampson, Reardon, Lenz e Peterson (2004) hanno verificato la corrispondenza fra le tre versioni della SDS di cui intendiamo offrire un breve resoconto. Similmente Chuah, Drasgow e Roberts (2006) hanno condotto una verifica sul noto questionario di personalità Big Five nella versione di Lewis R. Goldberg (1992). Esponiamo ora sinteticamente i dati delle due ricerche.


SDS
Lumsden et al. (2004) hanno adottato la forma R della SDS nella versione carta-matita del 1994 (Holland, Powell e Fritzsche, 1994) adattata in italiano da Poláček nel 2003 e la versione informatizzata ad opera di Reardon, PAR Staff e Holland (1996) gestita con il PC. Inoltre la versione per internet è stata elaborata da Holland et al. (1999). Le tre versioni sono state utilizzate con 93 universitari di psicologia. Tali soggetti sono stati poi assegnati casualmente ad uno dei tre seguenti gruppi in numero pressoché uguale:


  • carta-matita vs computer personale (n = 32)

  • computer personale vs internet (n = 30)

  • carta-matita vs internet (n = 31).



Come è noto, dalla SDS si ottengono informazioni su sei aree professionali: Realistica, Investigativa, Artistica, Sociale, Intraprendente e Convenzionale. In base al punteggio grezzo che si ottiene, vengono stabilite le preferenze del soggetto per le sei aree. Oltre all’area privilegiata il soggetto può avere una preferenza per una seconda e poi per una terza area. Delle sei aree vengono utilizzate però soltanto tre lettere che formano il cosiddetto codice del soggetto che esprime l'ordine delle sue preferenze per tre aree.

Per effettuare il confronto fra le tre versioni gli Autori hanno calcolato le correlazioni tra le aree dei punteggi ottenuti per ognuna delle sei aree nelle tre versioni (carta-matita, PC e internet), hanno poi calcolato la congruenza dei tre codici ottenuti nelle tre versioni ed hanno supposto un elevato rapporto tra i punteggi delle identiche aree che sono state rilevate con le tre versioni. Se fossero stati ottenuti alti coefficienti di correlazione, sarebbe stata confermata l'identità dei risultati e quindi un elevato accordo fra le tre versioni e le tre modalità di rilevazione sarebbero risultate equivalenti. Allo stesso modo un identico o almeno molto simile codice ottenuto nelle tre versioni avrebbe confermato l'accordo fra le tre modalità di rilevazione delle preferenze.

Gli Autori hanno preso in considerazione anche il tempo richiesto per l'uso dei tre modi di rilevare le preferenze professionali e con un altro breve questionario hanno accertato la preferenza per i tre procedimenti. Tale preferenza veniva intesa dai ricercatori come maggiore o minore motivazione alla collaborazione e alla utilizzazione della SDS.
Il primo confronto fra le tre versioni è stato effettuato per mezzo delle medie e delle deviazioni standard delle sei aree. Dall’analisi multivariata è risultato che le medie e le deviazioni standard sono state molto simili e su diciotto confronti solo in un caso la differenza è risultata statisticamente significativa. Gli Autori hanno perciò concluso che le tre versioni della SDS sono equivalenti. Sono stati calcolati poi i coefficienti di correlazione tra i punteggi ottenuti con le tre versioni delle aree denominate nello stesso modo e confrontate due a due (ad esempio, l’area Realistica rilevata con la versione carta-matita rispetto alla stessa area rilevata in internet).


La gamma dei coefficienti ottenuti da tale confronto della versione carta-matita rispetto a quella del PC è stata tra .85 e .95. La gamma dei coefficienti della versione carta-matita rispetto all'internet è stata tra .91 a .97. ed è stata della stessa estensione per la versione internet rispetto alla rilevazione con il PC e cioè .92 -.98. Anche questi coefficienti indicano un elevato accordo fra le tre versioni nella rilevazione delle aree professionali.

Gli Autori in base ad una rassegna di undici studi in cui sono stati confrontati i risultati della versione carta-matita con quelli ottenuti con le due versioni computerizzate, hanno già prima constatato l’equivalenza delle modalità di uso della SDS. Soltanto in altri quattro studi gli Autori non hanno riscontrato conferme ugualmente favorevoli alle tre versioni.

Infine, gli Autori hanno calcolato l'indice di Iachan (Holland, Powell e Fritzsche, 1994), elaborato per esprimere il grado di accordo fra le tre lettere che formavano il codice del singolo partecipante. Come già detto sopra, il codice doveva essere identico in ogni versione o al più presentare una minima variazione da una versione all'altra. La gamma del punteggio della congruenza dell'indice di Iachan si estende da 0 (“nessun accordo”) a 28 (“perfetto accordo”). Le medie dell’indice ottenuto risultavano le seguenti: 24.53 tra la versione carta-matita rispetto alla versione del PC; tra la versione carta-matita rispetto a quella di internet 26.23 e tra la versione internet rispetto a quella del PC 25.90. Anche le differenze tra queste medie dei tre indici non sono risultate significative. Di conseguenza anche l’indice di Iachan ha confermato un’elevata congruenza dei risultati ottenuti con le tre versioni. Inoltre, gli Autori hanno constatato che ben il 43% dei soggetti ha ottenuto l'indice identico e cioè 28 nelle versioni abbinate.

Differenze significative sono emerse invece in relazione al tempo impiegato nell'uso delle tre versioni e nella soddisfazione di svolgere il lavoro con le medesime. Come era facilmente prevedibile, la versione carta-matita ha richiesto il tempo maggiore per l'utilizzazione della SDS, seguita dalla versione del PC e poi da quella di internet.




Big Five

Chuah, Drasgow e Roberts (2006) hanno costituito un campione di 728 studenti universitari suddivisi in tre gruppi sperimentali per somministrare il questionario Big Five di Goldberg formato da 53 aggettivi in tre note versioni:


  • carta-matita (n = 226)

  • computer (n = 222)

  • internet (n = 240)



Per verificare l'identità dei risultati dei tre modi di somministrazione gli Autori hanno usato quattro differenti metodi statistici:



  • Item Response Theory (IRT: teoria della risposta agli item);

  • analisi fattoriale;

  • validità di criterio;

  • differenze tra le medie delle scale.




Il primo metodo, IRT, è stato considerato il più adatto a tale verifica in quanto il punteggio del tratto latente in esame non dipende dagli specifici item del test e dai differenti campioni come avviene nel confronto tra le medie verificato con la teoria classica. Per ogni item viene tracciata l'ogiva dei gruppi di confronto (nel caso in oggetto, tre) e poi viene esaminata l'identità oppure la differenza tra le tre ogive.

Il questionario Big Five è formato da cinque scale che corrispondono a cinque fattori fondamentali di personalità: Stabilità emotiva, Estroversione, Apertura mentale, Gradevolezza e Coscienziosità. Con il punteggio grezzo delle cinque scale è stata condotta l'analisi fattoria1e per stabilire se le tre soluzioni fattoriali fossero identiche oppure differenti e quindi dipendenti dai tre modi di somministrazione.

La validità di criterio è stata verificata confrontando le cinque scale del Big Five con le scale di un breve questionario che rilevava quattro caratteristiche disposizionali: Comportamento favorevole alla salute, Controllo di incidenti, Comportamenti a rischio, Uso di sostanze nocive. Se i coefficienti di correlazione fossero stati uguali (bassi o alti) fra le cinque scale del Big Five e le quattro del questionario situazionale per i tre modi di somministrazione, tali modi avrebbero dato risultati equivalenti.

Infine, sono state confrontate le medie delle cinque scale del Big Five ottenute con i tre modi di somministrazione. Le differenze tra le medie sono state espresse con l’indice d corrispondente alle frazioni della deviazione standard dei punteggi grezzi delle cinque scale. Il valore basso esprime differenza trascurabile tra i punteggi delle scale e quindi avrebbe indicato che i tre modi non producono variazioni nel punteggio delle scale che risultava equivalente.

Chuah, Drasgow e Roberts (2006) hanno verificato con metodi statistici adatti se le tre versioni del Big Five avrebbero prodotto punteggi differenti per le cinque scale.

Con l’IRT sono state tracciate le ogive per tutti gli item del Big Five in base ai tre modi di somministrazione. Le ogive di tutti gli item sono risultate praticamente identiche, indipendentemente dalle tre versioni. Dall'esame della struttura fattoriale del Big Five è risultata una più elevata somiglianza dei fattori emersi. Tale struttura ha confermato che i tre modi di somministrazione non hanno prodotto delle variazioni nei punteggi delle scale del questionario.

Con la validità di criterio è stato verificato se i coefficienti di correlazione sarebbero stati molto simili tra le cinque scale del BigFive e le quattro scale del questionario delle caratteristiche situazionali per i tre modi di somministrazione. I coefficienti tra le scale dei due questionari avrebbero potuto essere alti o bassi purché molto simili nei tre modi di somministrazione. Tali aspettative sono state pienamente confermate in quanto solo in uno dei sedici confronti è stata riscontrata una lieve divergenza tra i tre coefficienti e precisamente in Stabilità emozionale e Uso di sostanze nocive, in quanto il coefficiente per la somministrazione di carta-matita è risultato -.08, per la somministrazione con computer.11 e per quella con internet -.06. Nei rimanenti quindici confronti i coefficienti ottenuti dai tre modi di somministrazione risultarono molto simili e in un caso praticamente identici (precisamente tra Coscienziosità e Comportamenti di rischio: -.18). Con il metodo della validità di criterio è stata pienamente confermata l’equivalenza delle tre versioni del Big Five.


Infine, il confronto tra le medie delle scale del Big Five è stato effettuato mettendo in rapporto volta per volta le medie ottenute dalle tre combinazioni di somministrazioni: carta-matita e internet, carta-matita e computer, computer e internet. Le differenze tra tali medie sono state espresse con l'indice d (corrispondente alla frazione della deviazione standard). Tutti gli indici sono stati molto bassi e la gamma dell'indice d è stata ridottissima (i valori ottenuti si situarono tra -.20 e.19). Di nuovo i tre modi di somministrazione non hanno fornito dati significativamente differenti per le cinque scale del BigFive.





Conclusioni


Tra le versioni della SDS e del Big Five per la rilevazione e per l’elaborazione dei dati non sono risultate differenze statisticamente significative e perciò possono essere usate scambievolmente. Differenze significative tra i dati ottenuti con le tre versioni sono emerse rispetto alla lunghezza del tempo richiesto e riguardo alla gradevolezza del loro uso. In tutti e due gli aspetti la versione carta-matita è stata svantaggiata. Per optare per una delle tre versioni della SDS entreranno in gioco delle ragioni di convenienza come costi, disponibilità di attrezzature e specificità di finalità dei gestori e in modo subordinato degli utenti della SDS. Questi dati giustificano anche l’uso delle norme elaborate in base alla versione carta-matita della SDS e di conseguenza giustificano l’uso dei dati ottenuti con le due versioni informatizzate.

I risultati di Chuah, Drasgow e Roberts (2006) non fanno altro che confermare i dati ottenuti da Lumsden et al. (2004) sui tre modi di somministrare l'SDS e il Big Five estendendoli anche ai questionari di personalità .

Riferimenti bibliografici
American Psychological Association (1999). Standards for educational and psychological testing. American Psychological Association, Washington, DC.

Chuah, S.C., Drasgow, F. e Roberts, B.W. (2006), Personality assessment: Does the medium matter? Journal of Research in Personality, 40, 359-376.

Goldberg, L.R. (1992), Development of markers for the Big Five factor structure. Psychological Assessment, 4, 26-42.

Holland, J.L., Powell, A.B. e Fritzsche, B.A. (1994). The Self-Directed Search professional user’s guide. Psychological Assessment Resources, Odessa, FL. (ad. it.:a cura di K.Poláček, SDS Self-Directed Search. O.S. Organizzazioni Speciali, Firenze, 2003).

Holland, J.L., Reardon, R.C., Latshaw, R.J., Rarick, S.R., Schneider, S., Shortridge, M.A. e St. James, S.A. (1999). Self-Directed Search form R Internet version. In Internet (21 novembre 2003): www.self-directed-search.com.

Lumsden, J.A., Sampson, J.P. Jr, Reardon, R.C., Lenz, J.G. e Peterson, G.W. (2004). A comparison study of the paper-and-pencil, personal computer, and Internet versions of Holland's Self-Directed-Search. Measurement and Evaluation in Counseling and Development, 37, 85-94.

Reardon, R.C., PAR Staff e Holland, J.L. (1996). Self-Directed Search form R computer version. Psychological Assessment Resources, Odessa, FL.

I link sono stati apposti dalla Redazione; i siti cui essi rimandano erano in atto al momento della pubblicazione dell’articolo.

 

ITEMS la newsletter del testing Psicologico  
Registrazione Tribunale di Firenze n° 5514 del 6 settembre 2006  
ISSN: 1970-0466