Nicoletta Colletti (ASTAT): Il metodo CATI non può basarsi su un campione rappresentativo in quanto non tutte le famiglie sono presenti negli elenchi e quelle che lo sono non sono rappresentative dell’universo.
Con CAWI estraiamo un campione casuale dall’anagrafe: una condizione per noi necessaria.
L’autopromozione può incidere sul tasso di risposta portando a un errore di stima.
Un’indagine di ascolto campionaria rischia di fallire per i bacini di ascolto limitati.
Pubblicità
L’indagine ASTAT sui media in Alto Adige
In Italia non esiste solo l’indagine sugli ascolti radiofonici TER: come avevamo già scritto tempo fa, da anni la Provincia autonoma di Bolzano ne svolge una propria, realizzata dall’Istituto Provinciale di statistica ASTAT.
Dichiarativo + dichiarativo
L’indagine si basa non solo sul sistema CATI, ma anche sul CAWI (Computer Assisted Web Interview), indicato in una precedente nostra intervista a Renato Mannheimer come “un ottimo ed affidabile metodo“.
Pubblicità
Spiegazioni ed esempi
ASTAT non ha remore a spiegare nel dettaglio la propria metodologia e a illustrarla con esempi numerici, condizione indispensabile per comprendere i dati… al 100%.
Nicoletta Colletti
NL ha avuto l’opportunità di intervistare Nicoletta Colletti, che insieme a Stefano Lombardo fa parte del gruppo di lavoro che produce l’indagine.
L’intervista
(Newslinet) – Quando è nata la rilevazione “Uso dei media in Alto Adige” e quali sono gli obiettivi, la frequenza e il team che la realizza?
(Nicoletta Colletti) – L’indagine nasce nel 1994 con due obiettivi: conoscere le abitudini della popolazione altoatesina nei confronti della radio e della televisione e calcolare l’utenza media giornaliera delle emittenti televisive e radiofoniche locali, in base alla quale vengono concesse da parte della Provincia autonoma di Bolzano contributi a fondo perduto per l’adempimento di servizi di interesse economico generale.
Frequenza pubblicazione
Dopo la prima edizione dell’indagine sono seguite le successive negli anni 1998, 2001, 2005, 2012, 2017 e 2021. La prossima edizione è prevista per il 2024.
Il gruppo di lavoro
L’indagine viene progettata da un gruppo di lavoro interno ad ASTAT (attualmente formato dal dott. Stefano Lombardo e da me) con la collaborazione del Comitato provinciale per le comunicazioni e dell’associazione più rappresentativa a livello provinciale delle imprese beneficiarie dei contributi erogati dalla Provincia, e condotta da ASTAT.
Pubblicità
CATI non può sondare un campione significativo
(NL) – A livello nazionale TER utilizza solo il metodo CATI, mentre voi utilizzate anche CAWI. Quali le differenze?
(Nicoletta Colletti) – Il CATI non si basa su una lista completa dell’universo di riferimento dell’indagine. Non solo meno del 40% delle famiglie è presente nell’elenco telefonico, ma quelle presenti non sono rappresentative dell’universo in quanto hanno caratteristiche particolari; inoltre non disponiamo dell’elenco dei cellulari delle persone residenti in Alto Adige.
CAWI basato su registri anagrafici
Col metodo CAWI possiamo estrarre casualmente il campione dai registri anagrafici dei comuni, in modo che tutte le persone dell’universo di riferimento dell’indagine abbiano probabilità diversa da zero di essere estratte (condizione necessaria per estendere i risultati dal campione all’intera popolazione).
Pubblicità
CATI o CAWI: la scelta fatta dagli intervistati
Le persone estratte possono scegliere di compilare autonomamente il questionario online oppure attraverso un’intervista telefonica.
Anziani
Inoltre, una piccola parte del campione viene estratta dall’elenco telefonico per recuperare la maggiore caduta tra le persone anziane.
Autopromozione? Problema risolto
(NL) – Come noto, la polemica nazionale sulla cosiddetta “autopromozione” è seguita a un nostro articolo di febbraio 2023. Ma gli esperti interpellati da NL si sono divisi tra chi ne sosteneva la rilevanza e chi l’ininfluenza. Secondo voi qual è l’impatto di simili iniziative?
(Nicoletta Colletti) – Anche noi abbiamo avuto episodi simili di autopromozione (per es. trasmissioni con premi proprio nel periodo dell’indagine). Abbiamo provato a risolverli non comunicando le date precise dell’effettuazione dell’indagine.
Autopromozione ininfluente? Non propriamente d’accordo
Concordiamo solo in parte con chi sostiene l’ininfluenza dell’autopromozione.
Effettivamente, solo chi ascolta un’emittente ne sente l’autopromozione.
Pubblicità
Potrebbe incidere
Essa potrebbe però incidere significativamente sul tasso di risposta (nel senso che ascoltatori di un’emittente estratti nel campione che non avrebbero avuto intenzione o voglia di partecipare all’indagine, decidono di partecipare dato che la loro emittente preferita glielo chiede) e di conseguenza condurre a una sovrastima degli utenti.
Un esempio numerico
Popolazione: 500.000
Ipotizziamo che gli utenti effettivi che ascoltano almeno una volta alla settimana l’emittente X siano 50.000 (10% della popolazione)
Campione: 5.000, tra cui ci aspettiamo ci siano 500 (10%) ascoltatori settimanali dell’emittente X
Pubblicità
Senza autopromozione
Tasso di risposta: ipotizziamo 50% del campione = 2.500 questionari compilati
Ci aspettiamo che 250 siano utenti di X per cui la stima della percentuale di utenti settimanali di X = 250/2.500 = 10% della popolazione: otteniamo cosi i nostri 50.000 ascoltatori.
Con autopromozione di X efficace al 100% a parità di condizioni
Tutti i 500 estratti che ascoltano l’emittente X partecipano all’indagine –> 2.750 questionari compilati (sono 2.750, perché ai 2.500 rispondenti ipotizzati nel caso non ci sia autopromozione di X vanno aggiunti al campione effettivo i 250 convinti a partecipare all’indagine proprio dall’autopromozione di X).
Pubblicità
500
Ovviamente i 500 sono utenti di X, per cui la stima della percentuale di utenti settimanali di X = 500/2.750 = 18% della popolazione = 90.000 persone
Emittenti con autopromozione fortemente sovrastimate
Nota del redattore per chi non ha avuto la pazienza di seguire il calcolo: gli ascoltatori di una determinata emittente eventualmente convinti dal loro conduttore preferito a rispondere al questionario possono causare un errore della stima degli ascoltatori pari – nell’esempio presentato che rappresenta ovviamente un caso estremo – quasi al 100%.
Pubblicità
Errori di stima: una spiegazione
(NL) – Nella nota metodologica affermate che “L’errore standard assoluto delle stime relative all’intera popolazione è circa uguale nel caso peggiore (p = 0,5) all’1% e l’ampiezza degli intervalli di confidenza al 95% al 3,6%”…
(N.C.) – L’errore standard assoluto permette innanzitutto di calcolare l’errore standard relativo: errore standard relativo = errore standard assoluto/stima puntuale
Se l’errore standard relativo supera il 25% generalmente la stima non viene considerata sufficientemente accurata e il dato non viene pubblicato, ma sostituito con tre asterischi (***). Questo capita soprattutto in caso di fenomeni poco diffusi (nel nostro contesto gli utenti delle emittenti più piccole).
Pubblicità
TL/DR
N.d.r.: i lettori non appassionati di statistica possono passare al capitolo “Rilevazioni per bacini di utenza limitati”. Ma vale la pena fare uno sforzo.
Esempio:
- stima puntuale di una percentuale p = 2%
- n = 400
- errore standard assoluto = √(p(1-p)/n) = √(0,02*0,98/400) = 0,007 = 0,7%
- errore standard relativo = errore standard assoluto/stima puntuale = 0,007/0,02 = 0,35 = 35%: il dato non è pubblicabile, perché l’errore standard assoluto è troppo grande rispetto alla percentuale stimata
Pubblicità
Intervallo di confidenza
Con l’errore standard assoluto possiamo poi calcolare l’intervallo di confidenza: intervallo di confidenza al 95% = stima puntuale ± 1,96*errore standard assoluto
Esempio:
- stima puntuale di una percentuale p = 50%
- n = 2.500
- errore standard assoluto = √(0,5*0,5/2.500) = 0,01 = 1%
- errore standard relativo = 0,01/0,5 = 0,02 = 2% (il dato è quindi pubblicabile)
- stima intervallare al 95% di confidenza = 50% ± 1,96*1% = 50% ± 2% = (48%;52%)
Riassumendo…
(NL) – Quindi possiamo chiarire l’espressione “ampiezza degli intervalli di confidenza al 95% al 3.6%” dicendo che se si ripete 100 volte la ricerca, per 95 volte il dato indicato sarà corretto in un intervallo di +/- 1.8%… corretto?
(N.C.) – Sì, ha compreso correttamente. Ripetendo 100 volte la ricerca, per 95 volte il dato indicato si troverà all’interno dell’intervallo di confidenza +/- 1.8% intorno al valore stimato.
Rilevazioni per bacini di utenza limitati
(NL) – Esiste un modo di rilevare in modo affidabile i dati di ascolto di emittenti con “bacino di utenza” limitati, o comunque non conosciuti a priori, come nel caso delle radio digitali IP?
(N.C.) – Se il bacino di utenza è limitato un’indagine campionaria sulla popolazione rischia di fallire, a meno che il campione non sia così grande da permettere di ottenere stime sufficientemente accurate.
Pubblicità
Altre tecniche di campionamento
In questo caso, esistono altre tecniche di campionamento non probabilistico che possono fornire delle informazioni, qualitative più che quantitative, sul fenomeno (che ASTAT attualmente non utilizza).
Meter
(NL) – Avete pensato di integrare il metodo dichiarativo con l’adozione di un meter?
(N.C.) – Abbiamo affrontato l’argomento, ma per ora abbiamo deciso di non avvalerci di questa tecnologia per diversi motivi, quali difficoltà a reclutare persone disponibili, problemi di privacy, ascolto fuori casa non rilevabile, costi elevati. (M.H.B. per NL)
Pubblicità
