ANALISI DI IMPATTO DELLE POLITICHE E DEI PROGRAMMI DI SVILUPPO
Syllabus
EN
IT
Obiettivi Formativi
OBIETTIVI FORMATIVI: C’è una crescente richiesta di valutazioni d’impatto. Tuttavia, per la maggior parte dei professionisti, definire con chiarezza cosa si intenda per impatto e valutarlo adeguatamente rappresenta ancora una sfida. Il corso su valutazione e assessment dell’impatto prepara i partecipanti a risolvere problemi reali e a prendere decisioni informate, applicando conoscenze, competenze e tecniche apprese. Questo corso vi guiderà attraverso un processo step-by-step per la valutazione d’impatto, offrendovi diverse opzioni per misurare l’impatto, specialmente in interventi complessi. Imparerete metodi diversi e come scegliere quello più adatto al vostro caso.
CONOSCENZA E CAPACITÀ DI COMPRENSIONE: Gli studenti apprenderanno a identificare e stimare gli effetti causali in economia e gestione, applicando diverse metodologie di valutazione dell’impatto. Acquisiranno una chiara comprensione delle principali ipotesi alla base di queste metodologie. Un’abilità fondamentale sarà distinguere tra causalità e correlazione nei contesti empirici.
CAPACITÀ DI APPLICARE CONOSCENZA E COMPRENSIONE: Gli studenti svilupperanno la capacità di analizzare criticamente e interpretare studi empirici che utilizzano tecniche di valutazione dell’impatto. Saranno in grado di valutare l’idoneità delle metodologie rispetto alla domanda di ricerca, al contesto e ai dati disponibili.
AUTONOMIA DI GIUDIZIO: Gli studenti saranno in grado di formulare e giustificare autonomamente semplici domande di ricerca che implicano relazioni causali. Applicheranno strategie di identificazione appropriate per trarre conclusioni basate su evidenze. Inoltre, valuteranno i punti di forza e di debolezza delle scelte metodologiche e relative ai dati.
ABILITÀ COMUNICATIVE: Al termine del corso, gli studenti presenteranno con sicurezza le ipotesi, i metodi e i risultati delle valutazioni dell’impatto a un pubblico professionale e generale, utilizzando un linguaggio chiaro e preciso.
CAPACITÀ DI APPRENDIMENTO: Il corso fornisce conoscenze di base e competenze pratiche per esplorare autonomamente tecniche avanzate di inferenza causale. Gli studenti valuteranno criticamente l’uso di queste tecniche nella letteratura empirica contemporanea e miglioreranno la loro comprensione delle metodologie di valutazione.
CONOSCENZA E CAPACITÀ DI COMPRENSIONE: Gli studenti apprenderanno a identificare e stimare gli effetti causali in economia e gestione, applicando diverse metodologie di valutazione dell’impatto. Acquisiranno una chiara comprensione delle principali ipotesi alla base di queste metodologie. Un’abilità fondamentale sarà distinguere tra causalità e correlazione nei contesti empirici.
CAPACITÀ DI APPLICARE CONOSCENZA E COMPRENSIONE: Gli studenti svilupperanno la capacità di analizzare criticamente e interpretare studi empirici che utilizzano tecniche di valutazione dell’impatto. Saranno in grado di valutare l’idoneità delle metodologie rispetto alla domanda di ricerca, al contesto e ai dati disponibili.
AUTONOMIA DI GIUDIZIO: Gli studenti saranno in grado di formulare e giustificare autonomamente semplici domande di ricerca che implicano relazioni causali. Applicheranno strategie di identificazione appropriate per trarre conclusioni basate su evidenze. Inoltre, valuteranno i punti di forza e di debolezza delle scelte metodologiche e relative ai dati.
ABILITÀ COMUNICATIVE: Al termine del corso, gli studenti presenteranno con sicurezza le ipotesi, i metodi e i risultati delle valutazioni dell’impatto a un pubblico professionale e generale, utilizzando un linguaggio chiaro e preciso.
CAPACITÀ DI APPRENDIMENTO: Il corso fornisce conoscenze di base e competenze pratiche per esplorare autonomamente tecniche avanzate di inferenza causale. Gli studenti valuteranno criticamente l’uso di queste tecniche nella letteratura empirica contemporanea e miglioreranno la loro comprensione delle metodologie di valutazione.
Prerequisiti
Gli studenti devono aver frequentato corsi introduttivi di statistica ed econometria. Devono conoscere i principi dell’inferenza statistica e della regressione lineare e saper usare STATA.
Programma
PARTE PRIMA – INTRODUZIONE ALLA VALUTAZIONE D’IMPATTO
Settimana 1 – Perché valutare?
Giorno 1. Politiche basate sulle evidenze – Parte 1
• Che cos’è la valutazione d’impatto?
• Valutazione d’impatto prospettica rispetto a quella retrospettiva
• Studi di efficacia e studi di effettività
Giorno 1. Politiche basate sulle evidenze – Parte 2
• Approcci complementari
• Considerazioni etiche riguardanti la valutazione d’impatto
• Valutazione d’impatto per le decisioni di policy
• Decidere se effettuare o meno una valutazione d’impatto
Giorno 3. Prepararsi a una valutazione
• Passi iniziali
• Costruire una Theory of Change (teoria del cambiamento)
• Sviluppare una Results Chain (catena di risultati)
• Definire le domande di valutazione
• Selezionare indicatori di esito e di performance
• Lista di controllo: reperire i dati per i propri indicatori
PARTE SECONDA – COME VALUTARE
Settimana 2 – Inferenza causale, strategie di identificazione e metodi di stima
Giorno 1. Inferenza causale
• Inferenza causale
• Il controfattuale
• Due stime “contraffatte” del controfattuale
Giorno 2. Assegnazione casuale
• Valutare i programmi in base alle regole di assegnazione
• Assegnazione casuale del trattamento
• Lista di controllo: assegnazione casuale
Giorno 3. Variabili strumentali
• Valutare i programmi quando non tutti rispettano l’assegnazione
• Tipologie di stime d’impatto
• Compliance imperfetta
• Promozione randomizzata come variabile strumentale
• Lista di controllo: promozione randomizzata come variabile strumentale
Settimana 3 – Inferenza causale, strategie di identificazione e metodi di stima
Giorno 1. Disegno a discontinuità regressiva
• Valutare programmi che utilizzano un indice di idoneità
• Disegno a discontinuità regressiva “fuzzy”
• Verificare la validità del disegno a discontinuità regressiva
• Limiti e interpretazione del metodo di discontinuità regressiva
• Lista di controllo: disegno a discontinuità regressiva
Giorno 2. Difference-in-Differences
• Valutare un programma quando la regola di assegnazione è meno chiara
• Il metodo Difference-in-Differences
• In che modo il metodo Difference-in-Differences è utile?
• L’ipotesi di “trend paralleli” nella Difference-in-Differences
• Limiti del metodo Difference-in-Differences
• Lista di controllo: Difference-in-Differences
Giorno 3. Matching
• Costruire un gruppo di confronto artificiale
• Propensity Score Matching
• Combinare il Matching con altri metodi
• Limiti del metodo Matching
• Lista di controllo: Matching
Settimana 4 – Inferenza causale, strategie di identificazione e metodi di stima
Giorno 1. Affrontare le sfide metodologiche – Parte 1
• Effetti di trattamento eterogenei
• Effetti comportamentali non intenzionali
• Compliance imperfetta
Giorno 2. Affrontare le sfide metodologiche – Parte 2
• Effetti di spillover
• Attrition (abbandono dei partecipanti)
• Tempistica e persistenza degli effetti
Giorno 3. Valutare programmi complessi
• Valutare programmi che combinano diverse opzioni di trattamento
• Valutare programmi con livelli variabili di trattamento
• Valutare interventi multipli
PARTE TERZA – COME IMPLEMENTARE UNA VALUTAZIONE D’IMPATTO
Settimana 5 – Implementazione PIE (Policy Impact Evaluation)
Giorno 1. Scegliere un metodo di valutazione d’impatto
• Determinare quale metodo utilizzare per un dato programma
• Come le regole operative di un programma possono aiutare a scegliere il metodo di valutazione d’impatto
• Confronto tra metodi di valutazione d’impatto
• Identificare la più piccola unità di intervento fattibile
Giorno 2. Gestire una valutazione d’impatto
• Gestire il team, il tempo e il budget di una valutazione
• Ruoli e responsabilità dei team di ricerca e di policy
• Stabilire una collaborazione
• Tempistiche della valutazione
• Come definire il budget per una valutazione
Giorno 3. L’etica e la scienza della valutazione d’impatto
• Come gestire valutazioni etiche e credibili
• L’etica nella conduzione di valutazioni d’impatto
• Assicurare valutazioni affidabili e credibili tramite la “Open Science”
• Lista di controllo: una valutazione d’impatto etica e credibile
PARTE QUARTA – COME OTTENERE I DATI PER UNA VALUTAZIONE D’IMPATTO
Settimana 6 – Raccolta dati
Giorno 1. Scegliere un campione
• Campionamento e calcoli di potenza statistica (power calculations)
• Selezionare un campione
• Come decidere la dimensione del campione per la valutazione d’impatto: power calculations
Giorno 2. Trovare fonti di dati adeguate
• Tipologie di dati necessari
• Uso di dati quantitativi già esistenti
• Raccolta di nuovi dati attraverso sondaggi
Giorno 3. Diffondere i risultati e influenzare le politiche
• Una solida base di evidenze per la policy
• Adattare la strategia di comunicazione a diversi pubblici
• Diffondere i risultati
Settimana 1 – Perché valutare?
Giorno 1. Politiche basate sulle evidenze – Parte 1
• Che cos’è la valutazione d’impatto?
• Valutazione d’impatto prospettica rispetto a quella retrospettiva
• Studi di efficacia e studi di effettività
Giorno 1. Politiche basate sulle evidenze – Parte 2
• Approcci complementari
• Considerazioni etiche riguardanti la valutazione d’impatto
• Valutazione d’impatto per le decisioni di policy
• Decidere se effettuare o meno una valutazione d’impatto
Giorno 3. Prepararsi a una valutazione
• Passi iniziali
• Costruire una Theory of Change (teoria del cambiamento)
• Sviluppare una Results Chain (catena di risultati)
• Definire le domande di valutazione
• Selezionare indicatori di esito e di performance
• Lista di controllo: reperire i dati per i propri indicatori
PARTE SECONDA – COME VALUTARE
Settimana 2 – Inferenza causale, strategie di identificazione e metodi di stima
Giorno 1. Inferenza causale
• Inferenza causale
• Il controfattuale
• Due stime “contraffatte” del controfattuale
Giorno 2. Assegnazione casuale
• Valutare i programmi in base alle regole di assegnazione
• Assegnazione casuale del trattamento
• Lista di controllo: assegnazione casuale
Giorno 3. Variabili strumentali
• Valutare i programmi quando non tutti rispettano l’assegnazione
• Tipologie di stime d’impatto
• Compliance imperfetta
• Promozione randomizzata come variabile strumentale
• Lista di controllo: promozione randomizzata come variabile strumentale
Settimana 3 – Inferenza causale, strategie di identificazione e metodi di stima
Giorno 1. Disegno a discontinuità regressiva
• Valutare programmi che utilizzano un indice di idoneità
• Disegno a discontinuità regressiva “fuzzy”
• Verificare la validità del disegno a discontinuità regressiva
• Limiti e interpretazione del metodo di discontinuità regressiva
• Lista di controllo: disegno a discontinuità regressiva
Giorno 2. Difference-in-Differences
• Valutare un programma quando la regola di assegnazione è meno chiara
• Il metodo Difference-in-Differences
• In che modo il metodo Difference-in-Differences è utile?
• L’ipotesi di “trend paralleli” nella Difference-in-Differences
• Limiti del metodo Difference-in-Differences
• Lista di controllo: Difference-in-Differences
Giorno 3. Matching
• Costruire un gruppo di confronto artificiale
• Propensity Score Matching
• Combinare il Matching con altri metodi
• Limiti del metodo Matching
• Lista di controllo: Matching
Settimana 4 – Inferenza causale, strategie di identificazione e metodi di stima
Giorno 1. Affrontare le sfide metodologiche – Parte 1
• Effetti di trattamento eterogenei
• Effetti comportamentali non intenzionali
• Compliance imperfetta
Giorno 2. Affrontare le sfide metodologiche – Parte 2
• Effetti di spillover
• Attrition (abbandono dei partecipanti)
• Tempistica e persistenza degli effetti
Giorno 3. Valutare programmi complessi
• Valutare programmi che combinano diverse opzioni di trattamento
• Valutare programmi con livelli variabili di trattamento
• Valutare interventi multipli
PARTE TERZA – COME IMPLEMENTARE UNA VALUTAZIONE D’IMPATTO
Settimana 5 – Implementazione PIE (Policy Impact Evaluation)
Giorno 1. Scegliere un metodo di valutazione d’impatto
• Determinare quale metodo utilizzare per un dato programma
• Come le regole operative di un programma possono aiutare a scegliere il metodo di valutazione d’impatto
• Confronto tra metodi di valutazione d’impatto
• Identificare la più piccola unità di intervento fattibile
Giorno 2. Gestire una valutazione d’impatto
• Gestire il team, il tempo e il budget di una valutazione
• Ruoli e responsabilità dei team di ricerca e di policy
• Stabilire una collaborazione
• Tempistiche della valutazione
• Come definire il budget per una valutazione
Giorno 3. L’etica e la scienza della valutazione d’impatto
• Come gestire valutazioni etiche e credibili
• L’etica nella conduzione di valutazioni d’impatto
• Assicurare valutazioni affidabili e credibili tramite la “Open Science”
• Lista di controllo: una valutazione d’impatto etica e credibile
PARTE QUARTA – COME OTTENERE I DATI PER UNA VALUTAZIONE D’IMPATTO
Settimana 6 – Raccolta dati
Giorno 1. Scegliere un campione
• Campionamento e calcoli di potenza statistica (power calculations)
• Selezionare un campione
• Come decidere la dimensione del campione per la valutazione d’impatto: power calculations
Giorno 2. Trovare fonti di dati adeguate
• Tipologie di dati necessari
• Uso di dati quantitativi già esistenti
• Raccolta di nuovi dati attraverso sondaggi
Giorno 3. Diffondere i risultati e influenzare le politiche
• Una solida base di evidenze per la policy
• Adattare la strategia di comunicazione a diversi pubblici
• Diffondere i risultati
Testi Adottati
Gertler, Paul J., Sebastian Martinez, Patrick Premand, Laura B. Rawlings, and Christel M. J. Vermeersch. 2016. Impact Evaluation in Practice, second edition. Washington, DC: Inter-American Development Bank and World Bank. doi:10.1596/978-1-4648-0779-4. License: Creative Commons Attribution CC BY 3.0 IGO
Bibliografia
Joshua D. Angrist and Jörn-Steffen Pischke, 2009 Mostly Harmless Econometrics: An Empiricist's Companion, Princeton University Press.
S. Cunningham, (2021) "Causal Inference: the Mixtape" , https://mixtape.scunning.com/
S. Cunningham, (2021) "Causal Inference: the Mixtape" , https://mixtape.scunning.com/
Modalità di svolgimento
Lezioni frontali, laboratorio, progetti da sviluppare.
Regolamento Esame
La prova di esame è la stessa per frequentanti e non frequentanti e valuta la preparazione complessiva dello studente, la capacità di integrazione delle conoscenze delle diverse parti del programma, la consequenzialità del ragionamento, la capacità analitica e la autonomia di giudizio. Inoltre, vengono valutate la proprietà di linguaggio e la chiarezza espositiva, in aderenza con i descrittori di Dublino (1. Conoscenza e capacità di comprensione (knowledge and understanding); 2. Capacità di applicare la conoscenza e comprensione (applying knowledge and understanding); 3. Autonomia di giudizio (making judgements); 4. Capacità di apprendimento (learning skills); 5: Abilità di comunicazione (communication skills).
Per la verifica dell'apprendimento è previsto il sostenimento di una prova scritta, un project work e una verifica orale. Il voto complessivo è così composto: scritto (+ orale facoltativo sulla parte teorica) 50%; project work (+ orale sul project work) 50%; Se lo scritto si supera con almeno 18/30, si può rifiutare il voto e tornare all'appello successivo. Il voto ottenuto all'appello successivo annulla il voto precedente; L'orale consiste nella discussione del project work. Tuttavia, chi volesse aumentare il voto dello scritto può sostenere l'orale sulla parte teorica. Il voto dello scritto può aumentare o diminuire di massimo 2 punti; Scritto e orale devono essere sostenuti nel medesimo appello; Se non si supera lo scritto non potrà essere sostenuto l'orale sul PW. La prova di esame sarà valutata secondo i seguenti criteri: Non idoneo: importanti carenze e/o inaccuratezze nella conoscenza e comprensione degli argomenti; limitate capacità di analisi e sintesi, frequenti generalizzazioni e limitate capacità critiche e di giudizio, gli argomenti sono esposti in modo non coerente e con linguaggio inappropriato;
18-20: conoscenza e comprensione degli argomenti appena sufficiente con possibili generalizzazioni e imperfezioni; capacità di analisi sintesi e autonomia di giudizio sufficienti, gli argomenti sono esposti in modo frequentemente poco coerente e con un linguaggio poco appropriato/tecnico;
21-23: Conoscenza e comprensione degli argomenti routinaria; Capacità di analisi e sintesi corrette con argomentazione logica sufficientemente coerente e linguaggio appropriato/tecnico
24-26: Discreta conoscenza e comprensione degli argomenti; buone capacità di analisi e sintesi con argomentazioni espresse in modo rigoroso ma con un linguaggio non sempre appropriato/tecnico.
27-29: Conoscenza e comprensione degli argomenti completa; notevoli capacità di analisi e sintesi. Buona autonomia di giudizio. Argomenti esposti in modo rigoroso e con linguaggio appropriato/tecnico
30-30L: Ottimo livello di conoscenza e comprensione approfondita degli argomenti. Ottime capacità di analisi, di sintesi e di autonomia di giudizio. Argomentazioni espresse in modo originale e con linguaggio tecnico appropriato.
Per la verifica dell'apprendimento è previsto il sostenimento di una prova scritta, un project work e una verifica orale. Il voto complessivo è così composto: scritto (+ orale facoltativo sulla parte teorica) 50%; project work (+ orale sul project work) 50%; Se lo scritto si supera con almeno 18/30, si può rifiutare il voto e tornare all'appello successivo. Il voto ottenuto all'appello successivo annulla il voto precedente; L'orale consiste nella discussione del project work. Tuttavia, chi volesse aumentare il voto dello scritto può sostenere l'orale sulla parte teorica. Il voto dello scritto può aumentare o diminuire di massimo 2 punti; Scritto e orale devono essere sostenuti nel medesimo appello; Se non si supera lo scritto non potrà essere sostenuto l'orale sul PW. La prova di esame sarà valutata secondo i seguenti criteri: Non idoneo: importanti carenze e/o inaccuratezze nella conoscenza e comprensione degli argomenti; limitate capacità di analisi e sintesi, frequenti generalizzazioni e limitate capacità critiche e di giudizio, gli argomenti sono esposti in modo non coerente e con linguaggio inappropriato;
18-20: conoscenza e comprensione degli argomenti appena sufficiente con possibili generalizzazioni e imperfezioni; capacità di analisi sintesi e autonomia di giudizio sufficienti, gli argomenti sono esposti in modo frequentemente poco coerente e con un linguaggio poco appropriato/tecnico;
21-23: Conoscenza e comprensione degli argomenti routinaria; Capacità di analisi e sintesi corrette con argomentazione logica sufficientemente coerente e linguaggio appropriato/tecnico
24-26: Discreta conoscenza e comprensione degli argomenti; buone capacità di analisi e sintesi con argomentazioni espresse in modo rigoroso ma con un linguaggio non sempre appropriato/tecnico.
27-29: Conoscenza e comprensione degli argomenti completa; notevoli capacità di analisi e sintesi. Buona autonomia di giudizio. Argomenti esposti in modo rigoroso e con linguaggio appropriato/tecnico
30-30L: Ottimo livello di conoscenza e comprensione approfondita degli argomenti. Ottime capacità di analisi, di sintesi e di autonomia di giudizio. Argomentazioni espresse in modo originale e con linguaggio tecnico appropriato.