Revista Apuntes

Revista Apuntes
   
Para citar este artículo
Título: PISA 2009/2000 en América Latina: una relectura de los cambios en el desempeño lector y su relación con las condiciones sociales
Autor: César Guadalupe y Alejandra Villanueva
Revista:  Apuntes, Revista de Ciencias Sociales, Vol. XL, N° 72, Primer semestre 2013
Páginas: 157-192
Descargar: Versión español

PISA 2009/2000 en América Latina: una relectura de los cambios en el desempeño lector y su relación con las condiciones sociales



César Guadalupe y Alejandra Villanueva
Universidad del Pacífico1

Resumen

Este artículo explora en qué medida los cambios observados en el desempeño lector de estudiantes de educación secundaria entre los años 2000 y 2009 –para los países latinoamericanos participantes del Programa Internacional de Evaluación de Estudiantes de la OCDE (PISA)– son atribuibles a cambios en las características socioeconómicas de las poblaciones estudiadas. A estos efectos, se reprocesan los datos de PISA concluyendo que, de acuerdo a lo esperable dada la literatura existente, los cambios en las características socioeconómicas de las poblaciones estudiadas juegan un rol muy importante en la explicación de los cambios en el desempeño lector de los estudiantes. Asimismo, se utiliza un procedimiento diferente para medir las características socioeconómicas; este procedimiento resulta, para los cinco países observados, más sensible a las características de los contextos a los que esta información refiere.

Palabras clave: desempeño lector, evaluación de aprendizajes, indicadores educativos, medición del nivel socioeconómico.

PISA 2009/2000 in Latin America: Re-reading Changes in Student Achievement and its Relationship with Social Conditions

Abstract


This paper explores to what extent changes in performance of secondary education students between 2000 and 2009 for the Latin American countries participating in the OECD’s Programme for International Student Assessment (PISA) are explained by changes in the socio-economic conditions of the studied

populations. To this end, the authors reprocess PISA data concluding that, as expected given the existing body of literature, changes in the socio-economic background of the populations under scrutiny play a very important role in explaining the observed changes in the performance of students. Moreover, a different procedure is used for measuring the socio-economic background and this procedure ended up, for the five countries included in the analysis, being more sensitive to the contextual characteristics to which this data refers to.

Keywords: Assessment of learning outcomes, Education indicators, Measures of socio-economic status, Reading proficiency.



Siglas usadas

Cepal

CINE
ESCS

INEI
IRT
ISEI

OCDE
PISA

Comisión Económica para América Latina y el Caribe
Clasificación Internacional Normalizada de Educación
Estatus social, económico y cultural (del inglés: Social, Economic and
Cultural Status)
Instituto Nacional de Estadística e Informática Teoría de respuesta al ítem
International Socio-Economic Index of Ocupational Status
(PISA-ISEI)
Organización para la Cooperación y el Desarrollo Económico
Programa Internacional de Evaluación de Estudiantes (del inglés:
Programme for International Student Assessment)


CONSIDERACIONES INICIALES

El Programa Internacional de Evaluación de Estudiantes (PISA) de la Organización para la Cooperación y el Desarrollo Económico (OCDE) fue lanzado a finales de la década de 1990 como un intento de medir de modo periódico (cada tres años) el stock de habilidades básicas con las que cuenta la población de quince años de edad, es decir, aquella que se encuentra en un momento de tránsito entre la escolaridad obligatoria y la incorporación a la población económicamente activa (OCDE 2001: 14).

A estos efectos, se consideró que el procedimiento más adecuado para desarrollar estas mediciones en los países de la OCDE era un muestreo de la población escolarizada (en cualquier tipo de programa educativo), ya que un porcentaje muy elevado de la población objetivo en estos países (al menos el 97% en la mayoría de estos) se encuentra efectivamente matriculada en algún programa educativo (OCDE 2001: 18).

Así, PISA fue originalmente concebido como un intento de evaluar habilidades de una población dada, más que como un intento de conocer en qué medida dichas habilidades son o no el resultado de trayectorias educativas específicas. Esta situación llevó a que los instrumentos originales de PISA no prestaran mucha atención a variables escolares, lo que ha sido una de las áreas de crítica iniciales desde la comunidad de expertos en educación2.

Con el transcurso de las diferentes aplicaciones de PISA, estas definiciones originales se han ido ajustando. Así, PISA actualmente brinda mayor atención a variables escolares mediante instrumentos nuevos y se define como un estudio de habilidades fundacionales de la población de quince años matriculada en programas educativos (escolares o basados en el trabajo) en algún grado superior al sexto (OCDE 2010a: 24). Este cambio de definición podría ser trivial en la mayor parte de los países de la OCDE, sin embargo, tiene implicancias mayores sobre la definición de la población objetivo en países como México, donde la población objetivo de PISA representaba solo el 45,1% de la población total de quince años en 2000 (OCDE 2001: 232) y 60,7% en 2009 (OCDE 2010a: 173), lo mismo que en una gran parte de los países no integrantes de la OCDE que participan de PISA. Si bien, de acuerdo a la definición dada, las poblaciones estudiadas en los diferentes ciclos de PISA son comparables, los cambios sociales que se encuentran tras aspectos como el incremento de la cobertura en educación secundaria en casos como el mexicano son variables de gran trascendencia para entender las tendencias en los resultados.

Al mismo tiempo, PISA fue concebido como un instrumento de evaluación que cubriría tres áreas temáticas (lectura, matemáticas y ciencias) y que se desarrollaría en ciclos trienales, donde a cada ciclo correspondería un énfasis (una evaluación más detenida pero no exclusiva) en una de las tres áreas temáticas. De esta manera, PISA podría brindar resultados comparables en el tiempo. Este ciclo de evaluaciones se resume en el cuadro 1.



Cuadro 1
Ciclo de evaluaciones de PISA (2000-2015)


Año Área temática enfatizada
2000
2003
2006
2009
2012
2015
Lectura
Matemáticas
Ciencias
Lectura
Matemáticas
Ciencias


Esta estructura en ciclos ha llevado a que la ronda de 2009 sea la primera que permite una mirada a tendencias, por lo que el conjunto de informes producidos por la OCDE luego de dicho ciclo incluye un volumen específico orientado a observar dichos cambios (OCDE 2010b). El análisis presentado en dicho volumen llamó la atención de los autores no solo por la nacionalidad de los mismos (son ciudadanos del país que mostró los mayores progresos entre las dos rondas de PISA: Perú), sino también por las afirmaciones que el volumen brinda respecto de esos cambios. De hecho, cuando el análisis conducido por la OCDE afirma:



En Alemania y en los países asociados Liechtenstein, Letonia y Perú […] el desempeño estudiantil se hubiese incrementado más rápidamente que lo realmente observado si se hubiese tomado en cuenta los cambios en la composición demográfica y socioeconómica de la población estudiantil. Esto se explica por el hecho de que dentro de estos países, la población estudiantil de 2009 tenía condiciones más desventajosos que en el año 2000. (OCDE 2010b: 50; traducción de los autores)



Uno se encuentra con una situación que llama la atención, ya que cierta información básica sugiere, como se detallará a continuación, que las condiciones socioeconómicas de los estudiantes peruanos (de la población peruana en general) han experimentado cambios positivos en el período considerado y no, como sugiere esta afirmación, que la población evaluada en 2009 se enfrentaría a una situación más desventajosa. Una indagación de mayor detalle podría determinar si esto obedece a la naturaleza de la información acopiada por PISA (información autodeclarada, excepto cuando se trata de las propias pruebas) o a otras razones que cabría explorar.

Así, si uno considera que los estudiantes evaluados en el año 2001 en Perú (PISA 2000 fue en realidad aplicado en el 2001 en Perú [OCDE 2010b: 30, nota 6]) nacieron quince años antes, es decir, alrededor de 1986, y que los evaluados en 2009 lo hicieron alrededor de 1994, esta afirmación resulta contraintuitiva, ya que uno de los períodos de crisis más importantes de la historia peruana (conjugando aspectos económicos, institucionales y de violencia) justamente ocurrió en el período en el que aquellos evaluados en 2001 vivían su primera infancia, situación muy distinta de la experimentada por aquellos evaluados en 2009. El gráfico 1 muestra solamente dos elementos a considerar en las trayectorias de vida de las dos poblaciones evaluadas y superpone dos segmentos para cada una de dichas poblaciones correspondientes al período entre su nacimiento y los seis años de edad (primera infancia y edad de ingreso a la educación primaria) y al momento en que fueron evaluadas.

Constatar esta posible discrepancia entre lo afirmado por el informe y la observación de tales atributos de la situación peruana, llevó a los autores a: a) revisar la metodología seguida en el informe de la OCDE para medir las condiciones socioeconómicas y demográficas de los estudiantes evaluados; y b) desarrollar un análisis alternativo enfocado exclusivamente en los países latinoamericanos. Ambos elementos se presentan en este artículo. Esta revisión se basa en la constatación de que una parte importante de las variaciones en los resultados académicos de los estudiantes es explicada por sus antecedentes y no por la experiencia escolar. Al decir del informe Coleman:



Las desigualdades impuestas sobre los niños por sus hogares, sus barrios y el entorno de sus pares son sostenidas en el tiempo y devienen en desigualdades con las que han de enfrentar la vida adulta al término de la escuela. (Coleman et al. 1966: 325; traducción de los autores)



Es decir, las escuelas suelen no ser capaces de remontar las desigualdades de partida de los estudiantes y, más bien, terminan reproduciéndolas. La abundante literatura existente al respecto (una de las conclusiones usuales de los estudios sobre rendimientos estudiantiles desde Coleman es justamente que los factores extraescolares tienen un alto valor predictivo del desempeño de los estudiantes) sugiere que los cambios entre 2000 y 2009 también podrían ser explicados por cambios socioeconómicos y no solo, o principalmente, por variables escolares.

PREGUNTAS A ABORDAR

Dadas las anteriores consideraciones, el presente artículo aborda dos preguntas centrales:

a) ¿En qué medida los cambios observados en el desempeño de los países entre las pruebas PISA 2000 y 2009 se explican por las condiciones socioeconómicas de los estudiantes evaluados?
b) ¿En qué medida se puede responder a la pregunta anterior utilizando el procedimiento de medición de las características socioeconómicas y demográficas de los estudiantes en PISA usado por la OCDE? ¿Cuáles son las características del procedimiento seguido que podrían explicar la existencia de problemas en el análisis realizado?

Dado el interés particular de los autores, se ha limitado el análisis a los países latinoamericanos participantes de PISA en ambas rondas (Argentina, Brasil, Chile, México y Perú).

REVISIÓN DE LA METODOLOGÍA USADA EN EL INFORME PISA

A efectos de abordar las preguntas propuestas, se desarrolló el siguiente conjunto de acciones. En primer lugar, se hizo una revisión detenida del procedimiento usado en el informe de tendencias de PISA (OCDE 2010b) a efectos de observar el impacto de las características socioeconómicas y demográficas de los estudiantes con relación a sus desempeños. Esta revisión necesariamente incluyó el índice PISA de estatus económico, social y cultural (ESCS)3 y sus componentes:

a) Estatus ocupacional de los padres (Hisei)
b) Nivel educativo de los padres (Pared)
c) Posesiones del hogar (Homepos)

En los dos primeros casos, PISA considera solo el valor mayor observado en los padres, mientras que el último es una medida compuesta de información sobre:

a) Riqueza del hogar (Wealth)
b) Posesiones culturales (Culposs)
c) Recursos educativos del hogar (Hedres)4

Al mismo tiempo, se observó la información contenida en el anexo correspondiente del informe (OCDE 2010b: 162 y ss, tabla V.4.2, anexo B1).

Lo primero que llamó la atención es que de acuerdo a la información contenida en el anexo mencionado (OCDE 2010b: 162), el ESCS de Perú para los años observados no presenta diferencias estadísticamente significativas5. Si este es el caso, no queda claro cómo se podría afirmar, usando la información del ESCS, que las condiciones sociales de los estudiantes de 2009 son mejores o peores que las de 2001.

Dado lo anterior, se revisó también la información sobre variables demográficas que fueron consideradas, en adición al ESCS, para ajustar los valores de 2009. Así, se verificó que la afirmación sobre la «más desventajosa» situación de los estudiantes peruanos en 2009 se basa, no en cambios en el ESCS, sino en información sobre variables demográficas.

El informe hace un ejercicio de ajuste de los valores observados en los años previos a 2009 (OCDE 2010b: 138 y ss)6 corrigiendo el efecto de los cambios en las características de las poblaciones observadas de acuerdo a:

a) Género
b) Edad
c) Lengua hablada en el hogar (si es diferente de la lengua de evaluación)
d) Migración internacional del estudiante (si nació en otro país)
e) Migración internacional de los padres (si nacieron en otro país)

Es decir, se recalcularon los valores medios del desempeño lector en los años previos a 2009 asumiendo una situación de no cambios en estas variables y en el ESCS. Si la diferencia entre el valor observado en 2009 y el valor ajustado para 2000 es mayor que la diferencia entre los valores observados para ambos años, entonces los cambios en las variables demográficas mencionadas habrían desfavorecido la mejora en el desempeño lector y viceversa7.

En relación a estas variables, el informe identifica diferencias significativas para el caso peruano (OCDE 2010b: 143) solo con relación a la edad. La edad promedio de los estudiantes en 2001 (15,9 años) es mayor que la observada en 2009 (15,8 años; ambos valores son publicados con un error estándar de 0,0). No resulta claro por qué razón la menor edad promedio en 2009 se considera indicador de una situación «más desventajosa»8, cuando, cómo se verá más adelante, puede significar todo lo contrario, ya que es el resultado de una disminución en los niveles de atraso escolar.

Asimismo, se observó que la documentación de los indicadores Wealth, Culposs y Hedres presente en el informe hace referencia a la aplicación de 2009 y no está documentado cómo se procedió (para efectos de la comparación) con la información del año 2000, dado que los instrumentos de entonces no contenían las mismas preguntas. Si uno compara el informe técnico de 2000 (OCDE 2002) con el de 2009 (OCDE 2010b), puede apreciar claramente lo que se muestra en el cuadro 2.



Cuadro 2
Diferencias en índices PISA seleccionados, 2000 y 2009


Índice Variables incluidas en el cálculo de cada índice, según año
2000 2009
Wealth







El estudiante tiene una habitación
propia en el hogar.
El hogar cuenta con software educativo
y lavadora de platos.

Número de teléfonos móviles, televisores,
computadoras, autos y baños disponibles
en el hogar.
El estudiante tiene una habitación propia en el hogar.
El hogar cuenta con software educativo,
lavadora de platos, reproductor de DVDs
y tres ítems adicionales específicos por
país.
Número de teléfonos móviles, televisores,
computadoras, autos y habitaciones con
baño disponibles en el hogar.
Culposs

Disponibilidad en el hogar de literatura
clásica, libros de poesía y obras de arte.
Disponibilidad en el hogar de literatura
clásica, libros de poesía y obras de arte.
Hedres





Disponibilidad en el hogar de diccionario,
un espacio silencioso para estudiar, un
escritorio o mesa para estudiar, libros de
texto y calculadora (número).


Disponibilidad en el hogar de diccionario,
un espacio silencioso para estudiar, un
escritorio o mesa para estudiar, com-
putadora para hacer tareas, software
educativo, libros para hacer tareas y
libros de referencia técnicos.
Nota
Se ha destacado en negrita las variables que no fueron iguales en ambas rondas.
Fuentes: OCDE (2002, 2012, base de datos); elaboración propia.

Es posible asumir que solo se usó información equivalente, sin embargo, esto no está claramente documentado en la información disponible, por lo que el análisis de este aspecto contenido en el informe no puede ser propiamente replicado.

RECÁLCULO DE UNA MEDIDA DE NIVEL SOCIOECONÓMICO: CONSIDERACIONES INICIALES

Dada esta situación, se consideró necesario reprocesar la información, computando una medida de nivel socioeconómico común a las dos rondas del estudio. A partir de esta medida común que explota la información disponible en ambas rondas de PISA, se procedió a analizar los cambios. Para este fin, se simularon los resultados de 2009 asumiendo una distribución de la población por nivel socioeconómico idéntica a la de 2000.

Así, se procedió a:

a) Identificar el conjunto de variables que pudiesen ser utilizadas para el análisis del nivel socioeconómico de los estudiantes y que hubiesen sido medidas en ambas rondas de PISA. Como se desprende del cuadro 2, este conjunto incluye las siguientes variables de posesiones y acceso a servicios:

- Lavadora de platos
- Habitación propia del estudiante
- Software educativo
- Acceso a internet
- Diccionario
- Lugar tranquilo para estudiar en la vivienda
- Escritorio
- Libros de texto
- Literatura clásica
- Poesía
- Obras de arte
- Teléfono celular
- Televisión
- Computadora
- Automóvil
- Cantidad de libros

A lo que cabría añadir la información sobre:

- Nivel educativo de los padres
- Lengua más usada en el hogar (si es igual o no a la lengua en la que se condujo la evaluación)
- Estatus ocupacional de los padres

b) Verificar que estas variables hubieran sido medidas de la misma manera en ambos estudios.

La mayor parte de estas variables fue medida de la misma manera, a excepción de la posesión de teléfonos celulares, aparatos de televisión, computadora, automóvil y libros. En estos casos se procedió a crear una recodificación común para ambos años. Por otra parte, la variable nivel educativo de los padres fue preguntada de modo diferente en ambas rondas de PISA, lo que sin embargo no debería representar un problema, ya que en ambos casos las respuestas nacionales fueron transformadas en categorías de la revisión 1997 de la Clasificación Internacional Normalizada de Educación (CINE; Unesco 1999). Sin embargo, fue necesario abordar algunos problemas puntuales:

- En el año 2000, no se usó un número suficiente de categorías de modo que se cumpliera con el requisito de exhaustividad en la definición de categorías de la variable. Existe la opción «no asistió a la escuela» y la siguiente categoría ordinal es «primaria completa ». No es claro cómo se consideró la primaria incompleta. En las siguientes categorías, el uso de niveles completos no presenta mayores dificultades de categorización.
- En el año 2009, las categorías representan los niveles de la CINE 97 (o niveles y orientaciones en algunos casos) sin indicación de si son niveles completos o no.
- Los informes técnicos afirman que la educación terciaria se agrupó en una sola categoría en el año 2000 (OCDE 2002: 220), mientras que en el 2009 (OCDE 2012: 281) se desdobló en dos: terciaria no universitaria (CINE 5B) y terciaria universitaria (niveles 5A y 6 de la CINE 97).
Por esta razón, se recodificó la información en las siguientes categorías equivalentes:

- Educación primaria, CINE 1 o menos (códigos 1 y 2 en 2000 y 0 y 1 en 2009).
- Baja secundaria, CINE 2 (código 3 en 2000 y 2 en 2009).
- Alta secundaria no académica, niveles CINE 3B y 3C (código 4 en 2000 y 3 en 2009).
- Secundaria académica, nivel CINE 3A y, en el caso de 2009, también postsecundaria no terciaria, nivel 4 de la CINE (código 5 en 2000 y 4 en 2009).
- Terciaria, CINE 5 y 6 (código 6 en 2000 y 5 y 6 en 2009).

En cuanto a si lengua más usada en el hogar es la misma de la evaluación (portugués en Brasil y castellano en los demás países), la información empírica muestra que casi no hubo casos de lengua distinta a la de la evaluación y esta situación no se modificó entre ambos años. Por esta razón, esta variable no fue incluida en el análisis.

Por último, no se incluyó en el análisis el índice ocupacional usado por PISA-ISEI (PISAInternational Socio-Economic Index of Ocupational Status) por tres razones:

a) La relación entre el nivel socioeconómico y el estatus ocupacional es un tema de debate en la literatura desde la invención de los primeros índices compuestos de nivel socioeconómico (Duncan 1961), hasta el punto de que Hauser y Warren concluyeron que:



Si bien las medidas de estatus ocupacional pueden tener un uso heurístico, el concepto global […] es científicamente obsoleto. (Hauser y Warren 1996: 69; traducción de los autores)



b) La relación entre ocupaciones e ingresos y prestigio social (el sustento del índice de Duncan y otros que le han seguido) es dependiente de factores directamente asociados a la estructura del mercado laboral en cada país, por lo que una medida «universal» desarrollada sobre la base de información muestral correspondiente a la población masculina empleada a tiempo completo en dieciséis países durante el período 1968- 1982 puede presentar problemas en contextos diferentes de aquellos para los que se desarrolló9.

c) Reforzando el punto anterior, la observación del comportamiento empírico de dicha variable en los estudios PISA muestra una clara asimetría para los países latinoamericanos (cuadro 3, celdas destacadas), lo que limita su utilidad para discriminar a la población según niveles.



Cuadro 3
Proporción de personas en grupos de PISA-ISEI según el valor más alto (Hisei) atribuido a los padres, 2000 y 2009


Hisei (categorías de menor a mayor de valores transformados)
- 1 2 3 4 5 6 7 8 9 10
2000
Argentina
Brasil
Chile
México
Perú
0,064
0,048
0,059
0,022
0,011
0,062
0,083
0,105
0,145
0,194
0,311
0,289
0,360
0,295
0,288
0,156
0,132
0,134
0,120
0,225
0,095
0,079
0,098
0,153
0,044
0,126
0,167
0,122
0,098
0,081
0,049
0,109
0,035
0,048
0,066
0,093
0,066
0,075
0,085
0,068
0,025
0,019
0,008
0,017
0,018
0,018
0,008
0,004
0,015
0,005
2009
Argentina
Brasil
Chile
México
Perú
0,24 0
0,051
0,067
0,054
0,010
0,1130
0,099
0,049
0,148
0,214
0,2390
0,309
0,288
0,274
0,276
0,1690
0,126
0,200
0,135
0,109
0,163 0
-
0,104
0,122
0,190
0,1080
0,119
0,134
0,108
0,060
0,0590
0,054
0,030
0,040
0,030
0,0770
0,084
0,110
0,087
0,085
0,0260
0,022
0,011
0,019
0,018
0,023
0,012
0,007
0,013
0,007
Nota

Se tomó el valor calculado por la OCDE y se estandarizó (usando z-scores) considerando únicamente la información de los países latinoamericanos. Luego, se agruparon los valores calculados en diez categorías:
a) una del valor más bajo que - 1,5z; b) ocho en intervalos de 0,5z; y c) una de 2,5z a más. La concentración se muestra destacando en negrita los valores superiores a 0,1.
Fuente: OECD; elaboración propia.

Asimismo, se consideró importante tomar, para efectos del análisis mas no del recálculo de la medida de nivel socioeconómico10, información de contexto que puede ser observada en algunas características de las muestras nacionales. Así, tenemos lo que se presenta en el cuadro 4 para los países latinoamericanos partícipes de PISA.



Cuadro 4
Población total de 15 años, elegible y representada en las muestras PISA y nivel de atraso escolar, 2000 y 2009


País



Población de 15 años

Total


Elegible


Representada


Ponderada

Matriculada
con atraso
escolar
Cantidad Cantidad Proporción Cantidad Proporción Cantidad Proporción Proporción
2000
Argentina
Brasil
Chile
México
Perú
662.014
3.464.330
263.863
2.127.504
546.601
505.404
1.841.843
230.538
1.098.605
358.780
0,763
0,532
0,874
0,516
0,656
499.668
1.830.603
226.019
1.073.317
343.178
0,755
0,528
0,857
0,504
0,628
512.687
3.072.510
216.305
960.011
274.185
0,774
0,887
0,820
0,451
0,502
0,292
0,423
0,388
0,460
0,471
2009
Argentina
Brasil
Chile
México
Perú
688.434
3.292.022
290.056
2.151.771
585.567
636.713
2.654.489
265.542
1.425.397
491.514
0,925
0,806
0,915
0,662
0,839
634.475
2.638.918
262.869
1.419.572
489.856
0,922
0,802
0,906
0,660
0,837
472.106
2.080.159
247.270
1.305.461
427.607
0,686
0,632
0,852
0,607
0,730
0,380
0,248
0,254
0,437
0,300
Variación 2009/2000
Argentina
Brasil
Chile
México
Perú
1,211
1,517
1,048
1,283
1,279
1,211
1,517
1,058
1,308
1,332
Nota
El atraso escolar ha sido calculado como la proporción de estudiantes matriculados en un grado inferior al prescrito (grado 10 en todos los países, excepto Brasil, donde es el grado 9, ya que la < p align="justify">

Más allá de algunos posibles problemas, como que la información reportada mediante el uso de ponderadores representa a una población mayor que aquella que fue incluida en el diseño muestral (lo que sucede en el caso de Brasil y levemente en el de Argentina en el año 2000), hay algunos elementos importantes que destacar:

a) En todos los casos, las poblaciones elegibles (personas de quince años matriculadas en un grado superior al sexto) representan en 2009 una proporción mayor de la población total de quince años; es decir, la cobertura de la educación secundaria ha subido en todos los países (en una proporción menor en Chile debido a que su situación en 2000 ya era de una cobertura elevada).

b) Consiguientemente, las poblaciones representadas en las muestras también dan cuenta de proporciones mayores de la población total de quince años.

c) En todos los países, excepto Argentina, se aprecia una reducción de los niveles de atraso escolar, ello ocurre en proporciones modestas en México, pero muy importantes en Brasil, Chile y Perú. En Argentina se aprecia lo opuesto y, debe anotarse que los rendimientos de los estudiantes Argentinos fueron menores en 2009.

Esta información sugiere un primer elemento a considerar: el aumento de la cobertura y la reducción del atraso escolar representan mejoras en la operación de los sistemas educativos y no sería de extrañar que estas mejoras sean parte de una situación mayor que tendría un impacto positivo en los desempeños de los estudiantes. El gráfico 2 ilustra la relación inversa entre los cambios en los niveles de atraso escolar y los cambios en el rendimiento medio de los estudiantes (es decir, las reducciones en los niveles de atraso se ven acompañadas de mejoras en el desempeño y viceversa).

Del mismo modo, es importante considerar información de contexto general, como la variación en los índices de pobreza e indigencia observada durante este período. El cuadro 5 muestra la información disponible en el sitio de estadísticas sociales de la Comisión Económica para América Latina y el Caribe (Cepal) de las Naciones Unidas.



Cuadro 5
Población pobre e indigente en los países de América Latina participantes en PISA, 1999-2011 (en porcentajes)


País Situación
de
pobreza
1999 2000 2001 2002 2003 2004 2005 2006 2007 2008 2009 2010 2011
Brasil

Pobreza
Indigencia
37,5
12,9
-

37,5
13,2
37,8
12,6
38,7
14,0
37,8
12,2
36,4
10,7
33,4
9,0
30,2
8,6
25,8
7,3
24,9
7,0
-

20,9
6,1
Chile

Pobreza
Indigencia
-

20,2
5,6
-

-

18,7
4,7
-

-

13,7
3,2
-

-

11,5
3,6
-

11,0
3,1
México

Pobreza
Indigencia
-

41,1
15,2
-

39,4
12,6
-

37
11,7
35,5
11,7
31,7
8,7
-

34,8
11,2
-

36,3
13,3
-

Perú

Pobreza
Indigencia
-

-

54,7
24,4
-

52,5
21,4
48,6
17,1
48,7
17,4
44,5
16,1
39,3
13,8
36,2
12,6
34,8
11,5
31,3
9,8
27,8
6,3
Nota

En el caso del Perú, la información no es calculada por la Cepal sino por el Instituto Nacional de Estadística e Informática (INEI); asimismo, la información en negrita (antes de 2003) no es comparable con la posterior por un cambio en la metodología de cálculo. La información de estas variables para Argentina no se ha incluido porque no está disponible en el sitio web de la Cepal.
Fuente: Cepal; elaboración propia.

En todos los casos se aprecia una mejora general de las condiciones de vida de las poblaciones de los países considerados. Esta información, por su parte, es también consistente con lo observado utilizando las variables comunes a las aplicaciones de PISA en 2000 y 2009. En efecto, según se muestra en el cuadro 6, en 2009 hay una proporción mayor de hogares que cuentan con las distintas posesiones o servicios.



Cuadro 6
Proporción de estudiantes que afirman contar en su hogar con los siguientes ítems, seleccionados según país, 2000 y 2009 (en porcentajes)


Ítem Año Argentina Brasil Chile México Perú
Lavadora de platos

Habitación propia

Software educativo

Acceso a internet

Diccionario

Lugar para estudiar

Escritorio

Libros de texto

Literatura clásica

Poesía

Obras de arte

Teléfono celular

Televisión

Computadora

Automóvil

Libros (10 o menos)

Libros (11 a 100)

Libros (101 a 500)

Libros (501 o más)

2000
2009
2000
2009
2000
2009
2000
2009
2000
2009
2000
2009
2000
2009
2000
2009
2000
2009
2000
2009
2000
2009
2000
2009
2000
2009
2000
2009
2000
2009
2000
2009
2000
2009
2000
2009
2000
2009
20,0
34,0
45,6
51,1
37,9
39,4
23,6
50,9
97,7
97,8
87,0
77,0
64,2
84,9
90,1
87,0
61,0
56,2
72,2
65,8
50,7
36,8
55,5
98,7
98,3
98,4
46,9
66,9
59,5
58,1
30,8
27,9
48,8
53,3
16,0
15,9
4,4
3,0
12,5
39,3
48,5
69,2
19,7
29,6
16,8
58,3
91,3
95,6
85,3
76,3
43,2
63,5
84,2
89,1
43,1
48,7
57,2
64,3
32,8
36,1
46,9
91,4
97,4
97,1
23,2
53,3
50,9
48,1
44,4
40,6
45,7
51,1
8,1
7,2
1,8
1,1
37,3
56,0
57,4
74,3
29,5
35,5
19,1
55,5
96,5
98,2
84,2
80,6
54,4
68,5
88,4
93,0
42,1
46,2
64,7
62,1
48,0
57,8
79,8
99,2
99,0
99,5
31,3
76,0
42,8
50,8
30,0
20,6
50,9
60,7
15,9
16,3
3,2
2,4
5,8
16,5
48,1
48,7
19,5
30,2
12,1
35,4
90,2
97,2
80,1
75,4
79,0
78,0
90,0
76,6
31,5
51,3
52,4
52,0
29,6
35,8
35,9
88,8
97,4
97,3
23,2
49,5
48,4
60,1
33,1
37,4
50,7
51,5
13,5
9,5
2,7
1,6

6,3
51,6
59,0
14,8
31,0
6,7
25,0
97,2
97,4
81,3
77,7
65,8
74,0
79,9
82,9
70,0
74,4
71,8
77,3
40,8
49,0
37,1
83,8
90,7
93,2
13,7
38,2
21,2
22,4
42,5
30,8
44,6
58,3
10,6
9,5
2,2
1,5
Notas

- Las celdas sombreadas muestran diferencias no significativas (prueba a dos colas, = 0,05).
- Vista de modo aislado, esta información puede resultar muy limitada, ya que no considera los cambios en la oferta de servicios o en el precio absoluto y relativo de los bienes en el período considerado. Por eso es importante observar otras variables de contexto que sugieren un comportamiento macro que va en la misma dirección y, de esta forma, valida el uso de esta información.
Fuente: OCDE, base de datos PISA; elaboración propia.

Asimismo, resulta pertinente observar los cambios en la distribución de la población bajo estudio según la gestión del centro educativo. Como se aprecia en el cuadro 7, los países latinoamericanos partícipes de PISA han presentado diferentes comportamientos respecto de la importancia relativa de cada tipo de gestión. Así, en Argentina se aprecia una caída de la educación no estatal subvencionada con recursos públicos y un crecimiento importante de la educación privada, mientras que en Chile se aprecia lo contrario. Por su parte, en Brasil y México se mantiene una estructura similar, mientras que en el Perú se observa un crecimiento importante de la participación privada y un descenso de la participación relativa de la estatal.



Cuadro 7
Proporción de estudiantes según tipo de gestión de los centros educativos, 2000 y 2009 (en porcentajes)


País Gestión del centro educativo
2000 2009
Estatal No estatal
con
subvención
Privada Estatal No estatal
con
subvención
Privada
Argentina
Brasil
Chile
México
Perú
61,8
89,5
54,3
85,1
92,5
31,7
-
32,8
-
0,8
6,5
10,5
12,9
14,9
6,7
64,7
91,6
47,3
89,4
82,4
19,9
0,2
49,2
0,1
0,4
15,4
8,2
3,5
10,5
17,2
Fuentes: anexos de OCDE y Unuesco-UIS (2003; tabla 7.13) y OCDE (2010c, tabla IV.3.9); elaboración propia.

RECÁLCULO DE UNA MEDIDA DE NIVEL SOCIOECONÓMICO: APLICACIÓN

La información presentada sugiere que cabe desarrollar un reprocesamiento a efectos de revisar el posible impacto de las condiciones socioeconómicas de los estudiantes sobre los cambios en los rendimientos mostrados por las dos rondas de PISA. Por esta razón, se procedió a realizar un ejercicio de composición de un índice socioeconómico. A estos efectos se hizo una revisión bibliográfica que sugirió un conjunto de pistas; sin embargo, el limitado volumen de información comparable para las dos rondas llevó a desarrollar un procedimiento simple que brindara indicios razonables, más que a intentar un procedimiento sofisticado cuyo valor final habría de verse comprometido por la limitada información de base.

Tomando en cuenta la naturaleza ordinal de las variables observadas, se consideró conveniente computar un índice usando un análisis de rasgos latentes (latent trait analysis) mediante la aplicación de la teoría de respuesta al ítem (IRT) y un modelo Rasch11, usando el software JMetrik12. En el anexo se reproduce la información de detalle sobre la aplicación del modelo Rasch. Como se puede apreciar, los índices de confiabilidad son elevados. Así, se utilizó esta técnica para computar un valor de nivel socioeconómico para cada observación en ambos años y luego, tomando de modo conjunto la información de los cinco países para el año 2000, se identificaron siete grupos ordinales de nivel socioeconómico13. Con esta identificación, se procedió a clasificar los casos de ambos años en dichos grupos. De esta manera, mientras que la distribución por nivel socioeconómico del año 2000 se organiza por categorías definidas empíricamente, las observaciones del 2009 se clasifican usando los mismos valores que en el 2000. De esta forma es posible ver cómo cambiaron los agrupamientos de un año a otro. Esas distribuciones son mostradas en el cuadro 8.



Cuadro 8
Población estudiantil evaluada por PISA, según estratos socioeconómicos, 2000 y 2009 (en porcentajes)(1)


Estrato(2) Argentina Brasil Chile México Perú
2000 2009 2000 2009 2000 2009 2000 2009 2000 2009
1
2
3
4
5
6
7
6,9
10,6
11,7
10,2
24,9
16,7
3,2
4,9
13,1
9,4
11,4
34,4
23,7
9,8
18,6
26,9
12,0
9,2
15,2
8,4
3,2
7,4
16,9
12,2
12,9
33,3
14,2
3,8
10,9
23,1
12,0
11,9
22,9
15,3
2,2
3,6
12,5
9,4
11,7
36,6
24,1
11,3
19,2
28,1
10,9
8,2
14,1
8,1
4,1
11,0
20,5
12,0
10,6
25,6
16,2
11,4
17,0
26,4
13,6
9,7
16,4
5,5
4,5
9,4
20,0
14,4
13,1
26,9
11,6
Total
100
100
100
100
100
100
100
100
100
100
Notas

(1) Las variaciones entre 2000 y 2009 para cada combinación de estrato y país son significativas (prueba a dos colas, = 0,05). Este resultado contrasta con la información del ESCS contenida en el informe, pues este indicaría que en los cinco países latinoamericanos las condiciones socioeconómicas medias de los estudiantes no habrían cambiado entre 2000 y 2009 (OCDE 2010b: 162): la tabla V.4.2 muestra que las diferencias en el valor del ESCS de estos países no son significativas estadísticamente.
(2) El estrato 1 corresponde al menor nivel socioeconómico; el 7, al mayor.
Fuente: OCDE, base de datos PISA; elaboración propia.

Habiendo asignado los casos de acuerdo a los estratos, se procedió a computar el puntaje medio en la escala combinada de lectura de PISA obtenido por cada agrupamiento en ambos años. Esta información se presenta en el cuadro 9.



Cuadro 9
Puntaje promedio en la escala combinada de lectura de PISA, por estratos socioeconómicos, según país y año de evaluación, 2000 y 2009(1)


Estrato(2) Argentina Brasil Chile México Perú
2000 2009 2000 2009 2000 2009 2000 2009 2000 2009
1
2
3
4
5
6
7
354
356
378
400
416
443
502
293
325
345
371
370
411
461
350
363
385
395
407
428
479
337
373
384
393
401
423
479
339
361
379
397
408
437
479
389
394
406
422
432
456
497
383
394
406
422
439
463
504
366
388
403
414
421
444
475
265
291
313
329
354
379
432
291
305
339
353
370
403
451
Total
417
398
395
412
410
450
422
425
327
370
Notas

(1) Las variaciones entre años para cada combinación de estrato y país son significativas (prueba a dos colas, α= 0,05): tómese en cuenta que los valores promedio nacionales no son promedios simples, sino ponderados por población. Esto explica, por ejemplo, la aparente contradicción observada en México, donde el promedio de 2009 es superior al de 2000, cuando los puntajes medios de cada estrato son menores (los estratos con puntajes medios más altos tienen una participación mayor).
(2) El estrato 1 corresponde al menor nivel socioeconómico; el 7, al mayor.
Fuente: OCDE, base de datos PISA; elaboración propia.

La información muestra que Chile y el Perú son los países que han experimentado una mejora en sus niveles de desempeño lector en todos los estratos. En el caso chileno, cabe destacar que los incrementos han sido consistentemente mayores a medida que se trata de poblaciones con menos recursos. Esto, aunado a la reducción de la población en los estratos de menor nivel socioeconómico, lleva a una mejora nacional muy importante que solo es menor a la experimentada por el Perú, aunque con niveles de partida muy diferentes.

Por su parte, Brasil y México muestran cambios negativos menos marcados en los puntajes. Estos se traducen en una mejora en el promedio nacional debido a la mejora en la distribución por nivel socioeconómico (hay una mayor participación relativa de los estratos con puntajes más elevados). Finalmente, el caso de Argentina muestra un deterioro pronunciado de los niveles de rendimiento en todos los estratos, siendo particularmente elevado en el de menor nivel socioeconómico.

Ahora bien, para identificar el posible efecto de los cambios en las condiciones socioeconómicas sobre las variaciones en el desempeño, se procedió a calcular valores nacionales de 2009 tomando los puntajes por estrato de 2009 y la distribución de la población de 2000. Así, se computó un puntaje medio nacional esperado en la escala combinada de lectura asumiendo ausencia de variación en la distribución poblacional por nivel socioeconómico. Los resultados de este ejercicio se muestran en el cuadro 10.



Cuadro 10
Puntaje promedio nacional observado (2000 y 2009) y esperado (2009), escenario de no modificación de la distribución de población por estrato socioeconómico


Puntaje Argentina Brasil Chile México Perú
Puntaje medio observado (2000)
Puntaje medio observado (2009)
Puntaje medio esperado (2009)
Diferencia observada
Diferencia esperada
417
398
381
- 20
- 37
395
412
394
16
- 1
410
450
434
40
25
422
425
410
3
- 12
327
370
349
43
22
Notas

- El procedimiento es el descrito en los párrafos precedentes.
- Tómese en cuenta que el redondeo produce incongruencias aparentes en las diferencias.
Fuente: OCDE, base de datos PISA; elaboración propia.

Es decir, si los cambios en el nivel de desempeño de los estudiantes, tal y como se observan en PISA, solo hubiesen sido explicados por los cambios en las condiciones socioeconómicas de los países, todos los países tendrían desempeños menores. Argentina mostraría una caída más marcada; México y Brasil tendrían caídas leves en vez de mejoras leves; y las mejoras de Chile y Perú serían menores.

Esta situación es observable gracias al recálculo de la medida de nivel socioeconómico y se diferencia del ajuste hecho en el informe, ya que este solo considera variables demográficas que, como se puede apreciar en el cuadro 11, no producen valores muy diferentes a los observados en cuatro de los cinco países considerados.



Cuadro 11
Diferencias entre puntajes de 2000 (ajustados) y 2009 (observados), de acuerdo a la corrección de las características demográficas y el ESCS considerados en el informe PISA(1)


Diferencias Argentina Brasil Chile México Perú
Diferencia observada
Diferencia ajustada (OCDE)
- 20
- 13
16
18
40
39
3
4
43
47
Nota

(1) Estos valores corresponden al ajuste anteriormente descrito, considerando las diferencias en variables demográficas.
Fuente: OCDE, base de datos PISA; elaboración propia.

DISCUSIÓN

Estos resultados sugieren que las variaciones en las condiciones socioeconómicas de los países juegan, de acuerdo a lo esperado, un rol importante (pero no exclusivo) en la comprensión de los cambios observados. Sin embargo, deben ser leídos con cautela en dos sentidos:

a) En primer lugar, es necesario considerar las limitaciones de la información disponible para observar los cambios socioeconómicos, porque mejores medidas de variables observables relativas a la condición socioeconómica de los estudiantes podrían brindar una idea más precisa del rol de estas condiciones sobre los resultados de aprendizaje.

b) En segundo lugar, ¿cómo deben entenderse los cambios que efectivamente se observan después de tomar en cuenta el efecto de las condiciones socioeconómicas?, y ¿son estos explicados por variables relativas a las condiciones propias del sistema educativo?

En este trabajo no se ha explorado el efecto de las variables educativas por razones que se detallan a continuación. Antes de hacerlo, es preciso observar que las variables no socioeconómicas (entre las que se encuentran las educativas) no observadas han jugado en todos los países un rol positivo en términos de impulsar los rendimientos hacia valores superiores. En Chile y Perú, el cambio observado es más de dos veces el proyectado, es decir, las variables no observadas explicarían más de la mitad de dichos cambios. En el caso argentino, estas otras variables impidieron una caída mayor de los niveles de desempeño, mientras que en los casos de Brasil y México permitieron leves mejoras o mantener los niveles de desempeño en contextos de ampliación de la cobertura.

El diseño de PISA no permite, pues no ha sido construido para dicho efecto, medir trayectorias educativas. Los desempeños lectores de los estudiantes de quince años son el resultado de un conjunto complejo de variables y de su interacción a lo largo de un período prolongado de tiempo. Las variables escolares que mide PISA dan cuenta principalmente del momento presente que viven los estudiantes (información sobre la escuela en la que se encuentran en el momento de la evaluación, los docentes de ese año escolar, etc.) y, además, no considera variables educativas claves como el diseño curricular y cuánto de lo previsto en el currículum es efectivamente ofrecido y aprendido. Por lo mismo, el uso de la información complementaria que brinda PISA tiene importantes limitaciones.

Las características temporales de la operación del sistema educativo y de sus impactos son otra razón por la que resulta difícil identificar cuánto del progreso es explicado por variables distintas al nivel socioeconómico. Que los puntajes en 2009 sean mayores que en 2000 no quiere decir, necesariamente, que el sistema educativo de 2009 sea mejor (en la misma proporción) que el de 2000, ya que los efectos de la operación de los sistemas educativos se producen en plazos temporales prolongados y concurriendo con una gran diversidad de fenómenos sociales.

Por ejemplo, la mayor parte de los países de América Latina vivió procesos de reforma de sus sistemas educativos durante la década de 1990. Como parte de estos esfuerzos, muchos países introdujeron políticas de distribución gratuita de textos escolares y, en muchos casos, estas políticas se han sostenido en el tiempo. Así, los estudiantes que rindieron las pruebas en 2009 ingresaron a la escuela en 2000 y, al hacerlo, ingresaron a espacios en los que ya se iba consolidando la entrega de textos y contaron con maestros que podrían haberse habituado a que estos sean parte de sus materiales de trabajo. Si la política se sostiene en los años siguientes, es claro que las condiciones escolares de estos estudiantes serán más favorables que las de aquellos evaluados en 2000 (ingresantes a inicios de la década de 1990) no solo por lo que se esté haciendo en un momento dado, sino por el impacto acumulado de los cambios. Por estas razones, si bien es posible plantearse que una buena parte de los cambios observados seguramente obedece a mejoras en los sistemas educativos, no se puede colegir que, por ejemplo, los estudiantes de 2009 rindieron mejor debido a políticas implementadas en 2009 o incluso en los cinco años previos.

RESULTADOS

a) Se ha mostrado que un análisis específico de la situación observada en los países latinoamericanos puede ahondar en la reflexión sobre los cambios observables gracias a las mediciones hechas por PISA.

b) El análisis riguroso requiere prestar atención no solo a los datos producidos por el estudio, sino a la dinámica interna de los países como una guía para el análisis. Esto puede estar fuera del alcance de un organismo internacional como la OCDE, sin embargo, su accionar mediante PISA crea condiciones para esfuerzos específicos que pueden abarcar a grupos de países como los trabajados en este artículo.

c) Los procedimientos usados para equiparar información de los dos estudios que fue generada de manera disímil no están plenamente documentados, por lo que una revisión más exhaustiva no es factible.

d) La información disponible es limitada pero ha permitido construir una medida suficiente del nivel socioeconómico que permite obtener resultados que son consistentes con las tendencias macroeconómicas y sociales observadas al menos en los países latinoamericanos. De esta forma, se logra un uso más detenido de la información generada por PISA en un contexto específico.

e) Recomputar una medida del nivel socioeconómico de las personas ha permitido identificar, en consonancia con la literatura, que los cambios socioeconómicos en los países latinoamericanos han jugado un papel importante con relación a los cambios en los niveles de desempeño lector observados. En dos países (Chile y Perú) estos cambios han tenido efectos positivos que se han agregado a los explicables con otras variables (incluyendo las educativas). En otros dos países (Brasil y México), los cambios socioeconómicos han mediatizado los progresos que se podrían haber observado y, en el caso restante (Argentina), los cambios socioeconómicos son el factor principal para dar cuenta del deterioro de los rendimientos.

COMENTARIOS FINALES

Como en cualquier investigación, una adecuada lectura de los resultados supone prestar atención al detalle del diseño y a otros atributos metodológicos que dan cuenta de lo que el estudio efectivamente señala. Una lectura simplista de PISA (por ejemplo, como «el» estudio que «evalúa la calidad de la educación») no permite captar la forma como la evidencia es construida por el estudio. Si bien este artículo no aborda un conjunto posible de discusiones epistemológicas acerca de cómo ningún estudio se basa en la «recolección» de información (como si esta fuera entregada por la naturaleza solo para ser acopiada por el investigador), sino en su «construcción» por los agentes que definen y conducen el estudio, sí las toma en cuenta mediante una lectura cuidadosa y reflexiva.

La reflexión específica presentada en este artículo no debe velar la importancia de los cambios educativos positivos experimentados en algunos países latinoamericanos. Estos cambios son presentados de modo sumario en el cuadro 10, y destacados en otras publicaciones (Ganimian y Solano Rocha 2011). Resulta particularmente destacable que dos países latinoamericanos hayan logrado las mejoras mayores entre todos los países participantes de estos estudios y que un tercero también haya mostrado progresos. Ahora bien, verificar estos progresos es un punto de partida para ahondar y proveer reflexiones adicionales que contribuyan a entender la naturaleza de los cambios y este artículo busca sumar en esa dirección mediante una relectura de la evidencia generada por PISA a partir de un contexto específico.

En esta revisión se muestra la importancia de la familiaridad con la realidad como un elemento de partida para hacerse preguntas o tomar en cuenta aspectos que resultan particularmente relevantes para subgrupos de países o, incluso, para países singulares.

ANEXO 1

Información sobre el procesamiento de las variables socioeconómicas


A continuación, se presenta la información generada mediante el procesamiento de las variables observadas de nivel socioeconómico usando el software JMetrik. Los nombres de las variables corresponden a sus identificadores en las bases de datos o a modificaciones y se detallan a continuación.



Cuadro 1a
Variables consideradas para determinar el nivel socioeconómico


Identificador Variable Comentario
ST21Q01
ST21Q02
ST21Q03
ST21Q04
ST21Q05
ST21Q06
ST21Q07
ST21Q08
ST21Q09
ST21Q10
ST21Q11
ST22Q01R
ST22Q02R
ST22Q04R
ST22Q06R
ST37Q01R
fiscedN
miscedN
Posesiones: lavadora de platos
Posesiones: habitación propia
Posesiones: software educativo
Posesiones: internet
Posesiones: diccionario
Posesiones: lugar de estudio
Posesiones: escritorio
Posesiones: libros de texto
Posesiones: literatura clásica
Posesiones: poesía
Posesiones: obras de arte
Posesiones: teléfono celular
Posesiones: televisión
Posesiones: computadora
Posesiones: auto
Posesiones: libros en el hogar
Nivel educativo del padre (niveles CINE 97)
Nivel educativo de la madre (niveles CINE 97)











Recodificada
Recodificada
Recodificada
Recodificada
Recodificada
Recodificada
Recodificada


Cabe notar que el software psicométrico está usualmente pensado en el procesamiento de pruebas, por lo que la intensidad con la que se observa una característica es usualmente llamada «dificultad», lo que evidentemente no aplica en este caso, sin embargo, se han dejado las etiquetas originales que produce el software.



Análisis de los ítems considerados

Cuadro 1b
Item-Total Correlation


Item Option (Score) Difficulty S. D. Pearson Polyserial
ST21Q01
ST21Q02
ST21Q03
ST21Q04
ST21Q05
ST21Q06
ST21Q07
ST21Q08
ST21Q09
ST21Q10
ST21Q11
ST22Q01R
ST22Q02R
ST22Q04R
ST22Q06R
ST37Q01R
fiscedN
miscedN
Ítem
Ítem
Ítem
Ítem
Ítem
Ítem
Ítem
Ítem
Ítem
Ítem
Ítem
Ítem
Ítem
Ítem
Ítem
Ítem
Ítem
Ítem
0,2234
0,5432
0,2820
0,3511
0,9396
0,7542
0,6780
0,8161
0,4925
0,5702
0,3684
0,8008
0,9544
0,4500
0,4931
0,4316
0,5435
0,5747
0,4165
0,4981
0,4500
0,4773
0,2382
0,4305
0,4672
0,3874
0,4999
0,4950
0,4824
0,3994
0,2087
0,4975
0,5000
0,1793
0,3474
0,3304
0,1674
0,2793
0,4841
0,5242
0,3013
0,2960
0,3908
0,3278
0,3399
0,2405
0,3546
0,3783
0,2697
0,5839
0,3917
0,4998
0,4629
0,4513
0,2334
0,3508
0,6449
0,6748
0,5996
0,4047
0,5093
0,4774
0,4260
0,3032
0,4537
0,5410
0,5871
0,7340
0,4910
no disponible
0,4340
0,3977


Cuadro 1c
Test Level Statistics


Number of Items
Number of Examinees
Min
Max
Mean
Median
Standard Deviation
Interquartile Range
Skewness
Kurtosis
KR21
1 7
97.599
0,0000
17,0000
9,8353
9,8000
3,4189
5,0000
- 0,1657
- 0,3532
0,6857


Cuadro 1d
Reliabiliy Analysis


Method Estimate 95% Conf. Int. SEM
Guttman’s Lambda_2
Cronbach’s Alpha
Feldt-Gilmer
Feldt-Brennan
Raju’s Beta
0,7896
0,7789
0,7857
0,7843
0,7789
(0,7877, 0,7916)
(0,7768, 0,7809)
(0,7837, 0,7876)
(0,7824, 0,7863)
(0,7768, 0,7809)
1,5681
1,6078
1,5829
1,5878
1,6078


Cuadro 1e
Reliabiliy if item Deleted


Item Lambda_2 Alpha F-G F-B Raju
ST21Q01
ST21Q02
ST21Q03
ST21Q04
ST21Q05
ST21Q06
ST21Q07
ST21Q08
ST21Q09
ST21Q10
ST21Q11
ST22Q01R
ST22Q02R
ST22Q04R
ST22Q06R
fiscedN
miscedN
0,7923
0,7879
0,7694
0,7647
0,7843
0,7849
0,7849
0,7825
0,7814
0,7886
0,7817
0,7796
0,7856
0,7574
0,7777
0,7743
0,7755
0,7818
0,7758
0,7587
0,7550
0,7738
0,7730
0,7730
0,7706
0,7694
0,7775
0,7692
0,7677
0,7756
0,7494
0,7662
0,7623
0,7636
0,7880
0,7835
0,7650
0,7609
0,7804
0,7809
0,7809
0,7787
0,7779
0,7859
0,7772
0,7752
0,7815
0,7543
0,7733
0,7698
0,7710
0,7871
0,7820
0,7640
0,7600
0,7787
0,7792
0,7792
0,7769
0,7759
0,7841
0,7755
0,7737
0,7800
0,7538
0,7720
0,7682
0,7694
0,7818
0,7758
0,7587
0,7550
0,7738
0,7730
0,7730
0,7706
0,7694
0,7775
0,7692
0,7677
0,7756
0,7494
0,7662
0,7623
0,7636


Aplicación del modelo Rasch

Excluyendo la variable ST37Q01R.

Cuadro 1f
Final jmle Item Statistics


Item Difficulty Std. Error WMS Std. WMS UMS Std. UMS
ST21Q01
ST21Q02
ST21Q03
ST21Q04
ST21Q05
ST21Q06
ST21Q07
ST21Q08
ST21Q09
ST21Q10
ST21Q11
ST22Q01R
ST22Q02R
ST22Q04R
ST22Q06R
fiscedN
miscedN
2,08
0,18
1,67
1,24
- 3,21
- 1,09
- 0,59
- 1,57
0,45
0,03
1,14
- 1,44
- 3,61
0,68
0,45
1,87
1,72
0,01
0,01
0,01
0,01
0,02
0,01
0,01
0,01
0,01
0,01
0,01
0,01
0,02
0,01
0,01
0,01
0,01
1,25
1,14
0,85
0,82
0,94
1,07
0,98
1,00
1,04
1,16
1,04
0,98
0,99
0,76
0,99
0,94
0,97
48,86
43,84
- 38,37
- 54,94
- 5,14
16,16
- 6,67
- 0,86
14,50
49,31
10,70
- 4,58
- 0,35
- 82,96
- 1,68
- 14,81
- 7,11
1,55
1,27
0,72
0,73
1,06
1,16
0,94
1,12
1,03
1,26
1,03
0,92
1,04
0,69
0,98
1,04
1,16
41,71
43,69
- 34,57
- 41,58
1,97
15,49
- 8,84
8,84
4,89
41,60
4,27
- 7,17
1,09
- 59,66
- 2,83
3,45
16,78


Cuadro 1g
Scoretable


Score Theta Std. Error
0,00
1,00
2,00
3,00
4,00
5,00
6,00
7,00
8,00
9,00
10,00
11,00
12,00
13,00
14,00
15,00
16,00
17,00
- 5,50
- 4,05
- 3,01
- 2,28
- 1,69
- 1,21
- 0,77
- 0,38
- 0,02
0,33
0,68
1,02
1,38
1,77
2,21
2,76
3,58
4,88
1,91
1,16
0,92
0,80
0,73
0,68
0,64
0,61
0,60
0,59
0,59
0,59
0,61
0,64
0,69
0,80
1,06
1,86


Cuadro 1h
Scale Quality Statistics


Statistic Items Persons
Observed variance
Observed Std. Dev.
Mean square error
Root MSE
Adjusted variance
Adjusted Std. Dev.
Separation index
Number of strata
Reliability
2,7513
1,6587
0,0001
0,0096
2,7512
1,6587
173,0386
231,0515
1,0000
1,7643
1,3283
0,4287
0,6547
1,3356
1,1557
1,7651
2,6868
0,7570


Cuadro 1i
Parámetros de los ítems


Item NCAT Delta Std. Error WMS Std.
WMS
UMS Std.
UMS
ST21Q01
ST21Q02
ST21Q03
ST21Q04
ST21Q05
ST21Q06
ST21Q07
ST21Q08
ST21Q09
ST21Q10
ST21Q11
ST22Q01R
ST22Q02R
ST22Q04R
ST22Q06R
fiscedN
miscedN
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
ST21Q01
ST21Q02
ST21Q03
ST21Q04
ST21Q05
ST21Q06
ST21Q07
ST21Q08
ST21Q09
ST21Q10
ST21Q11
ST22Q01R
ST22Q02R
ST22Q04R
ST22Q06R
fiscedN
miscedN
2,0839
0,1767
1,6705
1,2407
- 3,2093
- 1,0888
- 0,5901
- 1,5713
0,4514
0,0291
1,1398
- 1,4431
- 3,6122
0,6821
0,4480
1,8746
1,7180
0,0088
0,0075
0,0082
0,0078
0,0155
0,0085
0,0079
0,0094
0,0074
0,0075
0,0077
0,0092
0,0181
0,0075
0,0074
0,0085
0,0083
1,2544
1,1401
0,8508
0,8176
0,9388
1,0732
0,9760
0,9952
1,0449
1,1610
1,0373
0,9764
0,9948
0,7630
0,9949
0,9358
0,9706
48,8617
43,8357
- 38,3699
- 54,9444
- 5,1416
16,1596
- 6,6690
- 0,8614
14,4966
49,3108
10,6975
- 4,5755
- 0,3516
- 82,9641
- 1,6770
- 14,8108
- 7,1148
1,5486
1,2664
0,7198
0,7298
1,0601
1,1592
0,9352
1,1166
1,0274
1,2613
1,0295
0,9173
1,0401
0,6937
0,9844
1,0351
1,1632


PIE DE PÁGINA

1. Correos electrónicos: César Guadalupe: CA.GuadalupeM@up.edu.pe; Alejandra Villanueva: A.VillanuevaUbillus@up.edu.pe. Artículo recibido el 28 de diciembre 2012 y aprobado en su versión final el 21 de marzo de 2013.

2. Véase, por ejemplo, Loveless (2009), Smith (2002) y Hamilton (2009).

3. De aquí en adelante se incluirá entre paréntesis el nombre de las variables, tal como aparecen en las bases de datos y los informes PISA.

4. El detalle de estas medidas es presentado en OCDE (2010b: 114-119, anexo A1).

5. Como se señala al pie de los cuadros del anexo, las diferencias estadísticamente significativas se destacan usando negritas, lo que no es el caso para este valor. Es importante considerar que en estadística inferencial una diferencia «estadísticamente significativa» ha de entenderse como evidencia muestral suficiente (con un determinado nivel de certeza) para afirmar que debe rechazarse la hipótesis que afirma que no hay diferencias y, asumirse, que existen diferencias reales que no obedecen al azar propio del muestreo probabilístico. Esto es exactamente equivalente a decir que no existe evidencia suficiente para afirmar que el valor del ESCS haya variado en los estudiantes peruanos entre 2000 y 2009. Así, «significativo» no es, en este contexto, sinónimo de relevante sino de estadísticamente suficiente para hacer un juicio.

6. Aunque el informe ajusta los valores de 2000, 2003 y 2006, en este artículo solo se han considerado los valores de 2000, ya que no todos los países latinoamericanos implementaron PISA en todas sus rondas, así como porque la comparación entre 2000 y 2009 en el desempeño lector es más robusta que en los años intermedios en los que el desempeño lector no fue el foco de la evaluación.

7. Es un procedimiento análogo al que se presentará más adelante a efectos de controlar los cambios en las condiciones socioeconómicas, mas no en estas variables demográficas. Asimismo, en el caso de PISA se usan regresiones lineales de acuerdo a lo detallado en el informe (OCDE 2010b: 139).

8. La única explicación posible es que el valor del cambio usando el valor medio ajustado de 2000 es mayor que el observado, de donde se colige que la modificación demográfica afectó negativamente el cambio.

9. El índice usado por la OCDE fue desarrollado con esta información de base, como lo muestran sus autores (Ganzeboom et al. 1992). Una nueva versión del mismo (Ganzeboom 2010), con una base empírica más amplia, será usada en el futuro.

10. Es importante considerar que la información generada por PISA con instrumentos diferentes de las propias pruebas es declarada por las personas. Esto puede introducir algunos problemas que son explorados en otras partes (Northrup 1997). Aquí se ha optado por usar información de la misma fuente; aquella adicional solo es tomada en cuenta como elementos que informan la interpretación de los datos.

11. Para una introducción al modelo Rasch, véase Pallant y Tennat (2007); y para una introducción general a la IRT, véase Hambleton et al. (1991) y Van der Linden y Hambleton (1997).

12. Software libre disponible en http://www.itemanalysis.com/index.php.

13. Inicialmente, se trató de usar deciles, sin embargo, debido al agrupamiento de los casos en algunas categorías solo se identificaron siete grupos.



BIBLIOGRAFÍA

COLEMAN, James Samuel; Ernest Q. CAMPBELL; Carol J. HOBSON; James MCPARTLAND; Alexander M. MOOD; Frederic. D. WEINFELD y Robert L. YORK
1966 Equality of Educational Opportunity. Washington: US Government Printing Office.

CVR, COMISIÓN DE LA VERDAD Y RECONCILIACIÓN
2003 Informe final. Lima: CVR.

DUNCAN, Otis Dudle
1961 «A Socioeconomic Index for All Occupations». En: REISS, A. (ed.), Occupations and Social Status. Nueva York: Free Press of Glencoe, pp. 109-138.

GANIMIAN, Alejandro y Alexandra SOLANO ROCHA
2011 Measuring Up? How Did Latin America and the Caribbean Perform on the 2009 Programme for International Student Assessment (PISA)? Washington: Preal.

GANZEBOOM, Harry
2010 A New International Socio-economic Index ISEI of Occupational Status for the International Standard Classification of Occupation 2008 (ISCO-08) constructed with Data from the ISSP 2002-2007; With an Analysis of Quality of Occupational Measurement in ISSP. Amsterdam: Free University Amsterdam-Department of Social Research Methodology.

GANZEBOOM, Harry; Paul DE GRAAF y Donald TREIMAN
1992 «A Standard International Socio-economic Index of Occupational Status. En: Social Science Research, vol. 21, Nº 1, pp. 1-56.

HAMBLETON, Ronald K.; Hariharan SWAMINATHAN y Jane ROGERS
1991 Fundamentals of Item Response Theory. Newbury Park, Londres y Nueva Delhi: Sage.

HAMILTON, Laura
2009 Using PISA Data to Measure School and System Characteristics and Their Relationships with Student Performance in Science. Fecha de consulta: 15/12/2012. https://edsurveys.rti.org/ PISA/documents/Hamilton_PISA_Hamilton_final.pdf.

HAUSER, Robert y John Robert WARREN
1996 «Socioeconomic Indexes for Occupations: A Review, Update, and Critique». Documento de trabajo Nº 96-01. Madison: University of Wisconsin-Madison-Center for Demography and Ecology.

LOVELESS, Tom
2009 How well are American Students Learning? The 2008 Brown Center Report on American Education. Washington: Brookings.

NORTHRUP, David
1997 The Problem of the Self-report in Survey Research. Toronto: Institute for Social Research- York University.

OCDE
2012 PISA 2009 Technical Report. París: OCDE.
2010a PISA 2009 Results: What Students know and can do. Student Performance in Reading, Mathematics and Science. París: OCDE.
2010b PISA 2009 Results: Learning Trends. Changes in Student Performance since 2000. París: OCDE.
2010c PISA 2009 Results: What Makes a School Successful? Resources, Policies and Practices. París: OCDE.
2002 PISA 2000 Technical Report. París: OCDE.
2001 Knowledge and Skills for Life. First Results from the OECD Programme for International Student Assessment (PISA) 2000. París: OCDE.
OCDE y UNESCO-UIS
2003 Literacy Skills for the World of Tomorrow. Further Results from PISA 2000. París y Montreal: OCDE / Unesco.

PALLANT, Julie y Alan TENNAT
2007 «An Introduction to the Rasch Measurement Model: An Example using the Hospital Anxiety and Depression Scale (HADS)». En: British Journal of Clinical Psychology, vol. 46, Nº 1, pp. 1-18.

SMITH, Marshall
2002 «Drawing Inferences for National Policy from Large-scale Cross-national Education Surveys». En: PORTER, A. y A. GAMORAN (eds.), Methodological Advances in Cross-national Surveys of Educational Achievement. Washington: National Academy Press, pp. 295-317.

UNESCO
1999 Clasificación internacional normalizada de educación. París: Unesco.

VAN DER LINDEN, Wim y Ronald K. HAMBLETON (eds.)
1997 Handbook of Modern Item Response Theory. Nueva York, Berlín y Heidelberg: Springer.



BASES DE DATOS

CEPAL
CEPALSTAT. Bases de datos y publicaciones estadísticas. http://websie.eclac.cl/infest/ajax/ cepalstat.asp?carpeta=estadisticas.

OCDE
Base de datos: Programme for International Student Assessment (PISA). 2000 y 2009. http:// www.oecd.org/pisa/pisaproducts/.

THE WORLD BANK
World DataBank. http://databank.worldbank.org.

​​​​​​​​​​​​


Universidad del Pacífico
Av. Salaverry 2020 Jesús María, Lima Perú // Tel. +51 1 2190100

2010 Universidad del Pacífico, todos los derechos reservados.