Constructos de Psicología
Tu espacio de lecturaIngreso

Teoría de la generalizabilidad: por qué una puntuación cambia entre tareas, evaluadores y ocasiones

Una puntuación se interpreta frente a un universo de observaciones. Facetas, decisiones relativas y absolutas, y una matriz ficticia para comprender qué puede variar.

Dos personas adultas trabajan con tarjetas de papel en un aula y una tercera observa con un cuaderno, en una escena educativa ficticia.

¿A qué otras condiciones queremos extender una puntuación?

Una actuación y las condiciones en que se observa.

Mara explica un concepto con claridad en una actividad y encuentra más dificultades en otra. Un evaluador también puede ser más exigente que otro. Antes de resumir esas diferencias en un único número conviene preguntar qué queremos que ese número describa: ¿esa actuación concreta o el desempeño que esperaríamos a través de otras condiciones?

La teoría de la generalizabilidad pone esa pregunta en el centro. Cronbach, Rajaratnam y Gleser (1963) reformularon la fiabilidad como un problema de generalización de observaciones. Su interés no se reduce a comprobar que dos evaluadores coincidan: exige precisar a qué conjunto de situaciones se pretende extender la interpretación.

Sección 2

Definir el universo antes de extender una conclusión

En nuestro ejemplo ficticio, el propósito es describir la claridad argumentativa al explicar conceptos de una unidad de curso. Nos interesan distintas consignas de ese dominio, evaluadores con los mismos criterios y ocasiones próximas sin enseñanza intermedia. Mantenemos idioma, instrucciones y tiempo. Ese es el universo pretendido; no incluye cualquier materia, formato, grupo cultural o momento futuro.

Las personas son aquí el objeto de medida. Las tareas, los evaluadores y las ocasiones organizan condiciones sobre las que querríamos generalizar. Para Brennan (2003), la puntuación de universo se define respecto de ese universo elegido. No equivale a una capacidad total de la persona ni se vuelve observable por escribirla como promedio esperado.

Si sólo observáramos una consigna y un evaluador, todavía tendríamos que justificar qué permiten decir esos datos sobre las demás condiciones. Enunciar un universo amplio no hace que una muestra limitada lo represente. El alcance de la conclusión debe corresponder al diseño y a la evidencia disponibles.

Sección 3

Una faceta no es un sinónimo de equivocación

Una faceta es una dimensión de las condiciones de observación, con distintos niveles: por ejemplo, los evaluadores que podrían participar. Nombrarla no demuestra que origine un error ni atribuye culpa a alguien. La contribución de sus efectos a la variación relevante depende del universo y de la decisión que se quiere sostener.

Además de diferencias generales entre tareas o evaluadores, interesan las interacciones. Mara e Ivo, nuestros dos personajes, podrían cambiar su posición relativa de una tarea a otra. Eso plantea una pregunta distinta de si una tarea resulta más difícil para todos. La tabla educativa permite formular ambas preguntas, pero no estima componentes de varianza.

Tampoco hay que llamar error a todo cambio entre ocasiones. Si durante el intervalo hubo enseñanza o cambió el atributo que interesa, podríamos estar observando una modificación real. Nuestro universo excluye deliberadamente la enseñanza intermedia; una aplicación tendría que defender esa elección y examinar si es razonable.

Sección 4

Dos decisiones pueden exigir precisiones distintas

Brennan (2003, sección 2.4) distingue las interpretaciones relativas de las absolutas. Comparar posiciones entre personas y valorar el nivel de una puntuación no plantean exactamente la misma exigencia. «Absoluta» no significa verdad sin incertidumbre; identifica el tipo de interpretación que interesa.

Para hacerlo visible hemos escrito dos valoraciones por actuación. En cada celda, E2 asigna exactamente un punto más que E1. Ese desplazamiento uniforme conserva el orden de las valoraciones, aunque cambia sus niveles. No hemos medido el comportamiento de ningún evaluador: la regularidad fue construida para estudiar la distinción.

Decisión relativa · comparar posiciones

Interesa cómo se sitúa una persona respecto de otras. En nuestra tabla, sumar un punto a todas las valoraciones no cambia ningún orden. Eso no demuestra precisión para otras tareas u ocasiones.

Decisión absoluta · interpretar el nivel

Interesa el nivel de la puntuación respecto de un dominio o criterio justificado. El desplazamiento uniforme sí importa. Aquí no se define un punto de corte ni se decide quién alcanza una competencia.

Sección 5

Qué muestran dieciséis números elegidos a mano

El mapa contiene dos personas ficticias, dos tareas, dos ocasiones y dos evaluadores. Cada celda de la matriz persona×tarea×ocasión incluye el par E1/E2 de una misma actuación. Mara recibe 4/5 en A durante la primera ocasión y 7/8 en B; Ivo recibe 7/8 en A y 5/6 en B. Los valores se expresan en una unidad arbitraria, sin baremos o umbrales.

Esa inversión entre personas según la tarea ilustra una interacción posible. No demuestra que exista en una población, que una consigna sea injusta o que Mara tenga una habilidad específica. También hemos cambiado algunos valores entre ocasiones para mantener visible esa dimensión. Cada diferencia es parte de la ficción, no un hallazgo.

No calculamos fiabilidad, coeficientes de generalizabilidad ni porcentajes de error con estos números. El ejercicio tampoco identifica causalmente por qué cambia una puntuación. Estimar componentes requeriría un estudio defendible, datos adecuados y supuestos explícitos; una matriz pequeña inventada no proporciona esa evidencia.

Sección 6

Acuerdo, teoría clásica y Rasch: preguntas que conviene separar

Un acuerdo alto al valorar la misma actuación puede aportar información sobre esos evaluadores y esa condición. No garantiza que la puntuación se mantenga al cambiar de tarea. Brennan (2003, sección 3.4) muestra por qué la interpretación de índices entre evaluadores depende del diseño y del universo; el nombre del coeficiente no resuelve por sí solo su alcance.

Webb, Shavelson y Haertel (2006) sitúan generalizabilidad como una ampliación del tratamiento del error en la teoría clásica, que distingue puntuación verdadera y error en un marco especificado. No corresponde caricaturizar la puntuación verdadera como una esencia inmutable. Generalizabilidad hace explícitas varias condiciones y sus contribuciones al problema de precisión.

El modelo de Rasch pregunta por la relación entre un rasgo específico, la dificultad del ítem y la probabilidad de respuesta. Aquí seguimos otro recorte: a qué condiciones se extendería una puntuación y qué variaciones importan para una decisión. Compartir el campo de la medida no vuelve intercambiables esas preguntas.

En un estudio G se investigan componentes de variación; un estudio D utiliza esa información al considerar un procedimiento y un universo para una decisión. Elegir más evaluadores no equivale automáticamente a cubrir mejor las tareas. Nuestra tabla ayuda a pensar qué información falta, sin recomendar un tamaño de muestra o un diseño óptimo.

Sección 7

Un mapa de universo, facetas y límites

El recurso «Generalizabilidad: puntuación y condiciones» reúne el universo declarado, un mapa de facetas y la matriz ficticia completa. El PDF y el Word editable muestran los mismos 16 valores y distinguen qué se eligió para el ejemplo, qué se puede comparar y qué exigiría un estudio real.

Úsalo para explicar por qué un cambio uniforme entre evaluadores y una inversión entre personas según la tarea plantean preguntas diferentes. Después escribe una condición que falta y una conclusión que todavía no puede sostenerse. No es un test, una rúbrica validada o un procedimiento para clasificar estudiantes.

Descarga el mapa comentado

El mismo recurso en PDF de cuatro páginas y Word editable.

Descargar PDF

Generalizabilidad: puntuación y condiciones · mapa conceptual · versión 1.0 · cuatro páginas.

Descargar PDF

Descargar Word editable

Generalizabilidad: puntuación y condiciones · versión editable 1.0.

Descargar Word

Mapa conceptual y matriz con 16 valores ficticios. No estima fiabilidad. Sin puntuaciones, baremos o resultados personales.

Situar la generalizabilidad con Muñiz

Introducción a la Psicometría. Teoría clásica y TRI, de José Muñiz Fernández, ofrece un marco más amplio sobre la medida psicológica. La sinopsis editorial de la primera edición de 2018, ISBN 9788436839326, menciona expresamente la teoría de la generalizabilidad. Es una lectura complementaria en español para situar esta pregunta junto a fiabilidad, validez y otros modelos; la matriz no sustituye ese estudio.

Enlace de afiliación: Constructos de Psicología puede recibir una comisión si compras a través de este enlace, sin costo adicional para ti.

Preguntas frecuentes

Aquí designa las condiciones sobre las que se quiere extender la puntuación. No autoriza por sí mismo a trasladar una interpretación a otra población, idioma o dominio.

Fuentes para continuar la lectura

Universo, facetas, error y decisión: formulación de la teoría y lecturas identificadas.

Cronbach, L. J., Rajaratnam, N., y Gleser, G. C. (1963). Theory of generalizability: A liberalization of reliability theoryBritish Journal of Statistical Psychology, 16(2), 137–163. DOI 10.1111/j.2044-8317.1963.tb00206.x.
Brennan, R. L. (2003). Coefficients and Indices in Generalizability TheoryCASMA Research Report 1, University of Iowa. Introducción y sección1, pp. 1–4; sección 2.4, pp.9–11; sección 3.4, pp.27–31. Páginas impresas, distintas de la numeración del visor PDF.
Webb, N. M., Shavelson, R. J., y Haertel, E. H. (2006). Reliability Coefficients and Generalizability TheoryEn Handbook of Statistics, volumen26, pp.81–124. DOI 10.1016/S0169-7161(06)26004-8.
Ediciones Pirámide. Introducción a la Psicometría — ficha y sinopsis editorialJosé Muñiz Fernández. Primera edición, 2018, 376p., ISBN papel 9788436839326. La sinopsis menciona expresamente teoría de la generalizabilidad.

Las fuentes sustentan afirmaciones delimitadas. No validan el mapa educativo ni convierten las escenas ficticias en datos experimentales.

Seguir explorando en Constructos

Otras lecturas para ampliar esta conversación.

Buscando otras lecturas…