Características del Calificador: Fiabilidad y Predictibilidad de Calificaciones del Calificador

Hasta ahora hemos ignorado a los evaluadores reales en sí mismos y su importancia para el proceso de evaluación del desempeño. Si bien se ha indicado que los evaluadores están sujetos a numerosos tipos de "errores" al emitir juicios y que las escalas de calificación deben diseñarse para minimizar estos errores, las características de los evaluadores individuales no se han examinado en cuanto a su efecto en el proceso de calificación.

Fiabilidad y previsibilidad de calificaciones de los evaluadores:

El problema de las características de los calificadores ha recibido mucha atención en los últimos años. Buckner (1959) ha explorado la relación entre qué tan bien están de acuerdo los evaluadores y el grado en que uno puede predecir las calificaciones con alguna otra variable. Dicho de otra manera, Buckner hizo la pregunta "¿Las calificaciones altamente confiables, implican que tengo un criterio que será más fácil de predecir?" La respuesta resultó ser no. Buckner dividió sus tasas en cuatro grupos, dependiendo de qué tan bien acordaron los jueces al asignar sus calificaciones.

Grupo 1: Los jueces estaban en alto acuerdo sobre estas tasas.

Grupo 2: Los jueces se mostraron moderadamente de acuerdo con estas tasas.

Grupo 3: Los jueces se mostraron en un bajo acuerdo sobre estas tasas.

Grupo 4: Los jueces estuvieron en cero acuerdo sobre estas tasas.

Luego procedió a validar dos pruebas al correlacionar los resultados de la prueba con la calificación; esto se realizó para cada grupo por separado. No encontró una relación sistemática entre el tamaño de sus validaciones obtenidas en función del grupo con el que estaba trabajando. Windle y Dingman (1960) criticaron la interpretación de Buckner e hicieron un segundo estudio en el que encontraron los resultados dados en la Tabla 7.4.

Observe las magnitudes relativas de los coeficientes de validez que se muestran en la Tabla 7.4. Cuanto más confiables sean los evaluadores, mayor será la validez. Del mismo modo, cuanto más confiables sean las calificaciones, mayor será la validez.

Por lo tanto, uno podría lógicamente esperar resultados más parecidos a los de Windle y Dingman que a los de Buckner. Sin embargo, también se debe tener en cuenta que la alta confiabilidad es solo una condición necesaria para una alta validez, no es una condición suficiente.

Wiley, en una serie de estudios, ha examinado la consistencia de los juicios de evaluador a lo largo del tiempo con respecto a qué tan bien están de acuerdo con los juicios anteriores del mismo evaluador (Wiley 1963; Wiley y Jenkins, 1963) y qué tan bien están de acuerdo con un grupo compuesto. Clasificación (Wiley y Jenkins, 1964). En general, se encontró que los evaluadores eran consistentes en sus calificaciones hasta un período de tiempo de diez meses.

Además, descubrió que los evaluadores que estuvieron de acuerdo muy de cerca con la composición del grupo en una tarea de calificación inicial también fueron los evaluadores que más estuvieron de acuerdo con la composición del grupo en una tarea de calificación diferente un mes después. Sugiere que este conocimiento se puede usar para seleccionar a los evaluadores que son verdaderamente representativos del consenso promedio de un grupo más grande de evaluadores.

Desafortunadamente, el problema de si los evaluadores que están de acuerdo con la composición del grupo son los mejores evaluadores para solicitar no se ha determinado. Sin embargo, hay una lógica en la posición de que si es posible obtener una calificación compuesta utilizando un número pequeño de evaluadores que se aproximarán al compuesto obtenido utilizando un número mayor, ciertamente se puede ahorrar tiempo y dinero.

Se ha demostrado que muchas otras características de los evaluadores desempeñan un papel en las evaluaciones de desempeño obtenidas por las calificaciones. Christal y Madden (1960) han demostrado que una consideración importante es el grado en que un evaluador está familiarizado con la ocupación que califica, un hallazgo respaldado por estudios adicionales de Madden (1960a 1961). De manera similar, Wiley, Harber y Giorgia (1959a, 1959b) han demostrado que la influencia de las tendencias generalizadas de los evaluadores es notable en su efecto sobre las calificaciones.

Formato de escala de calificación y juicio de evaluación de desempeño:

Madden ha informado de varios estudios que tratan la influencia de la escala de calificación en sí. En un estudio (Madden, 1960b) descubrió que la confiabilidad de la calificación y la facilidad de la calificación no estaban influenciadas por el uso o la falta de uso de los ejemplos al definir la escala de calificación, sino que si la escala se definía en lugar de no definirse sí. Afecta la fiabilidad y facilidad de uso.

En un estudio posterior, Madden y Bourdon (1964) estudiaron el efecto de siete formatos de escala de calificación diferentes sobre las calificaciones de 15 ocupaciones diferentes en 9 factores laborales diferentes. Los resultados, aunque de naturaleza algo complicada, indicaron claramente que la calificación asignada a una ocupación dependía tanto del factor del trabajo involucrado como del formato particular de escala de calificación que se está utilizando.