¿Son confiables los coeficientes de confiabilidad?

Hay algo que no está del todo bien en muchos de los textos sobre metodología de la investigación, cuando catalogan un conjunto de métodos que supuestamente prueban la confiabilidad de los instrumentos de investigación social, bajo una denominación común: coeficientes de confiabilidad. Esta denominación común transmite información tácita sobre dichos métodos que, en realidad, es falsa. Para comenzar, estos métodos no miden “lo mismo”, por lo que no tendrían porque tener “una misma” denominación. Algunos de ellos miden el nivel de estabilidad de las respuestas (como el test – re test), otros miden la equivalencia de las respuestas (como las formas alternas) y, por último, están los que miden la coherencia interna.... también de las respuestas (tal es el caso de los métodos que trabajan con los datos recogidos en una sola aplicación como el alfa de Cronbach). Esta falta de unicidad, en cuanto a lo que realmente hacen estos métodos, puede llevar a situaciones paradójicas como aquella en la que un instrumento sea altamente confiable de acuerdo al coeficiente de "confiabilidad" test – re test, pero muy poco confiable de acuerdo al coeficiente de “confiabilidad” alfa de Cronbach. Hay algo en esta paradoja que no es confiable, .... y no es el instrumento de investigación evaluado.

Una segunda información falsa, tácitamente transmitida, es la de considerar que estos “diversos” métodos que miden cosas diferentes (sea lo que sea que midan), lo miden sobre nuestro instrumento de investigación. La verdad es que lo que ellos miden, lo miden sobre “las respuestas” dadas por las personas que conforman nuestra muestra y no directamente sobre el instrumento aplicado. Parece sutil la diferencia pero no lo es tanto. Cierto es que a partir de unas “respuestas” coherentes podemos suponer que dicha estabilidad es producida por un instrumento también coherente. Esto es verdad, pero lo es hasta cierto punto, porque la coherencia o incoherencia de las respuestas también está relacionada de manera importante con la homogeneidad o heterogeneidad de aquello acerca de lo que estamos preguntando o investigando, es decir, la homogeneidad o heterogeneidad de nuestro objeto de investigación. Si nuestro objeto de estudio es homogéneo, este factor de la ecuación aumenta la probabilidad de que las respuestas obtenidas sean coherentes y de que el coeficiente alfa sea mayor; pero si nuestro objeto de estudio es heterogéneo y más complejo, no necesariamente unas respuestas heterogéneas, que bajen un poco el coeficiente alfa, estén reflejando un problema con el instrumento sino que pueden estar hablando acerca de la mayor complejidad de la particular realidad que es foco de nuestra de atención.

¿Qué debemos hacer?, ¿sacrificamos la complejidad de nuestro objeto de estudio eliminando los items de nuestro instrumento que no concuerdan con las respuestas de los otros items, con el fin de subir unos puntos en un coeficiente de confiabilidad que mide homogeneidad de respuestas (consistencia interna) como el alfa de Cronbach, o preferimos no eludir la complejidad de lo que estudiamos aunque eso implique que nuestro instrumento no arroje un alfa mínimo de 0.80?. ¿En este caso, no será mas importante que hacerle justicia a la prueba, hacerle justicia al objeto de investigación?.

Pero hay aún mas en relación a esto de que los “coeficientes de confiabilidad” miden lo que miden acerca de respuestas y no directamente acerca del instrumento mediante el cual se obtienen esas respuestas. Al ser esto así, puede presentarse la situación siguiente: que el “Coeficiente de confiabilidad” (que muchos autores tratan sin mayores explicaciones y con una fe ciega en que el mismo refleja la confiabilidad del instrumento) salte bruscamente al introducir los datos de un nuevo caso o sujeto entrevistado. Por ejemplo: podemos haber tabulado los datos de 35 aplicaciones del instrumento determinado y estar obteniendo, hasta ese momento, un coeficiente de confiabilidad alfa de 0.71, y al introducir los datos de la aplicación número 36 el coeficiente de confiabilidad puede saltar, bruscamente, a 0.80. Con las respuestas de 35 sujetos, y de acuerdo con los autores, tenemos que nuestro instrumento no es suficientemente confiable, pero con las respuestas de tan sólo un sujeto más, nuestro instrumento pasa mágicamente a ser confiable. ¿Como "sabe" el instrumento, que a partir de las respuestas de una persona más debe cambiar de condición?.. ¿Cómo es que con la diferencia mínima de 1 caso, un instrumento pasa de no ser confiable a si serlo?

Por lo visto, hay algo que no parece ser confiable en los coeficientes de confiabilidad. O tal vez lo que no es confiable es la manera como ellos son tratados en la literatura. Para empezar planteamos que, a la hora de hablar de “Coeficientes de confiabilidad”, se debe discriminar a cada uno de los diferentes métodos utilizados indicando lo que realmente mide cada uno de ellos: coeficiente de coherencia interna de las respuestas (alfa), coeficiente de estabilidad de las respuestas (test – re test) y coeficiente de equivalencia de las respuestas (formas alternas). Por otra parte, debe indicarse que estos coeficientes, extraídos de las respuestas obtenidas, ciertamente dependen de alguna manera de la buena o mala hechura del instrumento que se busca evaluar, pero también dependen de muchas otras cosas como el número de casos, lo homogéneo – heterogéneo del objeto de investigación y hasta de la historia previa de los sujetos estudiados. De manera tal que, podemos concluir, los diferentes “Coeficientes de Confiabilidad” son herramientas relativas para evaluar instrumentos de investigación.