El Laboratorio Interdisciplinario de Estadística Social (LIES) dependiente de la Pontificia Universidad Católica (PUC) publicó un nuevo análisis de los últimos resultados de la encuesta CADEM, respecto a la intención de voto en el próximo plebiscito constitucional.
Semana a semana, CADEM, a través de su plataforma Plaza Pública, revela resultados que señalan «medir la opinión pública». Sin embargo, a la par, el LIES realiza un importante trabajo de contraste y análisis en pos de contribuir a la precisión en el debate ciudadano.
El suplemento técnico y semanal titulado «Transparentando la CADEM en beneficio de la deliberación democrática» busca enseñar a las y los ciudadanos a leer los resultados de dichas encuestas. Así como concientizar a la población de que estos instrumentos no pueden hablar por ellos, y que tampoco tienen la capacidad de predecir su comportamiento político, pese a que se empeñan en publicitarse de esa manera.
«La ventaja de este reporte es que mostramos que las opiniones políticas de la ciudadanía están muy lejos de ser representadas por las opiniones políticas de los que fueron encuestados. Cuantificamos esa lejanía», señalan en su introducción.
En conversación con El Ciudadano, Ernesto San Martín, Doctor en Ciencias con orientación en Estadística resuelve algunas dudas sobre estos instrumentos, que la mayoría de las veces son replicados en los medios como verdades absolutas. San Martín es profesor titular en la Escuela de Matemáticas de la PUC y director del LIES, así como director del Núcleo Milenio sobre Movilidad Intergeneracional (Núcleo MOVI). Él junto a su equipo de trabajo han sido los responsables de levantar el proyecto «Transparentando la CADEM», que hoy lleva 14 boletines publicados.
¿Quiénes y cuántos responden la CADEM?
El último análisis, publicado recién el 25 de julio del presente año, y al cual haremos referencia durante todo este artículo, muestra en primera instancia un hecho clave sobre la representatividad de esta encuesta. Y eso es que la encuesta CADEM referente al plebiscito ha sido respondida por un promedio de 700 personas semanalmente durante los últimos meses.
CADEM cuenta con una base de datos que asciende a 13.314.848 personas, su «población de elegibles»: hombres y mujeres mayores de 18 años de las 15 regiones del país. Esta semana solo 7.193 personas fueron seleccionadas, de las que solo 701 accedieron a responder la encuesta. Es decir, solamente el 9,7% de los seleccionados y el 0.0540224% de los elegibles. Sin embargo, CADEM reporta la opinión de estas 701 personas como si fuese la opinión global del universo de elegibles, táctica común entre empresas consultoras que realizan este tipo de encuestas.
«Una cosa es dar en el espacio público opiniones políticas. Todo el mundo, incluidas las distintas organizaciones detrás de las encuestas, puede y debe dar esas opiniones, porque de eso se alimenta el espacio público. Sin embargo, el punto que criticamos nosotros es que no se distinga entre una opinión y proporcionar una información que está revestida de cierto tecnicismo de carácter científico«, señala el director del LIES.
«Una cosa es decir ‘creo que el Rechazo va a ganar con el 60%’ que es válido y debatible con quienes piensan similar o distinto a mí. Pero si digo que tengo una encuesta, que está revestida de tecnicismo estadístico porque menciono algunas jergas estadísticas como error de estimación; panel online; estratos de encuestados definidos según región, sexo, ruralidad, grupo socioeconómico, etc, es distinto. Si yo uso todos esos tecnicismos es porque voy a proporcionar no una opinión política sino una información científica. Entonces lo primero es distinguir entre la opinión política y la información científica que quiero proporcionarles a las y los ciudadanos», señala San Martín respecto a cómo anuncian sus resultados algunas encuestadoras responsables de encuestas como la CADEM, Pulso Ciudadano o la CEP.
La CADEM no es representación global de nada
Una pregunta importante que realiza el estudio de LIES es «¿cómo es posible que la opinión de un tan bajo porcentaje de ciudadanas y ciudadanos refleje la del resto?». Y la verdad, es altamente improbable lograr verdadera representatividad global bajo esos términos. Sin embargo, CADEM supone que no hay diferencias entre los que respondieron la encuesta y los seleccionados, ni el resto de universo elegible.
«Bajo el supuesto de que quienes rechazan contestar son iguales a quienes contestan, la magnitud de la tasa de rechazo no ofrece mayores inconvenientes, pero cuando existe evidencia que ambos grupos no son equivalentes, el rechazo puede introducir serias distorsiones en los resultados», señala el análisis.
El supuesto de la CADEM, explican los expertos, es equivalente a suponer que las muestras representativas existen, cuando eso no es real. Es imposible verificar que la parte representa al todo, en particular aquella parte del todo que no respondió la encuesta. «Así que, aunque este supuesto parezca una técnica que permita hacer hablar a los que no hablaron, es empíricamente vacío», señalan.
«Una cosa que es importante y en eso hemos sido enfáticos, es que no existe lo que los estadísticos y encuestadoras llaman «muestra representativa». Si CADEM hace una encuesta a partir de una muestra porque quiere saber el porcentaje de ciudadanos y ciudadanas que va a votar apruebo, rechazo o no va a votar, y después te dice «lo que acabo de pesquisar con mi encuesta representa a la población», eso es una falacia», señala San Martín.
La importancia de reconocer la incerteza
El estudio señala que si extrapolamos los resultados de CADEM a todo el universo denominado como «los elegibles», la incerteza es aún mayor. De los 13.314.848 elegibles que declara CADEM en su diseño metodológico, solo 7.193 fueron seleccionados para que contestaran la encuesta. Por lo tanto, el porcentaje de seleccionados entre los elegibles es igual al 0.0540224%. Ni siquiera llega al 1%, así, cada vez se hace más claro que la «representatividad» que pregona la CADEM y otras encuestas de este tipo, es solamente representativa de quienes han respondido tal o cual encuesta.
Además, desde el LIES señalan que hay que considerar dos fuentes de «incerteza significativa» en la CADEM, que son justamente sobre los cuales se quieren extender los resultados de esta encuesta: Primero, aquellos que, a pesar de ser seleccionados, no contestaron la encuesta; Y, segundo, aquellos «elegibles» a quienes no se les contactó. Así, la incerteza para dar con resultados más globales solamente se acrecenta.
«En todas las encuestas hay siempre gente que no responde, y no hay metodología estadística que permita adivinar lo que esas personas van a responder si no quisieron responder, en términos certeros. Entonces lo que nosotros decimos, es que si usted revistió esta encuesta de tecnicismos científicos repórtela científicamente. Eso significa aceptar que la tarea estadística no es proporcionar una información certera, sino proporcionar indicadores de confiabilidad de las inferencias que hacemos», explica San Martín.
El académico señala que en el caso de las encuestas un camino claro y explícito es hablar de la tasa de no respuesta. «Pongamos un ejemplo, CADEM señala que su tasa de respuesta es del 10% CADEM, Pulso Ciudadano también del 10% , y la CEP de un 60%. Entonces CADEM tiene un 90% de tasa de no respuesta, Pulso Ciudadano similarmente, y la CEP 40%. Pero no basta solo con decirlo en la primera página, el punto es, y aquí entra nuevamente la terminología científica, que hay que incorporarlo en la narrativa del resultado. Es decir, cuando yo tomo los resultado de la encuesta y los quiero extrapolar, en primer lugar, a todos aquellos que fueron contactados para responder la encuesta, de los cuales hay una proporción que no quiso participar, esa extrapolación tiene que hacerse incluyendo o mostrando el rol de la tasa de no respuesta», señala sobre un ejercicio que en la actualidad encuestas de este tipo no realiza.
«Este no es un reporte transparente»
Esta semana la encuestadora reportó que el Rechazo a la nueva Constitución se mantiene en 47%, 8pts por sobre el Apruebo, que estaría en un 39%. Y agregó además que el 14% no sabe, no responde o no votaría. Sin embargo, los especialistas han sido enfáticos en demostrar que aquel no es un reporte transparente. «No es posible hablar de que tal opción se mantiene por el hecho que, hasta donde sabemos, CADEM no encuesta las mismas personas: solo cuando se encuestan las mismas personas es posible hablar de tendencia», señalan en el estudio.
Que una encuesta arroje porcentajes similares a otra no es motivo para establecer una tendencia, como suelen enunciar algunos medios y figuras públicas. Que los resultados de la CADEM y Pulso Ciudadano se parezcan no nos habla de una tendencia, sino de una coincidencia.
«Hablar de tendencia en esos casos es una falacia comunicacional y por tanto una mentira en términos científicos. Solamente podemos hablar de tendencia cuando seguimos o entrevistamos a las mismas personas, y ahí tiene sentido hablar de cambio de opinión, si se mantuvo, subió o bajó una preferencia sobre la otra, ahí tiene sentido. Pero, si estoy cada semana entrevistando a poblaciones distintas, las estoy comparando entre sí, hablo de tendencia y digo que subió el rechazo, lo que estoy suponiendo, implícitamente, es que la población que entrevisté esta semana es gemela a la que entrevisté hace una semana atrás. Y eso es erróneo. Todas estas series que nos muestran no son científicamente sustentables, ni para hacer una predicción ni marcar una tendencia», explica San Martín.
El director del LIES problematiza sobre el argumento de que existe una técnica estadística que permite tomar los resultados de una encuesta y, comillas, extenderlos a la población. «Nuestro argumento es el siguiente: cuidado usuarios de la estadística, eso es falso. Yo no puedo tomar los resultados de CADEM o Pulso Ciudadano, o incluso de la CEP, y decir que esos resultados son válidos para la población entera», desmitifica el académico.
«Si la encuestadora o lo que sale en la prensa efectivamente dice ‘el 47 % de la población va a votar rechazo’, eso es un error. Principalmente porque la encuestadora , CADEM por ejemplo, encuestó solamente a 700 personas, Pulso Ciudadano a 1.300, etc. Entonces, lo que sí se puede hacer es contar un hecho, decir ‘el 47% de 701 personas en la encuesta que hicimos va a votar Rechazo. El 39% de esas 701 personas va a votar Apruebo’, ese es el hecho», agrega.
Conclusiones que todas y todos deberíamos leer
El sesgo en las encuestas pareciera hacerse cada vez más claro. Y específicamente, respecto a la CADEM, los expertos han llegado a una serie de conclusiones, que ya se han ido vislumbrando a lo largo de este texto, y que pueden no resultar del todo gratas para los medios, que semanalmente anuncian con bombos y platillos los resultados de este «mecanismo de medición de la opinión pública».
Una de esas primeras conclusiones, guarda relación directa con lo anterior y es que no hay una lectura transparente de la encuesta, ni por parte de la encuestadora, ni por parte de cierta prensa. «En este caso, la noticia falsa es querer decir lo que yo no estoy capacitado para decir solamente revistiéndolo de jerga científica (…) Nosotros lo que argüimos es que si usted usa una encuesta, donde hay tasa de no respuesta, donde no es posible adivinar que van a responder los que no respondieron, aunque tenga mi misma edad, sexo, lugar de trabajo, etc., tengo que manifestar la incerteza y eso es lo que habría que proporcionarle a la población», comenta San Martín, mientras apunta que ahí recae la principal irresponsabilidad de encuestadoras y medios de comunicación que replican informaciones incompletas.
Citando a la escritora y teórica política, Hannah Arentd, el académico señala que en la sociedad hay tres instituciones que deberían ser ecuánimes, es decir, manifestar la información desde sus distintas aristas, haciéndose cargo de la realidad de manera justa, y esas son la universidad, el arte y la prensa. «Dicho de otra manera, si la prensa quiere influir puede expandir estas noticias, este modo falso, o este travesti, en el sentido etimológico del término, disfrazando como científico algo que no lo es. Pero si la prensa quiere orientar, es decir, ser ecuánime, entonces debería tener una lectura crítica y manifestar de otra manera lo que está ocurriendo», señala.
La segunda conclusión del último análisis de la CADEM, señala que para hablar de una lectura «transparente y estadísticamente rigurosa», se debería mostrar que la opinión de 701 personas corresponde a un pálido reflejo de la opinión de la ciudadanía en relación a la Nueva Constitución. Y no hacerlo ver como porcentajes representativos globales. De allí la necesidad de que cada ciudadana y ciudadano siga formándose su propia opinión.
La tercera conclusión, y sobre la que hemos ahondado ampliamente en este texto, es que no existen encuestas representativas de las opiniones de la ciudadanía, esto «pues el criterio de representatividad sería precisamente conocer dichas opiniones. Pero no se conocen y es por ello que se aplican encuestas», señala el estudio.
La cuarta y última conclusión, y quizás la más importante a nivel social, es que la manera en que nos relacionamos las ciudadanas y ciudadanos con las encuestas debe cambiar. Esto es, en palabras del académico, «porque las encuestas no me están diciendo certezas, lo que me están diciendo es más o menos lo que podría estar pensando la gente con ciertas incertezas». En consecuencia, señala, no mostrar los resultados como lo que son es irresponsable, y cuando la prensa lo repite de manera irreflexiva lo que hace es expandir una noticia falsa.
«Toda encuesta que hacemos en cualquier país del mundo tiene un fin político o de política pública. Si hacemos el Censo o la encuesta de empleo tenemos en la retina un objetivo de política pública. Si hacemos las encuestas políticas tenemos un objetivo político. Y está bien, pero hay que declararlo ¿cuál es el objetivo? Entonces, lo que se podría concluir es que cuando una institución reviste de tecnicismo una opinión, no es más que eso, querer pasar como científica lo que no es más que una opinión», finaliza lapidario el director del LIES.
En Chile no existe una institución, pública o privado, que sirva como observatorio de las encuestas. Lo más cercano es el trabajo que realizan organismos como el LIES. Sin embargo, articular estos espacios de escrutinio de la información dentro de la sociedad, es es una necesidad cada vez más imperiosa, más en una era donde el exceso de datos es la norma pero poco se enseña de cómo leerlos y analizarlos.
Hazte socio 👍
Con tu donación aportas a la sostenibilidad económica y existencia de este medio.
Elige cómo quieres aportar a la existencia y financiamiento colectivo de este medio!
Reveniu 
