En resumen. Un estudio publicado por Diario Extra registra un hecho comprobable: el abatimiento de la imagen del presidente Carlos Alvarado. Sin embargo, el diario lo asegura usando como base un estudio de mercado que carece de respresentatividad en todo el país y cuyos sujetos consultados no fueron elegidos de forma completamente aleatoria.
Diario Extra publicó los resultados de un estudio de mercado dirigido por el analista Iván Barrantes y contratado a la firma Índice. El diario afirmó contundentemente que Fabricio Alvarado sería presidente si las elecciones se repitieran. Lo cierto es que el estudio fue elaborado únicamente en la Gran Área Metropolitana (GAM) y la elección de sus sujetos no fue aleatoria.
Además de esos aspectos metodológicos, el estudio tampoco permite asegurar que los «Ticos no confían ni creen en el presidente», pues—aunque se pidió a los entrevistados valorar la imagen del mandatario— no hubo una pregunta específica al respecto en el cuestionario empleado.
Sobre el tema, el encargado de la encuesta en Índice, Eugenio Carvajal, concedió que no podían extrapolarse los resultados a todo el país, puesto que solo se había recogido la opinión de personas de la GAM. Carvajal defendió que su método sí era aleatorio, y que —por tanto— permitía hacer inferencias sobre toda la población de la GAM.
Los investigadores Johnny Madrigal, director de Posgrado de la Escuela de Estadística de la Universidad de Costa Rica, y Jesús Guzmán del Centro de Investigación y Estudios Políticos (CIEP) de la UCR contradicen esta postura. Ambos especialistas cuestionan la aleatoriedad de la metodología y consideran que los resultados no son extrapolables ni siquiera a la GAM.
Al margen de los números publicados por Diario Extra, mediciones estadísticas anteriores confirman que la imagen de Alvarado efectivamente está en un muy mal momento. La última encuesta de opinión pública del CIEP arroja que la imagen negativa del presidente Alvarado alcanza un 50%. El gobierno, en general, alcanza un 51% de imagen negativa. Asimismo, un 56% percibe negativamente el rumbo del país.
El estudio (y lo que publicó Diario Extra)
Durante las últimas semanas Diario Extra ha publicado una serie de artículos basados en un estudio dirigido por el analista Iván Barrantes y contratado a la empresa Índice. El medio afirmó el 11 de julio que «Fabricio ganaría si segunda ronda se repitiera hoy» y que «Ticos no confían ni creen en el Presidente«. Un día después agregó que «Figuras políticas ganan terreno tras mal momento del gobierno» y el 13 de julio sostuvo que el «Gobierno improvisa y no tiene soluciones«, tomando como base los resultados del estudio de opinión.
El estudio fue costeado por Iván Barrantes (según afirmó el analista a Doble Check). Es calificado por los autores como «estudio de mercado», «tracking» y «estudio tipo sondeo cuantitativo», y requirió de la consulta cara a cara a 300 personas.
La metodología indica que «el Estudio se implementó en los puntos estratégicos o locaciones representativas de cada cabecera de provincia (parques, paradas de buses, centros comerciales o similares), así como en el domicilio y lugar de trabajo de los entrevistados, guardando proporcionalidad de los conglomerados poblacionales».
La reseña metodológica agrega también que el estudio «estuvo compuesto por hombres y mujeres, con una edad comprendida entre los 18 y 65 años, pertenecientes a un nivel socioeconómico aparente medio amplio que vivan en el Gran Área Metropolitana donde se acumula aproximadamente el 65% de esta población en estudio». Agrega que estuvo segmentado por sexo, grupos de edad y provincias, y sostiene que el «error máximo permitido es de +/-5.65% (sic) trabajando con una confiabilidad del 95%».
Doble Check consultó a Eugenio Carvajal, de la firma Índice, sobre cómo se seleccionaron los sujetos entrevistados. Para entender la metodología, es necesario comprender qué es un segmento censal.
Según el geógrafo del INEC Allan Ramírez, el Instituto Nacional de Estadística y Censos (INEC) divide al país en 17.260 de segmentos censales, a partir del censo del año 2000. Estas son agrupaciones entre 60 y 70 viviendas en zonas urbanas y de entre 40 y 50 viviendas en zonas rurales. Carvajal señala que pidió que el INEC le proporcionara 40 segmentos censales escogidos aleatoriamente para poder hacer las entrevistas.
«Las entrevistas son hechas con un segmento censal escogido aletoriamente por el INEC. De esos segmentos cogemos doce entrevistas. Cogemos 12 viviendas en cada segmento censal donde haya personas con las caracteristicas que buscamos (edad, sexo, que no trabaje en una empresa de investigación de mercado, etcétera). Luego vamos a centros comerciales, paradas o lugares donde podamos contactar gente (de esos segmentos censales) que esté dispuesta a darnos la opinión. Así vamos llenando las cuotas», dijo Carvajal.
Ramírez, del INEC, explicó que a partir del censo de 2011 dejaron de usarse segmentos censales. El Instituto empezó a usar entonces la Unidad Geoestadística Mínima (UGM), que es mucho más heterogénea y precisa. Hoy existen 49.184 UGMs.
En sus publicaciones, Diario Extra hace explícito en el texto que el estudio entregado por Barrantes no es una encuesta. No obstante omite cuestionar su metodología.
Doble Check compartió los resultados de su chequeo con la directora del diario y con el periodista encargado de la redacción de los artículos. Se les solicitó un comentario al respecto pero no hubo respuesta hasta el momento de publicación de esta información.
Estudio no permite inferir opinión de los costarricenses
El estudio de opinión que publicó Diario Extra no permite inferir la opinión de los costarricenses por varias razones. En primer lugar, la población consultada se limita exclusivamente a la Gran Área Metropolitana., Esto no permite extrapolar los resultados al resto de la población.
El analista Iván Barrantes discrepa con este criterio. En entrevista con Doble Check indicó que tomar únicamente las consultas de la GAM permite tener una buena idea de qué ocurre en el resto del país.
«El metodo es totalmente válido. Costa Rica todavía tiene la ventaja de que es un país muy horizontal, no es como Guatemala, no tiene la complejidad de un país como Honduras. Con solo vos evaluar el GAM tenés una perspectiva del 70%, 75% del país. (Cuando hacíamos estudios) con el PAC hacíamos lo mismo. Ninguna metodología es concluyente. Los estudios de mercado no son predictivos o concluyentes. Pero sí pretende demostrar tendencias y patrones», sostuvo.
Eugenio Carvajal, de Índice, discrepa. El investigador sostiene que «es mejor recalcar que el estudio se realizó en la GAM porque los otros (las personas fuera de la zona) van a tener hábitos y percepciones muy distintas. Si lo vemos estadísticamente, si yo pusiera ahí, estadísticamente que «los ticos no confían ni creen en el presidente», yo estaría superequivocado en el título. ¿Qué debería estar en el título? Si están en el estudio. ¿Quiénes? Esta poblicación de la GAM. Yo sí creo que se debería aclarar. (…) No se toma en cuenta todo el país porque los costos son muy altos. Sí debería de decir que es el GAM».
«Los títulos de «El capitán del barco no tiene rumbo», igual que «Ticos no confian ni creen en el presidente». Eso no tiene nada que ver con el estudio. No se preguntó confianza. Todos esos títulos son como perceptivos. El estudio no dice que los ticos confian o no confían. Ellos (Diario Extra y Barrantes) escogen algunos datos, y ahí interpretan. En general si usted ve todo el periódico, a veces hay mucha interpretaión”, agregó Carvajal.
Un segundo punto por el cual no se puede extrapolar la información es porque la metodología no es completamente aleatoria. Aunque Carvajal asegura que su método sí es aleatorio, los académicos Johnny Madrigal y Jesús Guzman disienten.
El problema—alegan— no está en usar segmentos censales y escogerlos aleatoriamente. El problema está en visitar centros comerciales, paradas de autobús o parques para encontrar a las personas de esos segmentos. «Eso, al final, te mató la aletoriedad», dice Madrigal, de la Escuela de Estadística de la Universidad de Costa Rica.
En realidad, un estudio debería ir al segmento censal, seleccionar las viviendas aleatoriamente e incluso seleccionar aleatoriamente a la persona que se va a entrevistar dentro de la vivienda.
«Cuando yo hago un muestreo totalmente aleatorio selecciono los segmentos y a partir de un punto definido empiezo a ver viviendas (al azar) y cuando llego a una vivienda entrevisto al azar a una persona. Por ejemplo pregunto cuál es la persona más próxima a cumplir años».
Todo eso tiene un costo elevado. Si usted no logra entrevistar específicamente a la vivienda que iba a consultar, tiene que revisitarla hasta que pueda entrevistarla.
Los estudios de mercado no suelen hacerlo por costos, y rompen la aleatoriedad al usar cuotas (por ejemplo, tratan de encontrar un porcentaje de entrevistados que consuma un determinado producto). A pesar de todo eso, Madrigal sostiene que se busca la aleatoriedad en la selección de viviendas, en lugar de visitar parques o paradas de autobús.
«Si todos los consultados le caen en estratos económicos medios y bajos ¿cómo hacen para controlar eso? ¿cuál es el porcentaje de gente que trabaja? ¿la distribución por nivel socioeconómico? ¿tienen algún dato por educación?
Si se me cumplen ciertas características, no solo dos, tengo más confianza de que la muestra no tiene sesgos pero (sin esas respuestas) no tengo las bases suficientes para saber si es una buena muestra».
Jesús Guzmán, del CIEP de la Universidad de Costa Rica, reconoce que esta es una forma muy ardua de hacer los estudios, pero es la manera correcta.
Guzmán introduce un tercer punto: una metodología como esta ni siquiera permite encontrar un margen de error.
«La muestra no tiene nada de aleatorio. Ellos indican que es una muestra casi que por conveniencia. No hay forma de medir una representatividad de ningún tipo. Estás metiendo un sesgo increíblemente grande. No es posible hacer inferencias a partir de un tipo de metodología como esta. Como la muestra está mal seleccionada, uno no puede calcular el margen de error porque uno no sabe adónde va el error. Puede haber una subrepresentación o una sobrerepresentación (de algún grupo)».
En otras palabras, Guzmán y Madrigal difieren que el estudio tenga 5.65 puntos porcentuales de margen de error. Bien podría tener 1 punto de margen de error, como 15.
«El método es totalmente válido. Yo sé que hay verdades que incomodan»
El analista Iván Barrantes cree que las afirmaciones de Diario Extra sí pueden extraerse del estudio porque el método es válido.
“Cualquier empresa de consumo masivo hace este tipo de estudios. El método de ‘consumer tracking’, de seguimiento del consumidor, con muestras pequeñas y alta frecuencia permite mostrar tendencias y patrones, y es totalmente válido (…) Ninguna metodología es concluyente. Los estudios de mercado no son predictivos o concluyentes. Pero sí pretende demostrar tendencias y patrones», dijo a Doble Check.
Barrantes agregó que esta misma metodología fue la que empleó en la campaña de Luis Guillermo Solís cuando fue asesor del Partido Acción Ciudadana en el proceso de elecciones presidenciales.
Dijo también que la afirmación «Ticos no confían en el presidente» es totalmente válida, pues no conoce estudios que no hayan apuntado hacia eso. El analista agregó que el objetivo nunca fue indicar que si las elecciones fueran hoy Fabricio Alvarado sería presidente. «Lo que es un hecho es que dada la tasa de rechazo tan alta del presidente, si esa segunda ronda se repitiera hoy, Fabricio le daría una paliza», dijo.
“El objetivo del estudio no es ser concluyente, sino ser un semáforo. Las bolas de cristal no existen. A la gente le queda muy fácil decir que la muestra es muy pequeña, que el estudio seguro lo está pagando Fabricio, etcétera. Yo sé que hay verdades que incomodan», dijo.
La desgastada imagen del presidente
Sí es comprobable, sin embargo, que la imagen de los costarricenses hacia el presidente Carlos Alvarado está de capa caída.
«Desde que inició el gobierno del presidente Carlos Alvarado en mayo de 2018, la valoración de la ciudadanía sobre dicha gestión ha sido negativa», destaca el Informe de resultados del estudio de opinión sociopolítica del CIEP de la UCR.
La última investigación del Centro destaca que alrededor de un 51% de los costarricenses tiene una valoración negativa de la gestión del Gobierno, frente a un 24% que la considera positiva. La encuesta muestra resultados similares en la valoración de los ticos hacia la figura de Alvarado. En noviembre, las percepciones negativas sobre el rumbo del país llegaron al punto máximo desde el año 2013 (70%).
Al cierre de edición, y a pesar del envío de una consulta, Diario Extra no emitió a Doble Check ningún comentario sobre sus artículos.