10 Secretos para Crear Encuestas de Calidad
Hace algunos años tuvimos un cliente que tenía la misión de realizar una encuesta particularmente larga
en más de 19 países en África. La encuesta tardaba más de seis meses en recopilarse y el cliente estaba frustrado porque a pesar de todos sus esfuerzos la encuesta estaba plagada de errores y la confiabilidad de los resultados era, por lo tanto, baja. Desde entonces tuvimos varios clientes con problemas similares cuando efectúan encuestas y estudios.
Con nuestros clientes Inicialmente
trabajamos para mejorar la calidad de las encuestas en las actividades previas
a la ejecución de una encuesta, incluyendo:
Problema: Sesgo de selección. El sesgo de
selección ocurre cuando se incluyen respuestas que no reflejan la muestra
representativa. Por ejemplo, si pretendemos determinar la opinión de hombres y
mujeres y efectuamos la encuesta en un parque donde los encuestadores solamente
hablan con mujeres porque éstas son más accesibles. Aun cuando tengamos
una muestra suficientemente grande, es posible que las respuestas recolectadas
no reflejen a la población entera si cada miembro de la población no tiene una
probabilidad aleatoria igual de ser incluida en la muestra.
Secreto 1: La selección
de la muestra es mucho más importante que el tamaño de la muestra cuando
quieres producir resultados confiables. Si tienes un público heterogéneo, es
importante incrementar el tamaño de la muestra para que todos los subgrupos
estén representados. Luego de elegir la muestra es posible que necesites
eliminar algunas de las respuestas con alguna lógica para descalificarlas si
éstas no son parte de la población objetivo.
Problema: Sesgo en las preguntas. Las preguntas
dirigidas distorsionan tus resultados y la credibilidad del estudio. Por
ejemplo, la pregunta “Cual de los dos jugadores cree usted que es mejor, el
campeón o el otro”. Éste es un problema común sobre todo cuando diseñar
la encuesta emocionalmente y tienes un interés muy particular en los
resultados.
Secreto 2: Ayuda mucho
que otras personas que no están emocionalmente comprometidas y que sean neutras
revisen la encuesta.
Problema: Respuestas basura. Es posible
que, a pesar de los esfuerzos de los enumeradores (las personas que están en la
calle recolectando encuestas - también conocidos como encuestadores), las
personas encuestadas respondan con basura o con datos aleatorios. A veces
responden a la primera última opción en una pregunta de selección múltiple o
dan siempre la misma respuesta (la primera opción), etc.
Secreto 3: Se puede
diseñar la encuesta asegurando que las opciones múltiples estén en orden
aleatorio (por ejemplo una pregunta tiene 0 - malo, 1 - medio, 2 - bueno y la
próxima 2 - bueno, 0 - malo, 1 - medio), se pueden incluir preguntas de control
como ser “cuál es el primer día de la semana” que sólo puede tener una sola
respuesta, se puede incluir la misma pregunta en dos lugares diferentes del
cuestionario para ver si el encuestado está respondiendo de forma consistente.
A pesar de todos estos cuidados, los
datos que encontrábamos en las encuestas de nuestros clientes dejaban mucho que
desear.
En particular, nos dimos cuenta que
los errores más serios generalmente venían de:
1.
Errores de anotación de datos.
Los enumeradores no tienen cuidado al anotar los datos en los formularios
y causan errores de transcripción. Por ejemplo escriben en el formulario 85 00
y olvidan el decimal y cuando los datos se transcriben este dato resulta ser
8,500. Si la letra del enumerador es pésima se hace más difícil poder recuperar
los datos de forma precisa,
2.
Errores de transcripción. Las
encuestas que ejecutaban eran capturadas en papel y luego transcritas. En la
práctica la transcripción tiene un error de hasta 10% (dependiendo del tipo de
dato a transcribir) y es muy difícil poder eliminar los errores de
transcripción, aun cuando se utilizan controles de calidad como verificaciones
y doble transcripción.
3.
Errores de consistencia interna.
Los cuestionarios capturados tienen datos que no tienen sentido
conceptual, como por ejemplo una persona que dice que es hombre de 40 años, que
en la sección de educación indica que va al colegio y en la sección de salud va
al ginecólogo semanalmente. En un caso típico, para una encuesta a 1600
personas que supuestamente se encontraba ya limpia y pulida encontramos más de
1,100 errores de consistencia.
4.
Errores por llenado rápido o lento. En
algunos casos los enumeradores capturan información tan rápido o tan lento que
hacen sospechar de la calidad de la información. Por ejemplo, encuestadores que
capturan 250 cuestionarios por día o encuestadores que capturan 25 cuando la
media es de 100.
5.
Errores por valores sin sentido. En
muchos casos los enumeradores registran las respuestas de los entrevistados
aunque estas respuestas no tengan ningún sentido. Por ejemplo, si en una
encuesta preguntamos a una persona cuántos hijos tiene y nos responde 3, luego
en una sección de número de hijos que van a la escuela primaria nos responde 5
tenemos un problema. O si preguntamos a una persona el gasto promedio en
celulares y responden 1,500 y este es un número claramente absurdo dado que el
promedio esperado está en 200.
6.
Errores de llenado de preguntas que no
corresponden. En muchos casos los encuestadores preguntan a los
encuestados de secciones que no corresponden. Por ejemplo en un cuestionario
típico preguntamos el sexo de la persona e instruimos al encuestador a saltar a
la pregunta número 15 si el sexo es masculino, pero en la práctica los
encuestadores pueden efectuar las preguntas que deberían saltarse y esto causa
distorsión en nuestra encuesta.
7.
Datos falsos. Los enumeradores a
veces inventan datos y no llegan a realizar las encuestas frente personas
deseadas. A los enumeradores generalmente se les paga por cuestionario llenado
y es tentador para ellos el fabricar datos para lograr el cupo mínimo o para
maximizar el ingreso diario.
La solución tradicional a estos
problemas es la utilización de supervisores de campo que monitorean muy de
cerca a los enumeradores, revisando cada uno de los formularios capturados en
campo y haciendo el seguimiento minucioso a los enumeradores. Esta solución
encarece las encuestas, las hace más lentas y no necesariamente soluciona los
problemas de fondo.
Para realmente solucionar estos
problemas necesitamos utilizar tecnología. Existen sistemas que permiten definir
encuestas inteligentes y capturar la meta data necesaria como para evitar la
mayor parte de estos problemas. Artexacta tiene uno llamado Crystal
Surveys, pero este no es el único que permite resolver estos problemas. En
particular deseamos que el sistema informático que estamos usando permita:
Secreto 4: Capturar las
encuestas en línea o en dispositivos móviles como celulares o tabletas y así
evitar la transcripción de datos.
Secreto 5: Definir reglas
de integridad para los datos a capturar y así evitar introducir basura que
luego hay que limpiar. Por ejemplo que el gasto promedio en celulares esté
entre 0 y 400, y si el valor es más de 400 encuestador tenga que incluir una
declaración de que valor es correcto.
Secreto 6: Definir
reglas de para esconder o deshabilitar las preguntas que no corresponden. Si la
persona encuestada es hombre se esconden todas las preguntas específicas para
mujeres y así se evita capturar datos inconsistentes.
Secreto 7: Capturar el
tiempo exacto que tomó llenar la encuesta y así poder analizar los tiempos de
los cuestionarios para identificar aquellos que fueron llenados muy rápido o
muy lentamente.
Secreto 8: Capturar la
geo referencia exacta del lugar en el cual se encuentra el enumerador y luego
graficarlos en un mapa para poder validar de que los encuestadores no llenaron
los formularios en sus casas o en la oficina.
Secreto 9: En caso de que
la encuesta se capture utilizando dispositivos móviles, grabar el audio de la
encuesta para poder validar que el encuestador realmente entrevistó a la
persona correcta, analizar la interacción entre el encuestador y la persona
encuestada y eliminar aquellos cuestionarios que no muestran ningún sonido o
donde el enumerador está claramente dirigiendo las preguntas.
Secreto 10: El uso de un
sistema informático bueno que permita todas estas validaciones, en combinación
con las técnicas de mejoras listadas anteriormente harán que su encuesta tenga
una calidad mucho más alta. Una de las herramientas posibles, pero no la
única, es Crystal Surveys.
Comentarios
Publicar un comentario