10 Secretos para Crear Encuestas de Calidad

                                                                                                                                                                   

Hace algunos años tuvimos un cliente que tenía la misión de realizar una encuesta particularmente larga 
en más de 19 países en África. La encuesta tardaba más de seis meses en recopilarse y el cliente estaba frustrado porque a pesar de todos sus esfuerzos la encuesta estaba plagada de errores y la confiabilidad de los resultados era, por lo tanto, baja.  Desde entonces tuvimos varios clientes con problemas similares cuando efectúan encuestas y estudios.

Con nuestros clientes Inicialmente trabajamos para mejorar la calidad de las encuestas en las actividades previas a la ejecución de una encuesta, incluyendo:

Problema: Sesgo de selección. El sesgo de selección ocurre cuando se incluyen respuestas que no reflejan la muestra representativa. Por ejemplo, si pretendemos determinar la opinión de hombres y mujeres y efectuamos la encuesta en un parque donde los encuestadores solamente hablan con mujeres porque éstas son más accesibles.  Aun cuando tengamos una muestra suficientemente grande, es posible que las respuestas recolectadas no reflejen a la población entera si cada miembro de la población no tiene una probabilidad aleatoria igual de ser incluida en la muestra.

Secreto 1: La selección de la muestra es mucho más importante que el tamaño de la muestra cuando quieres producir resultados confiables. Si tienes un público heterogéneo, es importante incrementar el tamaño de la muestra para que todos los subgrupos estén representados. Luego de elegir la muestra es posible que necesites eliminar algunas de las respuestas con alguna lógica para descalificarlas si éstas no son parte de la población objetivo.

Problema: Sesgo en las preguntas.  Las preguntas dirigidas distorsionan tus resultados y la credibilidad del estudio. Por ejemplo, la pregunta “Cual de los dos jugadores cree usted que es mejor, el campeón o el otro”.  Éste es un problema común sobre todo cuando diseñar la encuesta emocionalmente y tienes un interés muy particular en los resultados.

Secreto 2: Ayuda mucho que otras personas que no están emocionalmente comprometidas y que sean neutras revisen la encuesta.

Problema: Respuestas basura. Es posible que, a pesar de los esfuerzos de los enumeradores (las personas que están en la calle recolectando encuestas - también conocidos como encuestadores), las personas encuestadas respondan con basura o con datos aleatorios. A veces responden a la primera última opción en una pregunta de selección múltiple o dan siempre la misma respuesta (la primera opción), etc.

Secreto 3: Se puede diseñar la encuesta asegurando que las opciones múltiples estén en orden aleatorio (por ejemplo una pregunta tiene 0 - malo, 1 - medio, 2 - bueno y la próxima 2 - bueno, 0 - malo, 1 - medio), se pueden incluir preguntas de control como ser “cuál es el primer día de la semana” que sólo puede tener una sola respuesta, se puede incluir la misma pregunta en dos lugares diferentes del cuestionario para ver si el encuestado está respondiendo de forma consistente.

A pesar de todos estos cuidados, los datos que encontrábamos en las encuestas de nuestros clientes dejaban mucho que desear.

En particular, nos dimos cuenta que los errores más serios generalmente venían de:

1.    Errores de anotación de datos.  Los enumeradores no tienen cuidado al anotar los datos en los formularios y causan errores de transcripción. Por ejemplo escriben en el formulario 85 00 y olvidan el decimal y cuando los datos se transcriben este dato resulta ser 8,500. Si la letra del enumerador es pésima se hace más difícil poder recuperar los datos de forma precisa,

2.    Errores de transcripción.  Las encuestas que ejecutaban eran capturadas en papel y luego transcritas. En la práctica la transcripción tiene un error de hasta 10% (dependiendo del tipo de dato a transcribir) y es muy difícil poder eliminar los errores de transcripción, aun cuando se utilizan controles de calidad como verificaciones y doble transcripción.

3.    Errores de consistencia interna.  Los cuestionarios capturados tienen datos que no tienen sentido conceptual, como por ejemplo una persona que dice que es hombre de 40 años, que en la sección de educación indica que va al colegio y en la sección de salud va al ginecólogo semanalmente. En un caso típico, para una encuesta a 1600 personas que supuestamente se encontraba ya limpia y pulida encontramos más de 1,100 errores de consistencia.

4.    Errores por llenado rápido o lento. En algunos casos los enumeradores capturan información tan rápido o tan lento que hacen sospechar de la calidad de la información. Por ejemplo, encuestadores que capturan 250 cuestionarios por día o encuestadores que capturan 25 cuando la media es de 100.

5.    Errores por valores sin sentido. En muchos casos los enumeradores registran las respuestas de los entrevistados aunque estas respuestas no tengan ningún sentido. Por ejemplo, si en una encuesta preguntamos a una persona cuántos hijos tiene y nos responde 3, luego en una sección de número de hijos que van a la escuela primaria nos responde 5 tenemos un problema. O si preguntamos a una persona el gasto promedio en celulares y responden 1,500 y este es un número claramente absurdo dado que el promedio esperado está en 200.

6.    Errores de llenado de preguntas que no corresponden.  En muchos casos los encuestadores preguntan a los encuestados de secciones que no corresponden. Por ejemplo en un cuestionario típico preguntamos el sexo de la persona e instruimos al encuestador a saltar a la pregunta número 15 si el sexo es masculino, pero en la práctica los encuestadores pueden efectuar las preguntas que deberían saltarse y esto causa distorsión en nuestra encuesta.

7.    Datos falsos.  Los enumeradores a veces inventan datos y no llegan a realizar las encuestas frente personas deseadas. A los enumeradores generalmente se les paga por cuestionario llenado y es tentador para ellos el fabricar datos para lograr el cupo mínimo o para maximizar el ingreso diario.

   

La solución tradicional a estos problemas es la utilización de supervisores de campo que monitorean muy de cerca a los enumeradores, revisando cada uno de los formularios capturados en campo y haciendo el seguimiento minucioso a los enumeradores. Esta solución encarece las encuestas, las hace más lentas y no necesariamente soluciona los problemas de fondo.

Para realmente solucionar estos problemas necesitamos utilizar tecnología. Existen sistemas que permiten definir encuestas inteligentes y capturar la meta data necesaria como para evitar la mayor parte de estos problemas. Artexacta tiene uno llamado Crystal Surveys, pero este no es el único que permite resolver estos problemas. En particular deseamos que el sistema informático que estamos usando permita:

Secreto 4: Capturar las encuestas en línea o en dispositivos móviles como celulares o tabletas y así evitar la transcripción de datos.

Secreto 5: Definir reglas de integridad para los datos a capturar y así evitar introducir basura que luego hay que limpiar. Por ejemplo que el gasto promedio en celulares esté entre 0 y 400, y si el valor es más de 400 encuestador tenga que incluir una declaración de que valor es correcto.

Secreto 6: Definir reglas de para esconder o deshabilitar las preguntas que no corresponden. Si la persona encuestada es hombre se esconden todas las preguntas específicas para mujeres y así se evita capturar datos inconsistentes.

Secreto 7: Capturar el tiempo exacto que tomó llenar la encuesta y así poder analizar los tiempos de los cuestionarios para identificar aquellos que fueron llenados muy rápido o muy lentamente.

Secreto 8: Capturar la geo referencia exacta del lugar en el cual se encuentra el enumerador y luego graficarlos en un mapa para poder validar de que los encuestadores no llenaron los formularios en sus casas o en la oficina.

Secreto 9: En caso de que la encuesta se capture utilizando dispositivos móviles, grabar el audio de la encuesta para poder validar que el encuestador realmente entrevistó a la persona correcta, analizar la interacción entre el encuestador y la persona encuestada y eliminar aquellos cuestionarios que no muestran ningún sonido o donde el enumerador está claramente dirigiendo las preguntas.

Secreto 10: El uso de un sistema informático bueno que permita todas estas validaciones, en combinación con las técnicas de mejoras listadas anteriormente harán que su encuesta tenga una calidad mucho más alta.  Una de las herramientas posibles, pero no la única, es Crystal Surveys.