Las características esenciales de la información para apoyar la toma de decisiones deben ser su relevancia, oportunidad, confiabilidad y exactitud.
La relevancia se refiere al grado con el cual la información es capaz de disminuir la incertidumbre que el tomador de decisión tiene con respecto al posible resultado de elegir una u otra alternativa de acción.
La información debe ayudar a predecir algo que va a suceder, anticipar el resultado de una decisión. Este requisito lleva a buscar información acerca de las variables (causas) que inciden sobre el resultado (efecto). Si no hay esa relación, la información es irrelevante.
La oportunidad se refiere al momento en que en la información debe estar disponible; es decir, antes de tomar una decisión. Esta característica, que tal vez parezca demasiado obvia, tiene más que ver con el momento en que se presenta la necesidad de la información que con el momento en que hay que entregarla.
Es decir, hay que estar informado antes de tomar una decisión, pero la anticipación con la que se establece cuál es la información relevante para apoyarla es lo que lleva a una mayor o menor presión por obtenerla. La diferencia en tiempo incide en forma directa sobre la calidad y el costo de la información. En ocasiones, habrá que tomar la decisión sin información.
Tomar una decisión es similar a hacer una apuesta. Para predecir el resultado de una pelea de box, el apostador trata de disminuir su incertidumbre con información relevante, disponible antes de la pelea. Por ejemplo, el peso de los contendientes, su altura y alcance, así como los resultados de sus peleas anteriores. De nada sirve conocer datos como el nombre de sus hermanos o la marca de jabón que acostumbran; simplemente, no reducen la incertidumbre del resultado de la pelea.
La información tiene valor en la medida en que disminuye la incertidumbre. También, en relación directa, aunque no proporcional, aumenta el costo de obtenerla. En términos muy prácticos, uno podría utilizar una moneda para lanzarla al aire y elegir un boxeador para apostar a su favor. Alternativamente, podría utilizar la moneda para comprar un diario y enterarse de algunos pormenores en la sección deportiva.
Esto significa que pueden tomarse decisiones con o sin información, especialmente en aquellos casos en los que la información no va a modificar la postura previa del tomador de decisiones.
Si la información no tiene posibilidades de modificar la decisión, no vale la pena obtenerla. Tampoco vale la pena el esfuerzo cuando el costo es demasiado alto o cuando reduce incertidumbre en un grado tal que no ayuda a predecir con la suficiente certeza el resultado esperado de la decisión.
En el caso de la Investigación de Mercados, normalmente el costo de la información es mucho menor que el valor agregado a la toma de decisión. Es mejor tomar decisiones con información, aún y cuando ésta no sea información perfecta.
La exactitud y confiabilidad llevan a que la información sea precisa y veraz, lo cual la hace creíble. Ambas características están relacionadas principalmente con la determinación de las fuentes y con la manera en que la información se obtiene de ellas.
En el caso de un estudio entre personas, tienen que ver con el proceso de selección de quienes pasan a formar parte de la muestra y con el diseño de una herramienta para obtener información por parte de ellos.
La determinación del tamaño de la muestra y el proceso de selección de la misma son los únicos dos aspectos del proceso de investigación de mercados para los cuales es posible cuantificar errores. Para los demás aspectos solamente pueden establecerse procedimientos y estándares que, si se siguen, disminuyen la posibilidad de que los errores sucedan.
Un excelente ejemplo de la manera para reducir errores en la Investigación de Mercados lo constituye el Estándar de Servicio para Investigación de Mercados en México (ESIMM) establecido desde el año 2000 por la Asociación Mexicana de Agencias de Investigación de Mercados (AMAI).
El estándar define los elementos básicos de calidad que deben poseer las compañías de investigación de mercados e implanta procedimientos documentados que aseguren que la calidad sea repetible y resulten en la satisfacción de los clientes. Este esfuerzo importantísimo, primero en el mundo, por profesionalizar la actividad y auto regularse, ayuda mucho a elevar la credibilidad de los resultados de los estudios.
Su implantación se traduce principalmente en mayor confiabilidad y exactitud, aunque no tanto a una mayor relevancia y oportunidad. Estas dos características no resultan exclusivamente de la aportación de la agencia que realiza el estudio, ya que requieren en un altísimo grado la participación del cliente que lo solicita.
La relevancia de la información y la oportunidad para obtenerla dependen principalmente del usuario que la solicita y por ello, el elemento más importante para asegurar que ambas características se logren es la adecuada formulación de una Solicitud de Estudio por parte del usuario y una Propuesta de Estudio por parte del proveedor de información.
Tanto la calidad de la información, como la calidad de la relación entre cliente y agencia dependen del trabajo colaborativo de ambos al inicio del estudio de mercado.
No hay fórmulas mágicas, mucho menos procedimientos estandarizados, sólo trabajo arduo. Si el cliente quiere obtener mayor valor de la agencia o departamento de investigación, o si la agencia quiere darles más calidad a sus clientes, deben colaborar intensamente al inicio del proyecto. Es más trabajo, claro. Pero el valor agregado es sorprendente.
Otro aspecto valioso del proceso de de investigación que mejora la relevancia de la información para la toma de decisiones está en el análisis e interpretación de los resultados del estudio. Más allá de la elaboración de reportes que comuniquen hallazgos, se requiere no solo del manejo adecuado de técnicas estadísticas apropiadas, cuyo uso debe ser previsto desde el inicio del proyecto, sino también de un agudo punto de vista capaz de encontrar el verdadero significado que esos hallazgos representan para la decisión que se desea tomar.
El ESIMM propicia la exactitud y la confiabilidad de la información proveniente de los estudios de mercado, pero se requiere de un esfuerzo distinto al de sus procedimientos para dotarla de relevancia y oportunidad.
Si el cliente quiere obtener mayor valor de su agencia o departamento de investigación de mercados y si la agencia quiere darles más calidad a sus clientes, ambos deben colaborar intensamente al inicio de un estudio.
El mejor punto de partida es una buena ‘solicitud de estudio’ por parte del cliente que de lugar a una mejor ‘propuesta de estudio’ por parte de la agencia. Y no olvidar que la negociación de precio debe estar equilibrada con la negociación de tiempo, ya que estos dos factores inciden muchísimo sobre la calidad de la información.
El ESIMM (Estándar de Servicio para Investigación de Mercados en México) establecido desde el año 2000 por la Asociación Mexicana de Agencias de Investigación de Mercados (AMAI) significa un esfuerzo para estandarizar los estudios realizados por las agencias.
Sin embargo, esa iniciativa se orienta más a la Satisfacción del Cliente de Investigación que a la calidad de los estudios y además deja de lado los requisitos de calidad que la propia Agencia debe imponerle al Cliente.
Efectivamente, existen requisitos de calidad que el proveedor debe exigir a su cliente. Los dos más importantes tienen que ver con que el cliente haga entrega de información completa y de un pago oportuno y justo.
La colaboración inicial entre Cliente y Agencia lleva a que el estudio obtenga información verdaderamente relevante y a que éste se realice en el tiempo necesario y al precio justo. Esta es la verdadera utilidad de usar herramientas como la solicitud y la propuesta de estudio.
Así, también se subsanan las posibles diferencias entre los requisitos de satisfacción del cliente y la solidez metodológica del estudio. Lo mismo que se subsanan las posibles diferencias entre lo que la agencia considera debe ser la información que el cliente necesita y la que éste considera verdaderamente relevante para su decisión.
En otras palabras, puesto que ni el cliente es necesariamente un experto en investigación de mercados, ni la agencia necesariamente un experto en toma de decisiones empresariales, ambos deben colaborar intensamente al inicio del proyecto.
La colaboración puede extenderse más allá de lo que se refiere al diseño del proyecto, ya que en ocasiones hay que tomar decisiones conjuntas acerca de la muestra, la herramienta de medición, los análisis y la presentación de resultados.
Procedimentalmente, el ESIMM prevé esa posibilidad y establece el requisito de documentar con evidencia tales decisiones y su autorización por cualquiera de las dos partes, cliente o agencia. Curiosamente, esta práctica ha sido la normalmente aceptada en las relaciones entre cliente y agencia de publicidad, no así entre las agencias de investigación de mercados.
Durante la aplicación estricta del ESIMM debe tenerse cuidado con el riesgo de la burocratización que inhibe la creatividad, así como con el riesgo de sujetarse más a los requisitos de satisfacción del cliente que de la solidez metodológica y académica de la investigación de mercados.
La relevancia y la oportunidad de la información del estudio aumentan considerablemente gracias a la participación colaborativa del cliente y la agencia al inicio del estudio.
Por otro lado, la confiabilidad y la exactitud de la información pueden verse afectadas por errores que se cometen durante el estudio y que están principalmente relacionados con el diseño de cuestionarios, con el procedimiento de muestreo y con el análisis de resultados y su interpretación.
En un estudio cuantitativo, un buen diseño de cuestionario es más el resultado de la aplicación del sentido común que de cualquiera otra técnica. El único procedimiento comprobado para disminuir errores es el de probar dicho cuestionario con personas del mismo perfil que aquellas que compondrán la muestra.
Previo a ello, lo que se requiere es un íntimo contacto con personas de ese mismo perfil, para conocer el lenguaje que utilizan, la forma en que se expresan y, todavía más importante que eso, las respuestas que dan a las preguntas que se les plantean.
Muchos errores que pueden suceder alrededor del cuestionario son previsibles y en consecuencia, evitables mediante un buen control procedimental. El único error inevitable es el que resulta de aquellas personas que rehúsan responder a la encuesta. Aún más, es un error inestimable, puesto que nunca podrá saberse lo que estas personas hubiesen respondido.
El procedimiento de muestreo es, en el mejor de los casos, sospechoso y por lo tanto, sujeto a infinidad de críticas. Esto sucede tanto entre legos como entre expertos, ya que estos últimos en ocasiones carecen de los fundamentos correctos.
Las dudas típicamente tienen que ver con la determinación del tamaño de la muestra, siendo que en realidad los errores en la práctica provienen principalmente del método de selección de los entrevistados.
El tamaño de muestra, en la mayoría de los estudios que requieren de un muestreo probabilístico, normalmente es mayor que el mínimo necesario para hacer inferencias sobre las características de la población bajo estudio. Esto es el resultado de la necesidad de incluir cuotas de entrevistados de un tamaño tal que permitan realizar análisis de información cruzada más adelante.
Los verdaderos errores de muestreo ocurren cuando no existe un procedimiento objetivo y sistemático para seleccionar a cuáles entrevistados incluir. El deseo de mantener bajos los costos del estudio llevan al uso de procedimientos de selección de entrevistados por conveniencia, en ausencia de un marco muestral.
Que el muestreo no sea probabilístico significa únicamente que los resultados del estudio no pueden ser extrapolados de la muestra a la población. La información puede ser relevante y oportuna y como tal, suficiente para tomar una decisión. Sin embargo, es imposible precisar su confiabilidad y exactitud.
Por último, en el análisis de resultados y su interpretación suceden errores que se desprenden del manejo de la información obtenida en el estudio, tanto de forma como de fondo. Esto es, en ocasiones el manejo numérico, estadístico, de la información es inadecuado, mientras que en otras la interpretación de los resultados provoca el error y lleva a conclusiones que no son las que proceden.
La determinación del tamaño de la muestra y el proceso de selección de la misma son los únicos dos aspectos del proceso de investigación de mercados para los cuales es posible cuantificar errores. Dicha cuantificación se extiende al análisis de resultados de un estudio descriptivo.
La exactitud y la confiabilidad de la información que se obtiene de un estudio descriptivo dependen principalmente del procedimiento de muestreo, que incluye tanto la determinación del tamaño de la muestra como el método de selección de los entrevistados.
Empíricamente, el procedimiento de muestreo se basa en la intuición de que es válido sacar conclusiones generales acerca de todos los elementos de un grupo, basándose en el conocimiento de solo una parte de los elementos de esa población.
En la vida diaria, es una práctica que se extiende a muchos ámbitos ya que generalizamos juicios sobre personas, productos, servicios, condiciones climáticas e infinidad de situaciones, sobre la base de muestras tan pequeñas como un breve vistazo a la concurrencia de un centro nocturno (está de muy ambiente) o la observación de un único evento (la comida aquí está muy sabrosa).
Teóricamente, el muestreo se basa en la inducción y somete esas conjeturas a una evaluación probabilística para así poder determinar su grado de aproximación a la realidad. Es decir, permite conocer o estimar el tamaño de un error derivado del procedimiento del muestreo.
Supongamos los siguientes números de Horas de Conexión a internet para una población de 5 familias:
F1 | F2 | F3 | F4 | F5 |
6 | 5 | 7 | 6 | 9 |
El Promedio de Horas de Conexión es 6.60, con una Desviación Estándar de 1.52, que es una medida de su variabilidad. En otras palabras, es cierto que la población se conecta en promedio un poco más de seis horas y media, aunque ese promedio varía en alrededor de hora y media para cada familia.
Aunque en la práctica se trabaja con solo una muestra, si se consideran todas las muestras posibles de tamaño 2, es posible ver que cada una de las 9 muestras posibles permitiría estimar un número promedio de horas de conexión distinto, por lo que la estimación dependerá de cuál de las muestras sea seleccionada:
F1 |
F2 |
F1 |
F3 |
F1 |
F4 |
F1 |
F5 |
F2 |
F3 |
F2 |
F4 |
F2 |
F5 |
F3 |
F4 |
F3 |
F5 |
5.5 |
6.5 |
6.0 |
7.5 |
6.0 |
5.5 |
7.0 |
6.5 |
8.0 |
Se puede confiar en el procedimiento de muestreo gracias a que el promedio de todas las muestras posibles es también 6.60.
Un error derivado del muestreo proviene de la selección de la muestra, ya que como se ve en el ejemplo anterior, la estimación de un promedio de Horas de Conexión depende de cuáles elementos pasen a formar parte de la muestra.
La Desviación Estándar de todas estas posibles muestras de tamaño 2, llamada ahora error estándar, es 0.88 Horas de Conexión y se puede interpretar, por ejemplo, como que el 66% de las muestras posibles muestran como promedio un número de horas entre 5.72 y 7.48, es decir, dentro un intervalo más o menos un error estándar.
En otras palabras, 6 de las 9 muestras posibles están dentro de un intervalo equivalente a un Error Estándar alrededor de la media verdadera.
Así, tenemos que la confiabilidad del muestreo se puede expresar en términos de la probabilidad que una muestra cualquiera obtenga un resultado dentro de un intervalo específico.
A medida que el tamaño de muestra aumenta, cada muestra representa mejor a la población, al extremo de que, en este ejemplo, si la muestra fuese de tamaño 4, el promedio estimado sería de 6.5 Horas de Conexión en el caso de tomar la muestra formada por F1, F2, F3 y F5. Y el intervalo de estimación de todas las muestras posibles sería considerablemente menor.
El tamaño de muestra está principalmente relacionado con la variabilidad de la característica de esa población que se desea estudiar.
Así, una población de tamaño infinito podría estar perfectamente representada por una muestra muy reducida, siempre que sus características sean homogéneas.
Valga el ejemplo de la alberca, en la que, para conocer la temperatura del agua, una persona mete tan solo la punta del pie, tan solo en la orilla. Tomada esta minúscula muestra, queda en posibilidad de tomar una decisión respecto a la totalidad de la alberca. De hecho, si la temperatura del agua le parece agradable, posiblemente invite al resto de la concurrencia a introducirse por completo, no solo la punta del pie y no solo en la orilla.
Así pues, los dos componentes relevantes para la determinación del tamaño de muestra son la confiabilidad de que la muestra represente a la población (expresada en unidades de error estándar) y la precisión con la que se desee hacer una estimación.
El tamaño de la población bajo estudio nada tiene que ver con la determinación del tamaño de muestra. Prueba de ello es que la fórmula para determinar el tamaño de muestra NO incluye el tamaño de la población-
Sin embargo, en atención principalmente a requisitos de análisis, se tiende a utilizar tamaños de muestra más grandes que el que se determina teóricamente. Esto es, se desea contar con un número suficiente de observaciones (encuestas) dentro de cada celda de análisis de información que resulte al comparar información entre grupos de respondientes según sus datos de clasificación u otras respuestas obtenidas durante el estudio.
Suceden errores que se desprenden del manejo numérico de la información obtenida en el estudio, tanto de forma como de fondo. Esto es, en ocasiones su interpretación es lo que provoca el error y lleva a conclusiones que no son las que proceden.
En forma muy especial, se cometen errores al presentar para su comparación medias o incidencias de respuestas que grupos distintos de entrevistados dan a una misma pregunta que les ha sido planteada en idénticos términos.
Sin el afán de entrar a una discusión detallada en términos de fórmulas complicadas, es posible establecer algunos conceptos que aclaran lo que está detrás de una comparación estadística.
El método adecuado para comparar las medias de una variable numérica entre dos o más grupos de sujetos, identificados a su vez por los valores de una variable nominal u ordinal, es el Análisis de Varianza.
Implica el cálculo del valor F de Fisher que se define como el resultado de dividir la varianza dentro de las medias de las muestras sobre la varianza entre las medias de la muestra. El valor F, o más bien, su probabilidad de ocurrencia, nos informan si las diferencias entre dos medias son o no son significativas y, por lo tanto, si las medias de los conjuntos de elementos son o no son iguales estadísticamente hablando.
Conceptualmente, es más fácil entenderlo con un ejemplo sencillo. Digamos que las medias de Horas de Conexión a internet en dos grupos de familias de dos diferentes NSE son de 8 y 10 horas a la semana, respectivamente. Esos dos números podrían ser distintos o iguales, estadísticamente hablando.
¿Por qué? Principalmente por la varianza de respuestas dentro de cada grupo. Veamos las siguientes posibilidades hipotéticas.
Caso 1. Si la media del primer grupo de familias viene exclusivamente de 8 Horas de Conexión de cada una de ellas y la media del segundo grupo de familias viene exclusivamente de 10 Horas de Conexión de cada una de ellas, hay una alta probabilidad de que las medias sean distintas entre sí. Las familias del primer grupo se conectan 8 horas, todos y cada uno de ellos, mientras que los segundos 10, también en forma homogénea.
La ausencia de variabilidad dentro de cada grupo de familias lleva a pensar que la media de Horas de Conexión es una medida que representa muy bien (homogéneamente) al grupo. Adicionalmente, al ser diferentes las medias de uno y otro grupo, se piensa que las 8 horas del primer grupo son diferentes de las 10 del segundo.
Caso 2. Si la media igual a 8 del primer grupo viene de respuestas que varían entre, digamos, 3 y 16 horas; y la media igual a 10 viene de un rango de 2 a 18 horas, lo más probable es que estadísticamente ambos números, 8 y 10, deban considerarse iguales.
Es decir, la variabilidad dentro de cada grupo de familias lleva a pensar que sus promedios no sean una medida suficientemente representativa de las familias que lo integran. Así, el número 8 Horas de Conexión promedio puede ser en realidad tan bajo como 3 o tan alto como 16; mientras que el número 10 Horas de Conexión varía prácticamente dentro del mismo rango.
Si los números no representan bien al grupo, una consecuencia es que difícilmente se puede considerar que 8 y 10 Horas de Conexión promedio sean en realidad cifras distintos.
Caso 3. Alternativamente, dos medias aritméticamente idénticas podrían considerarse estadísticamente distintas. En el mismo ejemplo, 8 Horas de Conexión como media en los dos grupos podrían considerarse significativamente distintas si tienen una variabilidad distinta.
Digamos que una de ellas resulta del consumo individual de 7, 8 o 9 horas de cada familia (una distribución muy homogénea de respuestas) y la otra resulta del consumo de entre 2 y 20 refrescos por semana; aunque su media también sea 8, la varianza de respuestas es tan amplia que difícilmente podría decirse que el 8 representa adecuadamente al segundo grupo de familias. Por lo tanto, el primer 8 (homogéneo) es diferente del segundo 8 (heterogéneo).
El valor F se calcula considerando la varianza dentro de cada grupo y la varianza entre los grupos. Lo relevante no es el valor por sí mismo, sino la probabilidad de obtenerlo. De ahí el concepto de significancia estadística.
La probabilidad de obtener un valor de terminado de F en una distribución aleatoria lleva a considerar si dicho valor es lo suficientemente grande como para concluir que no ha sucedido al azar, sino que se deriva de diferencias reales entre los grupos comparados.
Como el valor resultante está también influenciado por las características del procedimiento de muestreo, su probabilidad de ocurrencia se compara con el porcentaje de confiabilidad con el que se determinó el tamaño de la muestra.
Así, para una muestra con Confiabilidad del 95%, un valor de F con relevancia significativa será aquel que ocurra al azar cuando mucho en un 5% de los casos.
Cuando las respuestas a una pregunta no son dadas en términos numéricos, sino en base a respuestas nominales u ordinales, entonces no pueden ni deben calcularse medias, sino que debe manejarse una incidencia de respuesta.
Para evaluar si dos incidencias de respuesta son iguales o diferentes entre dos grupos de entrevistados, se recurre al cálculo del valor de Chi Cuadrada, que es, por definición, la suma de las fracciones que tienen por numerador el cuadrado de las diferencias entre frecuencias observadas y frecuencias esperadas y por denominador la frecuencia esperada.
x2 = E ( Fo – Fe ) 2 Fe
El valor de Chi cuadrada es cero cuando las diferencias entre las frecuencias observadas y esperadas son cero, es decir, concuerdan.
A medida que crece el número y la importancia de las diferencias entre las frecuencias, también irá aumentando el valor de Chi cuadrada, como medida de discrepancia entre unas y otras.
Un valor alto de Chi cuadrada puede ser obtenido al azar (por características relacionadas con el tamaño y la selección de la muestra) o bien, puede ser obtenido porque los dos conjuntos de elementos difieren entre sí. De nuevo, el concepto de relevancia significativa en combinación con el porcentaje Confiabilidad de la Muestra.
Al comparar dos cifras entre sí es muy importante considerar que su diferencia aritmética no es semejante a su diferencia estadística, ya que esta última está determinada por la distribución de su varianza.