La creciente demanda
de eficacia en la atención al público se basa fundamentalmente en que se
ha tomado conciencia que no es suficiente producir “productos”. Los
proyectos eficientes o bien administrados y sus productos perderían su
relevancia si no se lograra una mejora en los procesos y en definitiva,
en la atención del público.
Por esta razón, el Aréa de Promoción se centra cada vez más en
resultados y en la mejor manera de contribuir para lograrlos.
Para apoyar este cambio de orientación estratégico hacia el logro de
resultados, se requiere un marco de seguimiento y evaluación más sólido
y coherente, que promueva el aprendizaje y la medición del
desempeño. Este marco debe ser suficientemente simple y de uso accesible
para todo el personal para permitir que sea utilizado de modo flexible a
fin de mejorar la eficacia de esta área. El marco de seguimiento y
evaluación que se describe en esta propuesta se orienta, por
consiguiente, hacia tres objetivos igualmente importantes:
1. Alinear el sistema de seguimiento y de evaluación con la gestión
basada en resultados.
2. Fomentar el conocimiento y el aprendizaje de evaluaciones de
resultados.
3. Tratar de simplificar las políticas y procedimientos.
Varios elementos de este marco requieren un cambio de mentalidad y de
enfoque por parte del personal, al enfatizar el planeamiento coherente y
a largo plazo en torno a resultados, la construcción de alianzas para el
cambio en los procesos de desarrollo y el fomento del conocimiento y el
uso de la evidencia proporcionada por evaluaciones.
Por consiguiente, será necesaria cierta retroalimentación. Aunque
confiamos plenamente en aprender de este nuevo marco y actualizarlo a
medida que evoluciona, es importante subrayar que su introducción
representa un importante paso para esta Área de Promoción. Los
instrumentos y políticas que aquí se describen tienen por finalidad
promover el uso de la evidencia proporcionada por evaluaciones de modo
que las decisiones de gestión y la futura programación incorporen las
lecciones aprendidas.
Más aún, se han diseñado para ayudar a la mejor atención del público
para hacer frente al desafío de elegir los resultados pertinentes,
verificar la exactitud de nuestros procesos actuales y demostrar cómo y
por qué ocurre el cambio donde más importa, es decir, en la mejora de la
eficiencia, eficacia y calidad hacia el público.
Entre los objetivos de esta propuesta están:
· Reforzar la función de seguimiento y evaluación orientada a resultados
y la capacidad acorde con el Área de Promoción, a fin de mejorar las
políticas y programas, el aprendizaje colectivo, la responsabilidad, la
organización y disciplina.
· Introducir enfoques e instrumentos simplificados, ágiles y flexibles para efectuar el seguimiento de logros de efectos, que son consistentes con la iniciativa de mejora continua de la organización y que se basan en la experiencia del área y sus empleados.
· Presentar métodos que vinculan los productos de los proyectos, programas, políticas, alianzas y asistencia con el logro de efectos, en el contexto del Marco de Resultados Estratégicos (MRE).
· Explicar las nuevas innovaciones y metodologías de seguimiento y
evaluación
orientadas hacia resultados.
· Proporcionar orientación práctica a las oficinas de campo en el
seguimiento y
el análisis del desempeño.
· Mejorar el aprendizaje colectivo en materia de atención y seguimiento.
· Asegurar la toma de decisiones con base en la información obtenida.
· Apoyar la responsabilidad de cada una de las personas involucradas en
el área.
· Fortalecer la capacidad en cada una de estas áreas y en las funciones
de seguimiento y evaluación en general.
El seguimiento y la evaluación ayudan a mejorar el desempeño y a
conseguir resultados. Dicho de manera más precisa, el objetivo general
del seguimiento y la evaluación es la medición y análisis del desempeño,
a fin de gestionar con más eficacia los efectos y productos que son los
resultados en materia de desempeño.
El desempeño se define como el progreso hacia el logro de resultados.
Como parte del énfasis que se pone en los resultados actualmente en el
Área de Promoción, la necesidad de demostrar desempeño impone nuevas
exigencias de seguimiento y evaluación a las áreas de campo (AC) y a las
unidades de los programas.
Tradicionalmente, las funciones de seguimiento y evaluación se centraban
en el análisis de los resultados y los procesos de implementación. En la
actualidad, se pone el acento en analizar las contribuciones de los
distintos factores al logro de un determinado efecto de desarrollo,
incluyendo entre ellos los productos, alianzas, asesoramiento y diálogo
de políticas, promoción y mediación/coordinación.
El seguimiento y la evaluación ayudan al personal involucrado a:
Estos objetivos están vinculados en un proceso continuo, como se ve en la gráfica anterior. Extraer enseñanzas del pasado contribuye a tomar decisiones más informadas.
Las decisiones más acertadas resultan en un grado mayor de
responsabilidad entre los involucrados. Las decisiones correctas también
mejoran el desempeño, propiciando que las actividades del Área de
Promoción puedan modificarse continuamente.
Una asociación estrecha con los principales involucrados a lo largo del
proceso también promueve la creación de conocimiento y aprendizaje
compartidos, contribuye a la transferencia de destrezas y desarrolla la
capacidad de las áreas de campo y de los proyectos en planificación,
seguimiento y evaluación.
Este personal también proporciona una valiosa retroalimentación que
puede utilizarse para mejorar el desempeño y el aprendizaje. De esta
manera, las buenas prácticas de seguimiento y evaluación se ven
reforzadas continuamente, efectuando una contribución positiva a la
eficacia general de la cooperación para el desempeño.
Definiciones de seguimiento y evaluación
El seguimiento puede definirse como una función continua cuyo principal
objetivo es proporcionar a los gerentes y a los principales
involucrados, en el contexto de una intervención en curso, indicaciones
tempranas de progreso, o de la falta de progreso, en el logro de
resultados.
La intervención en curso puede ser un proyecto, un programa u otro tipo
de apoyo para lograr un efecto.
La evaluación es un ejercicio selectivo que intenta evaluar de manera
sistemática y objetiva los progresos hacia un efecto y su realización.
La evaluación no es un acontecimiento aislado, sino un ejercicio que
implica análisis de alcance y profundidad diferentes, que se lleva a
cabo en distintos momentos como respuesta a las necesidades cambiantes
de conocimiento y aprendizaje durante el proceso de conseguir un
determinado efecto.
Todas las evaluaciones –incluso las evaluaciones de proyectos que
ponderan su relevancia, el desempeño y otros criterios– necesitan
vincularse con efectos, en contraposición a vincularse sólo con la
implementación o los productos inmediatos.
La presentación de informes constituye una parte integrante del
seguimiento y la evaluación.
El seguimiento y la evaluación intervienen en dos niveles distintos,
aunque estrechamente vinculados.
La retroalimentación es un proceso, en el marco de seguimiento y
evaluación, mediante el cual se divulgan información y conocimientos que
se utilizan para evaluar el progreso general hacia el logro de
resultados o para confirmar el logro de resultados.
La retroalimentación puede consistir en hallazgos, conclusiones,
recomendaciones y lecciones extraídas de la experiencia. Puede
utilizarse para mejorar el desempeño y como base para la toma de
decisiones y para fomentar el aprendizaje en una organización.
Funciones y Responsabilidades en Seguimiento y Evaluación
|
¿QUIÉN?
Actores, funciones y responsabilidades |
¿QUÉ?
Información que se necesita |
¿POR QUÉ?
Para qué
uso |
|
Área de
Promoción
Principales responsabilidades:
·
Colaboración con otras
áreas para determinar el foco de atención y los resultados
buscados en la atención al público.
·
Identificación y gestión de
alianzas estratégicas con otras áreas.
·
Evaluación del desempeño y
calidad del área (progresos hacia los
resultados y sus logros). |
Cambios
necesarios para la mejora, calidad continua; inicio,
seguimiento y cierre en la atención al público.
Progresos, problemas y tendencias en el logro de resultados.
Pautas y
cuestiones en el volumen y la eficacia del uso de los
recursos materiales y humanos. |
Adaptar
la mejora permanente y constante en función del cambio de
las condiciones de atención al público, para esto, forjar
alianzas sólidas con otras áreas para cooperar mutuamente en
sus funciones.
Resolver
los principales obstáculos que dificultan la implementación
de modo que se mejoren las posibilidades de lograr
resultados (efectos).
Vincular
los resultados con los recursos.
Realizar
un seguimiento y evaluación activos y basados en resultados. |
|
Jefe de
promoción de campo
Principales responsabilidades:
·
Cartera de Clientes,
proyectos y programas soportados por resultados eficientes,
contribuyendo a los efectos de mejora continua. |
Progreso
hacia el logro de efectos.
Progreso
de las estrategias de alianzas para efectos.
Tasa y
eficiencia del uso de los recursos, |
Analizar
el progreso hacia los efectos y su logro.
Evaluar
la eficacia de las estrategias de alianzas y adoptar las
medidas necesarias.
Efectuar
el seguimiento de la efectividad de las estrategias de
implementación, identificando los obstáculos que se oponen
al logro de resultados (efectos) y tomar las medidas
pertinentes.
Asegurar
el uso efectivo de recursos, asignándolos para maximizar la
posibilidad de lograr resultados (efectos). |
|
Personal
de área
Principales responsabilidades:
·
Gestión participativa y
activa en la búsqueda de clientes para producir resultados
por encima de los previstos y planeados. |
El
efecto a cuyo logro se encamina el proyecto.
Los
progresos hacia los resultados y su logro.
Problemas y cuestiones vinculadas con la implementación.
Colaboración práctica con los socios a nivel de proyecto y
seguimiento de la contribución de éstos.
Gestión
de los recursos. |
Encuadrar el proyecto en el contexto más amplio.
Tomar
medidas para conseguir metas de servicios.
Asegurar
una colaboración efectiva con los socios.
Establecer vínculos con los beneficiarios.
Asegurar
el uso eficiente de los recursos. |
Un buen seguimiento se centra en resultados y acciones posteriores.
Trata de identificar “lo que va bien” y “lo que no funciona” en términos
de progreso hacia los resultados buscados. Luego lo consigna en
informes, hace recomendaciones y complementa con decisiones y acciones.
El seguimiento también se beneficia del uso de mecanismos
participativos, a fin de asegurar compromiso, sentido de propiedad,
continuación y realimentación sobre desempeño. Esto es indispensable
para el seguimiento de efectos cuando los avances no pueden analizarse
sin tener conocimiento de lo que están haciendo los socios. Los
mecanismos participativos deben incluir a todo el personal involucrado.
Todos los esfuerzos de seguimiento y de evaluación deben tratar, como
mínimo:
· El progreso hacia efectos: Esto implica analizar periódicamente hasta
qué punto los efectos buscados han sido realmente logrados o no.
· Los factores que contribuyen o impiden el logro de un efecto: Esto requiere el seguimiento del contexto del programa y las condiciones en que se den los resultados obtenidos.
· Este seguimiento y evaluación implica analizar si los servicios o consultas están o no siendo producidos según lo planificado y si están o no contribuyendo a los efectos.
· La estrategia de alianzas: Esto requiere analizar el diseño de las
estrategias de alianzas, como también la formación y funcionamiento de
las alianzas. Esto contribuye a asegurar que el personal en un efecto
tengan una apreciación común de los problemas y necesidades y que
compartan una estrategia sincronizada.
Medición del desempeño
Los indicadores forman parte de la medición del desempeño, pero no son
los únicos elementos. Para valorar el desempeño es necesario conocer no
sólo los logros obtenidos; también se requiere tener información sobre
cómo fueron obtenidos, los factores que influyeron de modo positivo o
negativo, si los resultados fueron excepcionalmente buenos o malos,
quiénes fueron los principales responsables, en fin.
Tradicionalmente era fácil medir el desempeño financiero o
administrativo, como por ejemplo, la eficiencia.
Actualmente, la gestión basada en resultados establece las bases para la
responsabilidad sustantiva y la ponderación del desempeño o eficacia.
Los informes anuales de proyecto (IAP), las evaluaciones y el informe
anual orientado a resultados (IAOR) proveen los medios para ponderar el
desempeño a nivel de oficina de campo.
El conocimiento obtenido del seguimiento y la evaluación es el núcleo
del proceso de aprendizaje estructural. El seguimiento y la evaluación
proveen información y datos que, una vez aceptados e incorporados, se
convierten en conocimientos que
promueven el aprendizaje.
Por tanto, el aprendizaje debe integrarse en el ciclo general de
programación a través de un sistema eficaz de retroalimentación. La
información debe difundirse y estar disponible para los posibles
usuarios, a fin de convertirse en conocimiento aplicado.
El aprendizaje complementa la medición del desempeño al conferir a la
evaluación un elemento cualitativo de medición. Incluso si los
indicadores de los resultados no son buenos o claros, se puede aprender
de este proceso y utilizar el conocimiento adquirido para mejorarlo.
El aprendizaje es también una herramienta clave para la gestión y
como tal, la estrategia de aplicación del conocimiento adquirido a
través de la evaluación es un medio importante para avanzar hacia los
efectos. Los efectos constituyen un objetivo más ambicioso y complejo
que la simple provisión de insumos y la generación de productos.
Si nos pidieran una lista de Control para el aprendizaje, tendríamos esa
lista:
· Registrar las experiencias adquiridas y compartirlas.
· Tener una mentalidad abierta.
· Planificar evaluaciones de modo estratégico.
· Hacer participar al personal de modo estratégico.
· Proporcionar información en tiempo real.
· Hacer llegar los conocimientos al personal.
· Aplicar lo que se ha aprendido.
· Supervisar cómo se aplican los nuevos conocimientos.
El éxito de todo lo anterior, depende de todos aprendan de lo que
funcionó o no funcionó, para mejorar el avance hacia resultados y
resultados mejores.
El aprendizaje se ha descrito como un proceso continuo y dinámico de
investigación en el que los elementos claves son la experiencia, el
conocimiento, el acceso y la relevancia.
Requiere una cultura de investigación y estudio, en lugar de la simple
respuesta e informes. Esto se puede conseguir más fácilmente cuando se
da a la gente la oportunidad de observar, comprometerse e inventar o
descubrir estrategias para tratar determinado tipo de problemas o
cuestiones.
El proceso de seguimiento debe comprometerse a mejorar los vínculos
colaterales entre el personal de programas y de proyectos, incluyendo
retroalimentación con fines de aprendizaje. El análisis de los vínculos
existentes o posibles entre programas y proyectos debe ser lo más
crítico, objetivo y detallado posible.
La evaluación es un proceso que requiere establecer una información
común de línea de base para realizar comparaciones. El problema reside
en conocer desde el inicio cada factor pertinente y cómo todos los
factores se afectan entre sí. Sin una retroalimentación confiable y
periódica, el seguimiento y la evaluación no pueden cumplir sus
propósitos. Debe prestarse atención a las experiencias que tengan
potencialmente una aplicación más amplia.
Dentro de las medidas para mejorar la retroalimentación de una
evaluación, tenemos:
· Comprender cómo tiene lugar el proceso de aprendizaje dentro y fuera
de la organización (identificar bloqueos).
· Analizar la forma de mejorar la pertinencia y la oportunidad de la
retroalimentación de la evaluación y asegurar que las mejoras se
implementen.
· Ser explícito en determinar los destinatarios claves de la
retroalimentación de la evaluación y las razones para querer
alcanzarlos.
· Mejorar el conocimiento de los grupos de destinatarios para conocer qué esperan de las evaluaciones, cómo utilizan la información de las mismas y de qué forma los sistemas de retroalimentación pueden mejorar su respuesta a estas expectativas.
· Desarrollar una visión más estratégica de la forma en que los
enfoques de retroalimentación se pueden adaptar a las necesidades de
audiencias diferentes.
· Velar por que la calidad de los productos de la evaluación sean
adecuados, especialmente en cuanto a su concisión, claridad y
presentación.
· Estudiar una diversificación de los enfoques utilizados para
comunicarse con los destinatarios, introduciendo métodos innovadores si
corresponde.
· Mejorar los sitios Web e Intranet dedicados a evaluación,reconociendo
que la facilidad de acceso y de utilización son factores claves.
· Asegurar que se sistematice la plena publicación de los informes de evaluación y que haya procesos adecuados de aprobación y notificación para que los niveles administrativos superiores o socios claves no se vean sorprendidos por resultados controversiales.
· Dedicar más atención a mejorar la participación del personal en las
tareas de evaluación, entre otras la retroalimentación sobre lecciones
aprendidas de evaluaciones y el reconocimiento de que las diferencias
idiomáticas son una limitación importante.
Podemos terminar diciendo que el marco para el seguimiento y la
evaluación presentado en el presente documento desde luego que no es
“inamovible”, sino que se prevé que cada vez evolucione y mejore a
medida que los integrantes del área adquieran experiencia mediante su
uso cotidiano. Algunos elementos requieren un cambio de mentalidad y de
conducta del personal y por lo tanto cabe esperar que el área siga
aprendiendo durante los próximos años.
Bibliografía:
1 UNDP, Simplification Task Force, Simplification Report to the
Executive Team
(Informe de simplificación para el equipo ejecutivo),
http://intra.undp.org/eo
UNDP, Evaluation Office, Impact Assessment of UNDP Country
Interventions,
Methodology for CLIA Phase I (version 2.1) (Evaluación del impacto de
intervenciones en países del PNUD, metodología para CLIA, fase I),
http://intra.undp.org/eo/methodology/methodology.html
UNDP, Alex Rusita, Evalnet, End of mission report (Informe final de
misión) 2001.
UNDP, Netnarumon Sirimonthon, Evalnet, Tripartite meetings (Reuniones
tripartitas),
http://intra.undp.org/eo
UNDP, Siv Tokle, PowerPoint Presentation to the Associate Administrator
(Presentación Powerpoint ante el Administrador Adjunto) 2000.
UNDP, Siv Tokle, IAWG Presentation on RBM and M&E (Presentación del IAWG
sobre GBR y S&E) Ginebra, 2001.
UNDP, Uzbekistan, New Approach to Monitoring in Uzbekistan (Nuevo
enfoque
sobre seguimiento en Uzbekistán) RBEC best practice newsletter no.4,
Nov-Dec
2000, http://intra.undp.org/rbec
U N F PA, Linda Sherry-Cloonan, I AWG Presentation on RBM and M&E
(Presentación del IAWG sobre GBR y S&E) Ginebra, 2001.
World Food Programme, Strategy for 2002-2005 (Estrategia para 2002-2005)
WFP/EB.A/2001/5-B/1.
World Food Programme, Notes on the development of RBM in WFP (Notas
sobre el
desarrollo de la GBR en el PMA) 18 de julio de 2001.
World Bank, Aid and Reform in Africa, A World Bank Study (Ayuda y
reforma en
África) diciembre de 1999.
