Evaluación de los servicios

Autor: Katia Caraballoso Granado y Aded Esquivel Duque

SERVICIO AL CLIENTE

02-2006

Los usuarios son el punto fundamental para el diseño de todo servicio. Los cambios constantes del entorno influyen en sus necesidades, imponiendo nuevas formas de brindarle información, diseñando servicios que estén acorde con las mismas.

Una vez diseñado e implementado el servicio se procede a una evaluación continua, con el fin de detectar deficiencias y brindarles un servicio acorde con sus necesidades informativas establecidas previamente.

Estas evaluaciones pueden ser sumativas y al final del proceso formativas, de forma tal que haya una continuidad del proceso evaluativo y a su vez se puedan detectar las fallas, y sobre la marcha corregirlas con vistas a que el servicio o sistema alcance el nivel deseado tanto por los usuarios como por los especialistas.

Objetivo General:

ü Proponer la evaluación del servicio de Base de Datos (BD) en la biblioteca “Pablo de la Torriente Brau” de la Facultad de Comunicación.

Objetivos específicos:

ü Analizar aspectos teórico - conceptuales relacionados con la evaluación.
ü Diseñar el servicio de BD.
ü Proponer una serie de indicadores que permitan evaluar el servicio de BD.

II.- ASPECTOS TEÓRICO - CONCEPTUALES

Para poder llevar a cabo el proceso de evaluación es preciso tener en cuenta algunos aspectos teóricos relacionados con la evaluación de los servicios, que a su vez servirán para tener conocimiento de la realización propia de este servicio.

A continuación se presentan una serie de definiciones relacionadas con la evaluación planteadas por algunos autores expertos en la materia.

Según Lancaster “la evaluación debe ser (…) dirigida principalmente a la identificación de puntos o limitaciones en un sistema existente y la formulación de mecanismos para incrementar su rendimiento.

Es una comparación entre los objetivos que se habría propuesto la institución objeto de estudio y la ejecución llevada a cabo, de manera tal que se pueda determinar si se ha producido alguna variación en la ejecución, y si esto ha ocurrido, si ha sido en una dirección deseada y hasta qué punto se ha comportado así (…)”.[1]

Vickery, por su parte, considera que “evaluar significa estudiar cómo el funcionamiento o conducta de un sistema o subsistema se corresponde con el comportamiento que se estableció..., esta puede revelar que componente (entrada o proceso) ejecuta la función que debe desarrollar dentro del sistema.”

Mientras que Atherton plantea que la evaluación “debe basarse en parámetros tales como la adecuación y la evaluación de las colecciones;

 la consistencia y la confiabilidad de los procedimientos de entrada, la adecuación de los medios de almacenamiento; la calidad y la medición del grado de satisfacción de los usuarios.”

Para evaluar los sistemas como un todo, desde las entradas hasta las salidas, incluyendo uso y resultados, es necesario tener en cuenta los niveles de la evaluación.

1) Eficacia: Tiene que ver con el comportamiento del sistema, sus objetivos, misión y visión. Cumplimiento de las metas propuestas en el sistema. También se estudian las expectativas del usuario y sus necesidades.

2) Eficiencia: tiene que ver con la relación existente entre las entradas y las salidas. Apunta hacia el aprovechamiento de los recursos y por ende a los costos.

3) Costo- beneficio: Relaciona también los recursos invertidos pero ahora en relación con los beneficios que aportan las salidas del sistema. El beneficio está dirigido, sin desviación posible, al uso de los productos y servicios, y por
consiguiente al usuario.

4) Impacto: resultado después del uso. Acción de un factor sobre otro. Cambios que se producen de forma global a partir de la aplicación de determinados factores.

Para la evaluación de los servicios de información es necesario el empleo de modelos o metodologías, los cuales aseguran una mayor orientación en el momento de implantar dicho proceso. La metodología escogida para la evaluación de este servicio será la planteada por F. Lancaster y son las siguientes:

1. Definición del alcance de la evaluación: en este caso el objeto a evaluar es el servicio de BD de la biblioteca Pablo de la Torriente Brau de la Facultad de Comunicación y se obtendrá la visión completa de este servicio, para ello se usará como base los elementos previstos en el diseño del mismo y que describen además su funcionamiento.

2. Diseño del programa de evaluación: siendo la evaluación uno de los aspectos contemplados dentro de las funciones de la gestión, esta debe realizarse como una de las tareas propias de la institución.

En este paso se seleccionan los elementos que se tomarán de referencia como los indicadores, parámetros y sus técnicas de evaluación, los cuales se reflejarán más adelante. Además se establecerán los tiempos límites para llevar a cabo la evaluación.

3. Ejecución de la evaluación: esta es la puesta en práctica de la evaluación, se aplicarán las técnicas de evaluación a los especialistas y a los usuarios potenciales y reales de la biblioteca para obtener la mayor cantidad de información y que esta a su vez sea precisa y certera, lo cual le dará mayor calidad al proceso de evaluación.

4. Análisis e interpretación de los datos o resultados obtenidos: los resultados obtenidos ofrecerán un diagnóstico de lo evaluado con el fin de determinar las variaciones en cuanto al funcionamiento de este servicio, por lo cual el análisis e interpretación deberá ser con el mayor rigor posible.

5. Modificación del sistema o servicio sobre la base de los resultados: se procederá, siguiendo las estrategias trazadas a partir de la toma de decisiones, a modificar el servicio tras haber detectado fallas en el mismo.

III.- DISEÑO DEL SERVICIO DE BASE DE DATOS

Aspectos a tener en cuenta para diseñar un servicio de información[2]:
Ø Objetivos del servicio
Ø Tareas a realizar
Ø Cronograma para el tiempo necesario para la ejecución y conclusión del diseño
Ø Procedimiento de trabajo
Ø Capital humano con calificación, experiencia
Ø Locales que cumplan con las características adecuadas para el servicio
Ø Cliente/usuario

Modelo para el diseño de servicios según Setién[3]

1. ¿Qué? Contendría las tareas a desarrollar; contenido de servicios que se brinda. Características.
2. ¿Por qué? Su respuesta seria los resultados que se espera.
3. ¿Cuándo? Equivaldría al tiempo empleado para los procedimientos. Duración de los ciclos de respuesta y ejecución del servicio.
4. ¿Cómo? Se refiere a los procedimientos para el cliente solicitar el servicio.
5. ¿Con qué? Relación de medios a utilizar: equipos, utensilios, mobiliarios, recursos financieros, etc.
6. ¿Quién? Personal equilibrado.
7. ¿Dónde? Lugar para brindar el servicio. Su localización.
 
1. Objetivos del servicio:

General

Ø Satisfacer las necesidades informativas de los usuarios a través de la búsqueda y recuperación e textos automatizados.

Específicos

Ø Brindar información a texto completo y bibliográfico a estudiantes y profesores de la Facultad de Comunicación, en el menor tiempo posible.
Ø Contribuir a la automatización del resto del fondo pasivo de la biblioteca de la Facultad de Comunicación.
Ø Servir de apoyo a la superación profesional de los estudiantes y profesores de la Facultad de Comunicación.
Ø Ahorrar el tiempo en los procesos técnicos que llevan a cabo los bibliotecarios y por ende en la automatización de la base de datos.

Metas:

Lograr que:

Ø La recuperación de los documentos se realice en el menor tiempo posible.
Ø La localización de las solicitudes de los documentos se satisfagan con la mejor precisión posible.
Ø La mayor parte del fondo sea consultado por los usuarios.
Ø Los objetivos del servicio se cumplan a cabalidad para lograr con ella la satisfacción plena del usuario.

2. Tareas a realizar:

Características: este servicio es de base de datos a texto completo y bibliográfico donde la información que se recuperará estará vinculada a las tesis y artículos de revista. Este servicio facilita información sobre los documentos (ubicación en el fondo) y el uso del documento en sí (texto completo).

ü A la pregunta del qué debe realizarse, se puede decir que se debe:

Ø Teclear los términos de búsqueda (autor, titulo, materia)
Ø Ejecutar la búsqueda.
Ø Convertir los términos de la solicitud en los lenguajes de búsqueda en la base de datos.
Ø Recuperar e identificar los resultados.
Ø Seleccionar y tramitar la localización del documento identificado.
Ø Proceder a guardar el documento esperado en disco de 3 ½.

3. Horario en que se ejecutará el servicio:

El horario en que se le prestará el servicio de BD a los usuarios potenciales será de 9:00 am – 12:00m y de 1:00pm - 4:00pm; de lunes a viernes.

4. Diagrama de Flujo de la información de las operaciones que se deben llevar a cabo para realizar el servicio.
(Ver anexo 1).

5. Relación de medios a utilizar: para brindar un servicio se hace necesario contar con una estructura adecuada tanto en la biblioteca como en cada puesto de trabajo contenido con tecnología de punta.

Ø Tesis y artículos de revistas electrónicas.
Ø Los documentos (tesis y artículos de revistas) sólo son de un rango de tiempo de 9 años en lo adelante.

Ø Para el servicio, se contará con 1 máquina en la biblioteca, porque de las máquinas del laboratorio conectadas a la Intranet, se podrá bajar también los documentos.

La BD estaría soportada en Access con una interfaz de búsqueda amigable para el usuario, cumpliendo con los requerimientos de usabilidad planteados por L. Rosenfeld, tomado del Trabajo de Diploma de Antonio Montes de Oca.

Ø Cartulina y plumón para señalizar ¿qué se haría? En esa máquina; así como los pasos a seguir para realizar una búsqueda satisfactoria en la BD.
Ø 1 silla.
Ø 1 mesa.
Ø Software: SQL, HTML, Internet Information Server (IIS), Active Server Page (. asp).

6. Personal Involucrado: uno de los elementos más importantes a tener en cuenta es el factor humano, pues el especialista se ocupará de brindar y actualizar el servicio, así como de mantener relaciones directas con el usuario por cualquier duda que pueda surgirle,

aunque, sobre la computadora habrá un cartel donde se indicarán los pasos a seguir para el trabajo con la BD.

El que se ocupará directamente de la BD será el especialista y en su ausencia el técnico.

7. Ubicación: el servicio se prestará dentro de la biblioteca, ya que cuenta con buenas condiciones, adecuada climatización y entorno confortable imprescindibles para el equipamiento requerido para su implementación.

Otros aspectos a tener en cuenta:

· Composición de la BD:
a.- según soporte:
v tesis y artículos electrónicos.
v a partir del 95 en lo adelante habrán tesis solo con 5 puntos.

v artículos de revistas electrónicos actualizados (con 2 años, luego se elimina el documento de la BD).
b.- según temática:

v temas relacionados con Ciencia de la Información, bibliotecología, archivología, periodismo, comunicación, entre otros, relacionados con las carreras estudiadas en la facultad.

· Volumen de la BD:

Tesis: 120
Artículos de revistas: 500 artículos.

· Nivel de procesamiento:

Este aspecto se hará a un primer nivel según las Reglas de Catalogación Angloamericanas (RCAA), 2da ed.

· Régimen de funcionamiento:

 Interno porque se consulta en la biblioteca, aunque desde el laboratorio se puede acceder a este servicio; y externo porque el usuario se puede llevar la información electrónica que esté a texto completo, y consultarlo así en otro lugar.

· Caracterización de los usuarios:

Estudiantes de pregrado y post grado, así como profesores e investigadores que mantienen vínculo con la Facultad de Comunicación.

Se priorizarán aquellos estudiantes de 5to año de todas las carreras de la facultad, así como los investigadores debido a que son los más necesitados en cuanto a información se refiere.

Estos usuarios cuentan con la debida preparación tecnológica y con el nivel suficiente para llevar a cabo las operaciones relacionadas con el servicio. Reconocen la necesidad de un servicio de información que los mantengan informados y que les ocupe el menor tiempo posible, que les facilite además artículos importantes relacionados con las especialidades que se imparten en la facultad, extraídos de Internet, pues muchas veces se dificulta el acceso de información por este medio.

· Retroalimentación:

Se diseñarán cuestionarios y entrevistas con el objetivo de mantener la supervisión y monitoreo constante de las necesidades de información; esto permitirá la interacción entre el usuario y el especialista.

Estos cuestionarios se pondrán en la Intranet y las entrevistas las realizará el propio especialista de la biblioteca que esté a cargo, en el momento adecuado. De esta forma el servicio estará actualizado, la interfaz de búsqueda estará acorde con las necesidades y el nivel de los usuarios, y por ende su utilización será más acogedora para los mismos.

IV.- NIVELES DE EVALUACIÓN

1.- Eficacia

Indicadores:

· Utilidad de la información: aquí se determinará si la información a la cual tienen acceso los usuarios, les resulta verdaderamente útil.

· Temáticas de interés: permite monitorear la información que necesiten para realizar su trabajo.

· Tecnología destinada al desarrollo del servicio: se determinará si la tecnología con que cuenta el servicio es realmente satisfactoria y si permite diseminar la información como se ha previsto.

· Retroalimentación: se determinará si realmente existe una retroalimentación entre el usuario y el especialista.

· Necesidades cubiertas: se determinará si la información dada a los usuarios cubre realmente sus expectativas.

· Tiempo ahorrado: con este indicador se determinará en que medida el servicio le está economizando el tiempo a los usuarios.

· Personal: se podrá determinar la satisfacción de los usuarios con respecto al personal que le brinda el servicio ya que este resulta el intermediario entre el usuario y el servicio.

· Nivel de satisfacción: hasta que punto los usuarios están satisfechos o no con el servicio brindado.

· Tiempo de respuesta: Es el tiempo que transcurre desde que se hace la solicitud hasta que se recibe el producto o servicio. Este factor afecta directamente a la satisfacción del usuario.

Dicho indicador es contemplado, por el tiempo que debe esperar el usuario por un dato o por el producto de una búsqueda bibliográfica que se entrega en forma impresa incluyendo los medios de comunicación y envío si fueren necesarios.

2.- Eficiencia

· Tecnología destinada al desarrollo del servicio: se determinará si la tecnología con que cuenta el servicio es realmente satisfactoria y si permite diseminar la información como se ha previsto.

· Personal: se podrá determinar la satisfacción de los usuarios con respecto al personal que le brinda el servicio ya que este resulta el intermediario entre el usuario y el servicio.

· Tamaño y complejidad de la BD: Se analiza si la BD está apta para que el usuario realice la búsqueda en el menor tiempo posible con un menor esfuerzo.

· Esfuerzo del usuario: el esfuerzo que debe realizar el usuario para poder explotar el sistema, para localizar un modelo de búsqueda determinado en la BD, el tiempo que este invierte para hacer un análisis de relevancia o pertinencia.

El esfuerzo del usuario está determinado en gran medida a la educación que a éste se le dé en la institución en cuanto al uso del sistema, del tiempo de que éste disponga, de su habilidad y de su inteligencia.

· Tiempo ahorrado: con este indicador se determinará en que medida el servicio le está economizando el tiempo a los usuarios.

· Tiempo de respuesta: Es el tiempo que transcurre desde que se hace la solicitud hasta que se recibe el producto o servicio. Este factor afecta directamente a la satisfacción del usuario. Dicho indicador es contemplado, por el tiempo que debe esperar el usuario por un dato o por el producto de una búsqueda bibliográfica que se entrega en forma impresa incluyendo los medios de comunicación y envío si fueren necesarios.
· Tiempo de estadía de los documentos sin procesar: tiempo que se demora en realizar el procesamiento al documento y su introducción en la BD.

3.- Costo – Beneficio

· Satisfacción con el trabajo que realiza: para determinar si la información le sirve para su trabajo.
· Índice de Captación: Nivel alcanzado en la incorporación de la comunidad a la biblioteca.
a*= n / N
Donde:
a*- índice.
· (N) Lectores potenciales.

· (n) Lectores reales.

· Tecnología destinada al desarrollo del servicio: se determinará si la tecnología con que cuenta el servicio es realmente satisfactoria y si permite diseminar la información como se ha previsto.

· Costo por título catalogado: número total de horas empleadas por el costo por hora de trabajo más costo de la adquisición de registros bibliográficos entre el número de títulos catalogados.

· Grado de actualidad de las fuentes de información: nivel de actualidad de los artículos que contiene la BD.

· Grado de actualización de la BD: servirá para determinar el nivel o frecuencia de actualización de la BD.

4.- Impacto

· Necesidades cubiertas: se determinará si la información dada a los usuarios cubre realmente sus expectativas.

· Satisfacción del usuario: Mide el grado en que los usuarios están satisfechos con el servicio de la biblioteca.

· Tiempo ahorrado: con este indicador se determinará en que medida el servicio le está economizando el tiempo a los usuarios.

·  Utilización de la información brindada: con este se podrá determinar en que medida la información recibida por el usuario es la que realmente necesite y le interese .

Formas de obtención:

Estos indicadores se obtendrán a través de:

· Entrevistas y Encuestas (para recoger las opiniones de los usuarios con respecto a las características del servicio.)

· Observación Científica (para medir el comportamiento del usuario con la interfaz de búsqueda de la BD. Los aspectos que van a formar parte de la guía de esta

observación se seleccionaron del Análisis de la experiencia del usuario recogidos en la tesis de Antonio Montes de Oca)

· Análisis informétrico (para medir los índices propuestos en el trabajo).

V.- CONCLUSIONES

- Para realizar un buen proceso de evaluación se debe haber efectuado un buen estudio de factibilidad en el estudio de servicio.

- Las necesidades de los usuarios es un factor importante para evaluar el funcionamiento del servicio.

- Los especialistas por su parte deben llevar a cabo el proceso de evaluación continuamente de forma tal que se pueda detectar las fallas y corregirlas sobre la marcha.

- Los indicadores constituyen uno de los métodos a seleccionar que le agregan valor al proceso de evaluación debido a que de acuerdo como sea esta selección, así será el nivel de profundidad que tendrá la evaluación.

- Las técnicas de recolección empleadas servirán en gran medida de apoyo al proceso, de esta forma constituye uno de los pasos más importantes para llevar a cabo el proceso de evaluación.

VI.- BIBLIOGRAFÍA

1. Domínguez Alejo, Zabylys. Diseño de un servicio para la toma de decisiones en la Casa Matriz de Isla Azul del sistema cubano de turismo. Trabajo de Diploma. (La Habana, 2004), 82 p.
2. Montes de Oca Sánchez de Bustamante, Antonio. Arquitectura de la información y usabilidad para la World Wide Web. Trabajo de Diploma. (La Habana, 2002), 112 p.
3. Setién Quesada, Emilio. Servicios de Información (La Habana: Editorial Pueblo y Educación, 1983), 138p.
4. Aldana Sánchez, Yanet. Evaluación del Servicio de Préstamo en Sala de la Biblioteca “Pablo de La Torriente Brau”. Trabajo de Diploma. (Universidad de la Habana: 2002), 62p.
5. Rodríguez Acosta, Francisco. Diseño del Servicio de búsqueda y recuperación de información en Internet para el Centro de Referencia de Información Científica y Tecnológica de la División De Criminalística. Trabajo de Diploma. (La Habana, 2001), 84 p.
6. Villardefrancos, María del Carmen. Estudio del flujo de información para la optimización de procesos de la Facultad de Comunicación. Tesis de Maestría. (La Habana, 2002), 106 p.
7. Rojas Benítez, José L. Herramientas para la evaluación de los servicios de información en instituciones cubanas. Tesis de Maestría. (La Habana, 2002), 140 p.

VI.- ANEXO  SEQ VI.-_ANEXO_ \* ARABIC 1 . Diagrama de Flujo

1. Teclear los términos de búsqueda (autor, titulo, materia).
2. Ejecutar la búsqueda.
3. Convertir los términos de la solicitud en los lenguajes de búsqueda en la base de datos.
4. Recuperar e identificar los resultados.
5. Seleccionar y tramitar la localización del documento identificado.
6. Proceder a guardar el documento esperado en disco de 3 ½.
7. Culminar la operación de búsqueda en la BD.

ANEXO 2. Guía de entrevista a realizar a los especialistas

Objetivos
ü Conocer el funcionamiento del servicio de BD en la biblioteca de la facultad de comunicación.
ü Valorar el estado actual del servicio de BD en la biblioteca de la facultad de comunicación.
Vías de selección y adquisición de los artículos.
Temáticas de selección.
Local.
Recursos.
Personal (tareas).
Procesamiento.
Educación de usuarios.
Capacidad de la BD.
Retroalimentación.
Promoción y propaganda.

ANEXO 3. Encuesta a realizar a los estudiantes y profesores

Esta encuesta se realiza con el objetivo de evaluar el funcionamiento del servicio de la BD de la biblioteca de la Facultad de Comunicación.

El cual contribuirá al desarrollo de su mejoramiento; por lo que se agradece de antemano su colaboración.

Datos generales. (Marque con una X)

Categoría de usuario:

Estudiante___ Año___
CRD__
CVN__
CM__
Profesor - Investigador___
Especialidad: ______________________________
1.- ¿Qué temáticas relacionadas con su carrera le interesaría incorporar a la BD?
___radio y televisión
___museología
___archivística
___otras. ¿Cuáles?________________________________________________
2.- ¿Diga en una escala del 1-5 cuán útil le resulta la información que se le ofrece en la BD? (siendo el 1 el de menor valor y el 5 el de mayor valor).
1__ 2__ 3__ 4__ 5__
3.- ¿Los resultados de la búsqueda se demoran?
__Si __No __a veces
4.- ¿Recupera los documentos deseados?
__Si __No ___a veces
5.- ¿Tiene dificultad al bajar los documentos?
__Si __No ___ a veces
6.- ¿Encuentra aquellos documentos que ha venido a consultar?
__Si __No ___ a veces
7.- ¿El personal le ayuda en la búsqueda de información?
__Si __No ___ a veces
8.- ¿considera UD que los artículos carecen de actualidad?
__Si __No
9.- ¿Desea agregar algo más referente a este servicio?
_________________________

ANEXO 4. Guía de observación a realizar

Objetivo
ü Observar el comportamiento de la interacción de los usuarios con la BD de esa interfaz de búsqueda.

Interacción del usuario con la interfaz de búsqueda:

- Formas de búsqueda.
- Identificación con la interfaz.
- Desempeño durante la ejecución de la búsqueda.
- Errores cometidos al buscar.
Interacción hombre-máquina:
- Manejo del mouse
- Utilización del teclado

[1] Tomado de: Aldana Sánchez, Yanet. Evaluación del Servicio de Préstamo en Sala de la Biblioteca “Pablo de La Torriente Brau”. Trabajo de Diploma. (Universidad de la Habana: 2002), 62p.  
[2] Domínguez Alejo, Zabylys. Diseño de un servicio para la toma de decisiones de la Casa Matriz de Isla Azul del sistema cubano de turismo. Trabajo de Diploma. (La Habana, 2004), 82 p.
[3] Setién Quesada, Emilio. Servicios de Información (La Habana: Editorial Pueblo y Educación, 1983), 138p.

Katia Caraballoso Granado y Aded Esquivel Duque - katiaarrobasuss.co.cu  katycarabaarrobayahoo.com  aesquiveldarrobaarrobayahoo.com 

Lic. en Bibliotecología y Ciencias de la Información.  Graduada de la Universidad de La Habana

Ing. Mecánico. Graduado del Instituto Superior Politécnico José Antonio Echeverría

Otros artículos que te van a interesar