Validación de un instrumento para conocer el nivel de satisfacción de pacientes rehabilitados con prótesis removible
Validation of an Instrument to Determine the Level of Satisfaction of Patients Rehabilitated with Removable Prosthesis
Anabelle Valverde Leiva DDS¹; Tatiana Vargas Koudriavtsev DDS, MSc²;
Ottón Fernández López DDS, MSc³
1. Residente Odontología General Avanzada, Universidad de Costa Rica, Costa Rica.
2. Posgrado de Prostodoncia, Universidad de Costa Rica, Costa Rica.
3. Director de Posgrados en Odontología, Facultad de Odondología, Universidad de Costa Rica, Costa Rica.
Autor para correspondencia: Dra. Anabelle Valverde Leiva - anabellevl@gmail.com
Recibido: 03-IX-2014 Aceptado: 18-II-2015 Publicado Online First: 13-XI-2015
DOI: http://dx.doi.org/10.15517/ijds.v0i0.22147
RESUMEN
La encuesta es un elemento básico de recopilación de datos en salud. La validez del cuestionario es esencial para lograr pruebas útiles, siendo un aspecto crucial en la identificación y la corrección de fuentes de sesgos en los mismos. Las pruebas verbales se han reconocido como herramienta para evaluar si las preguntas causan o tienen algún problema, tanto para el entrevistador como para el entrevistado. El objetivo de este estudio fue validar el formulario OHIP-49 y OHIP-19 en una población de costarricenses mediante la aplicación de pruebas cognitivas para cuestionarios como la prueba verbal y posteriormente un pretest estándar. En una muestra de 15 individuos rehabilitados con prótesis removibles se aplicó un cuestionario de 42 preguntas con pruebas cognitivas de manera personal y a 10 individuos se les aplicó un pretest estándar por vía telefónica. Con las pruebas se validó el instrumento, se conoció el tiempo necesario para aplicar el instrumento vía telefónica y a seleccionar una muestra estadísticamente significativa.
PALABRAS CLAVES
Entrevista cognitiva, Pruebas verbales, Pretest estándar, Validación de instrumento,
Satisfacción de pacientes, Encuesta de Salud Oral.
ABSTRACT
The survey is an element of health data collection. The validity of the questionnaire is essential to achieve useful evidence, being a crucial aspect in identifying and correcting sources of bias during data collection. Verbal and cognitive tests are recognized as a tool to assess whether questions cause problems for both, the interviewer and the interviewee. The aim of this study was to validate the OHIP-49 and OHIP-19 instruments in a sample of Costa Ricans applying cognitive tests such as probing and thinkalouds and then a standard pretest. In a sample of 15 individuals rehabilitated with dentures a questionnaire of 42 items was applied that served as a cognitive test. Also 20 individuals performed a standard pretest using the telephone. The validation of this instrument served to determine the final sample for a further investigation and also to collect information about the duration of the survey as well as its comprehension.
KEYWORDS
Cognitive interview, Verbal probing, Standard Pretest, Instrument validation, Patient satisfaction,
Oral health survey.
INTRODUCCIÓN
La encuesta es un elemento básico de recopilación de datos en salud, tanto en investigación como en vigilancia epidemiológica (1). La validez del cuestionario, instrumento elemental utilizado en la encuesta, es esencial para lograr pruebas útiles y un aspecto crucial es la identificación y corrección de fuentes de sesgos en los mismos (2). Es por ello, que los investigadores se han venido centrando desde hace tiempo en los problemas en la redacción de las preguntas en la encuesta. Sin embargo, no es hasta hace 3 décadas que se han evaluado los instrumentos de las encuestas de una manera más sistemática, y de ello se ha reconocido que las pruebas verbales son la única manera de evaluar si las preguntas causan o tienen algún problema, tanto para el entrevistador como para el entrevistado (3) (4).
Aproximadamente en los años 1980´s, psicólogos y especialistas en metodología de la encuesta crearon un nuevo campo interdisciplinario, que se conoció como Aspectos Cognitivos de la Metodología de la Encuesta con sus siglas en inglés CASM (5), el cual se basa en estudios controlados de los factores que pueden influir en la interpretación y las respuestas de las preguntas de una encuesta, siendo base de lo que se conoce como la entrevista cognitiva (6).
El método de la entrevista cognitiva ha llegado a ser visto como un medio importante para asegurar la calidad y la precisión de los instrumentos de encuesta y se utiliza para identificar y analizar las fuentes de error de respuesta en los cuestionarios de la encuesta (7). Específicamente, el propósito del método es entender si los sujetos comprenden la pregunta, de la misma manera a través de diferentes sujetos y en la manera prevista por el investigador (3) (4).
La entrevista cognitiva es un dispositivo de evaluación del proceso de respuesta, y consiste una serie de entrevistas individuales semi-estructuradas en un ambiente controlado, en la cual se le solicita contestar la entrevista o completar el cuestionario, a una muestra pequeña de la población meta. Durante las entrevistas, las personas participantes completan el cuestionario en estudio y se realizan una serie de pruebas para detectar problemas a la hora de contestarlo (Smith Castro y Molina Delgado, 2011; Willis, 2005).
Las dos técnicas básicas que se utilizan en la entrevista cognitiva son: pensar en voz alta y las tareas o pruebas verbales, conocido en inglés como “probing”. La técnica de pensar en voz alta consiste en que se le solicita al entrevistado que vaya completando el cuestionario o entrevista, y verbalice todo el proceso mental que le ocurre mientras llena el cuestionario. Las pruebas de reporte verbal son preguntas directas con el objetivo de obtener evidencia sobre la manera en que las preguntas están siendo comprendidas, la medida en que a la vez las preguntas facilitan la recuperación de la información y las dificultades para hacer efectivas las respuestas (Smith Castro y Molina Delgado, 2011).
Se pueden distinguir 5 tipos de pruebas verbales, como lo son: el parafraseo, los juicios de confianza, las pruebas de recuerdo, las pruebas de especificación y el sondeo del proceso mental. Estas pruebas son aplicadas a los tres aspectos centrales de todo cuestionario, en la introducción para contestar las preguntas, en las preguntas en sí mismo y en las respuestas que se ofrecen, con el fin de detectar problemas en la comprensión, recuperación de la información, estimación y ejecución (8) (9).
Además, de estas pruebas de sondeo concurrente, se pueden aplicar sondeos retrospectivos que se realizan una vez que la persona ha completado el cuestionario, conocido en inglés como “debriefing”, lo cual constituye una valoración de lo realizado por el entrevistado. También existen pruebas como combinar el reporte verbal con la ejecución de tareas específicas, ya sea en preguntas de fácil entendimiento, o de mayor comodidad para contestar. Existen a la vez puntajes de confianza, en los cuales los entrevistados califican la seguridad que tienen en la compresión de la pregunta o las respuestas (9).
En la Universidad de Costa Rica no se han realizado, a la fecha, estudios de satisfacción con prótesis removible con cuestionarios validados en la población en estudio. El objetivo del presente estudio de investigación fue validar el formulario OHIP-49 (10) y OHIP-19 EDENT (11) en una población de costarricenses mediante la aplicación de pruebas cognitivas para cuestionarios como la prueba verbal, con el fin de brindar un instrumento fiable, confiable en los procedimientos de recolección de datos y evitar así el error sistemático.
MATERIALES Y MÉTODOS
Se escogió una muestra de 15 pacientes de diferentes clínicas y centros de atención, se les aplicó una encuesta, basada en el formulario OHIP-49 (10) y OHIP-19 EDENT (11) y los parámetros de la OMS (WHO, 2013) para encuestas de salud bucodentomaxilar, las cuales fueron traducidas al español, para poderse aplicar a la población costarricense. Además se agregaron preguntas de interés de esta investigación como lo son los aspectos demográficos, socioeconómicos, hábitos, estado de salud y el uso de adhesivos para el manejo de la prótesis dental.
El cuestionario contó con 40 preguntas (Tabla 1), divididas en 4 bloques temáticos de interés de la siguiente manera:
Las respuestas de la encuesta se dieron opciones como: 5- Muy bien, 4- Bien, 3- Regular, 2- Mal y 1- No la puede utilizar ó 5- Nunca, 4- Casi Nunca, 3-De vez en cuando, 2- A menudo y 1- Muy a menudo.
En una primera parte de la validación, se realizó una prueba verbal (“probing”) al cuestionario, que fue aplicado a 15 pacientes, que fueron rehabilitados con prótesis removibles, de diferentes localidades. Dos pacientes eran de clínicas de práctica privada a la cuál se le solicitó la autorización a la propietaria; pacientes que asistieron a la sala de espera de la Universidad de Costa Rica ya sea como pacientes o como acompañantes para un total de 7 pacientes. El encuestador le consultó la posibilidad y consentimiento de participar en la misma. Para dicho procedimiento, se solicitó la autorización de la Decana de la Facultad, en el que se le dio a conocer los objetivos del presente piloto de estudio y el futuro estudio a realizarse en base al presente piloto, y los posibles alcances que pueden generar para la mejora de los servicios en la Facultad. Además, posteriormente, se solicitó la autorización del Director de Clínicas de la Facultad, para contar con el aval de la realización del piloto y del estudio en esta Facultad. Los otros 6 pacientes fueron entrevistados en salas de espera de diferentes servicios odontológicos de Hospitales de la Caja Costarricense del Seguro Social cuando salieron de consulta de prostodoncia se les consultó si utilizaban prótesis removible y se les pidió su aval para participar en la prueba.
Al finalizar el cuestionario, se aplicó una prueba verbal retrospectiva, tanto a las instrucciones, como a las preguntas y a las respuestas. Primero, se aplicó la encuesta completa y posteriormente se inició la encuesta con preguntas adicionales estandarizadas para cada ítem sobre qué fue lo que pensó al contestar y al formularle el investigador la pregunta, así como preguntas espontáneas que surgieron en dicha etapa para obtener mayor información sobre el sentido que da el paciente a cada pregunta y respuesta que dio. Dicha prueba verbal fue realizada en una entrevista personal, generada por el investigador. Se anotó textualmente lo que el paciente describió que entendió o a lo que se refirió con sus respuestas, así como lo que pensó en el momento de la pregunta.
En una segunda parte, posterior al desarrollo de la prueba verbal, y con correcciones ya generadas de dicha fase, se generó un pre-test estándar vía telefónica, aplicado personalmente por parte del investigador. Para su realización se indagó en la base de datos del grado, de la Facultad de Odontología de la Universidad de Costa Rica, los pacientes que han sido rehabilitados con prótesis removibles desde el año 2011 al año 2013. Del total de la población de pacientes rehabilitados entre 2010 al 2013 de 1026 pacientes, se tomó una muestra a conveniencia, de 20 pacientes, de manera sistemática, en un aleatorio simple.
RESULTADOS
Pruebas cognitivas
Al realizar las pruebas verbales de la encuesta, se encontraron varias situaciones que debieron ser corregidas o en su caso, aclaradas, para lograr el objetivo buscado. En general todas las preguntas se relacionaban con los últimos 6 meses de uso. Sin embargo, se notó que en varias ocasiones el entrevistado respondía basándose en el momento de entrega de la prótesis. Por ello se tuvieron que reformular varias preguntas, haciendo especial énfasis en que las preguntas se referían a los últimos 6 meses de uso, en los que ya las prótesis han pasado por todos los períodos de ajustes y controles respectivos. Además, se encontró en algunas preguntas las situaciones descritas a continuación (Tabla 2).
En esta prueba verbal, se agregó una pregunta, en la que se indagaba la disponibilidad de desarrollar ésta encuesta por vía telefónica, a lo que se obtuvo de respuesta que 7 de 15, opinan que si la realizarían sin duda alguna; 4 de 15 contestaron con un quizás, por desconfianza o por problemas auditivos de los pacientes, y 4 de 15 contestaron que no lo realizarían vía telefónica, porque no les agrada o no les parece, aspecto que fue tomado en cuenta para el desarrollo de la investigación.
Además, en los ítems de preguntas No. 29 y 30, es necesario realizar modificaciones en las opciones de respuesta que tenían las preguntas, pues en la pregunta No. 29, en la que se le consulta si el peso ha cambiado desde que usa la prótesis dental, es necesario agregar una opción de que se ha mantenido igual, pues solo habían como opciones de respuesta: ha ganado peso, ha perdido peso, y no ha perdido peso. En la pregunta No. 30, donde se indaga la edad del encuestado se decidió hacer la respuesta abierta ya que enlistar grupos etarios pre-formulados es complejo por vía telefónica. En la pregunta No. 41, sobre si se siente satisfecho con el tratamiento recibido, las opciones de respuesta eran dicotómicas, y se prefiere generar una escala, para que el paciente califique el tratamiento recibido, del 0 al 10, siendo 10 la nota máxima, para no dejar fuera de revisión conceptuaciones de percepción obtenidas por el paciente.
Pre-test estándar
A partir de las correcciones generadas de las pruebas verbales, y de la respuesta ante la pregunta sobre si realizaría el cuestionario vía telefónica, se decide realizar un pre-test, en 20 pacientes de la población que serían objetivo del estudio, mediante un aleatorio simple, de 1 de cada 4 pacientes, seleccionando los primeros 20 individuos con número 4 asignado de 1026 que es la población a estudiar. Se procedió con la recolección de números telefónicos y revisión de expedientes clínicos. Se les aplicó la encuesta a 10 individuos en total, pues de los 20 seleccionados 2 expedientes no fueron encontrados, 2 pacientes no coincidían los números reportados en el expediente clínico con la persona a entrevistar y 6 no fueron localizados, en las 3 ocasiones que se le llamaron en diferentes horarios.
En la llamadas diurnas, se contó con un teléfono institucional, para realizar dichas llamadas, lo que brindó al paciente con identificación de llamadas, una referencia desde la institución que se está realizando la encuesta.
En el pre-test a partir del contacto con la persona hubo un 100% de tasa de respuesta, pues los 10 individuos localizados contestaron la encuesta. Entre los hallazgos encontrados, se tuvo la situación de un paciente que nunca usó las prótesis dentales, por lo que se requirió agregar una pregunta al inicio de la encuesta sobre si utiliza la prótesis dental que se le entregó, pues no se tenía un ítem como tal. Además, se pudo determinar el tiempo promedio de duración de la encuesta el cual fue de aproximadamente 10 minutos y se determinó que dos preguntas sobre fonética con palabras utilizando la “F” y “S” no proporcionaban la información que se deseaba lograr, al aplicarse en instrumento vía telefónica, por lo que no se observar al paciente y se encontraba la voz alterada vía telefónica.
Al digitar los resultados en base de datos EXCELL 2010, se saca el promedio de satisfacción a la muestra del pre-test estándar siendo un 7,25 en escala del 0-10, con una mediana de 8,5 y una desviación estándar de 3,68. Posteriormente se calcula el Intervalo de Confianza para la media de una población, generando un rango de 5,13- 9,37 para la satisfacción general. En base a estos datos se genera las hipótesis estadísticas en el cuál se propone para la investigación que la hipótesis nula sería que la satisfacción de la población es menor o igual a 85% y la hipótesis alterna sería que la satisfacción de la población es mayor al 85%.
DISCUSIÓN
Las pruebas cognitivas son una herramienta indispensable para la validez de un cuestionario como instrumento de información (7). Con estas pruebas, se asegura el investigador que las preguntas son bien entendidas por parte del receptor, y que para éste, tiene el mismo sentido que el investigador está proponiendo. Además, se analizan las opciones de respuesta y las instrucciones de la misma manera, de forma que el instrumento sea un herramienta de alta calidad y preciso para la recolección de la información que el investigador requiere de un tema específico.
En este piloto, se generaron pruebas cognitivas como la prueba verbal de sondeo retrospectivo, en el que se revisó cada una de las preguntas de la encuesta, y se revisaron palabras de índole más técnico, las cuales debieron de ser modificadas para un entendimiento general de la pregunta. Esto se presentó en el caso de la palabra “captura”, la cual se preguntaba a los pacientes que si habían tenido captura de alimentos en las prótesis dentales, para la cuál la mitad no comprendían la palabra ni su significado, y en el contexto explicaron que la interpretaron como que si las prótesis dentales se quedaban pegadas entre si al usarlas o hasta que eso era que perdían la retención y se les desprendía de los maxilares, entre otras.
Es por ellos que a pesar de que un cuestionario como el OHIP-49 (10) y OHIP- 19 EDENT (11), se haya traducido y aplicado al español, en diversos países como España, Chile y México, es necesario generar una validación y calibración para la población que va a ser meta, pues las características socioculturales nos hacen individuos muy diferentes a pesar de practicar el mismo idioma de base y con ello, podemos obviar que para el Chileno y Costarricense, la misma palabra producto de una traducción, nos genere un sentido completamente diferente de una oración, y ahí estamos obteniendo, involuntariamente, un error sistemático en nuestra investigación, pues los datos no son verídicos del objetivo.
El apoyarse a la vez de una prueba como el pre-test estándar, fue clave para generar una visión del comportamiento aproximado y de las dificultades que podría tener el investigador para lograr obtener una muestra estadísticamente representativa, por lo que nos fue posible generar los ajustes a la muestra que va a ser objetivo del estudio. En esta prueba se produjeron salidas o rechazos neutrales (Neutral Outfalls) como lo fueron los individuos cuyos números telefónicos no coincidían con el de la persona meta, situación que se presentó en dos de los veinte individuos de la muestra. A la vez, se presentó en los casos de los 6 individuos a los cuales no fue posible localizar, pues a pesar de llamarlos en horarios de mañana, tarde y noche, no fue posible encontrarlos. Y por último, el caso de los dos individuos, que no se encontró el expediente clínico del individuo para obtener la información requerida del individuo. Esta situación, nos abrió un panorama del comportamiento y de las posibles situaciones que se podría encontrar al aplicar la encuesta, por las cuales fue necesario prácticamente hacer dos ajustes a la muestra estimada para lograr resultados estadísticamente significativos de la población en estudio.
El pre-test estándar también sirvió como apoyo para cubrir posibles situaciones que en las pruebas verbales no surgieron, como lo fue el caso de que algunos de los ítems de cómo habla el paciente con las prótesis dentales, era para comprobar los sonidos producidos con “s” y “f”, que al realizarlas personalmente cumplían su función, pero al realizarlas vía telefónica, no se aprecia por lo que se decide eliminar estas preguntas, y agregar de autopercepción del habla. A la vez, se presentó la situación de un paciente, que nunca utilizó las prótesis que se le confeccionaron, pues las desechó, por lo que se denotó la importancia de una pregunta al inicio de la encuesta que se refiriera a si utiliza las prótesis que se le realizaron, dado que en caso negativo la mayoría del instrumento no aplicaría y es necesario en estos pacientes pasar a solo las preguntas de índole sociodemográfico. Estas situaciones, se pudieron prever para el estudio final, al aplicarle las pruebas cognitivas verbales y pre-test estándar.
CONCLUSIONES
Se realizó exitosamente la validación del cuestionario mediante pruebas cognitivas, lo cual deja en manifiesto que éste es un procedimiento indispensable para generar preguntas que cumplan los objetivos del investigador y que sean comprendidas adecuadamente por la población meta, aumentando así su confiabilidad y alejando el error sistemático.
El realizar un pre-test estándar es una herramienta que genera conocimiento sobre el tiempo total que será requerido para la aplicación del cuestionario. Además, la información obtenida acerca de salidas neutrales, nos ayudó a seleccionar la muestra con la cual se debe trabajar para lograr los objetivos del estudio.
Referencias