Tesis doctorales: TESEO

Ayuda Salir

Ficha de Tesis

Imprimir

Ministerio de Universidades - Gobierno de España

Título: EVALUACIÓN CLÍNICA OBJETIVA ESTRUCTURADA EN EL APRENDIZAJE PRÁCTICO-CLÍNICO DE LOS GRADOS EN ENFERMERÍA
Autor: CASTRO YUSTE, CRISTINA MARÍA
Universidad: Universidad de Cádiz
Departamento: Enfermería y fisioterapia
Fecha de Lectura: 29/05/2014
Programa de doctorado: Ciencias de la Salud
Dirección:
- ABELLAN HERVAS, MARÍA JOSÉ (DIRECTOR)
- LÓPEZ FERNÁNDEZ, CONSOLACIÓN (CODIRECTOR)
Tribunal:
- MORENO CORRAL, LUÍS JAVIER (PRESIDENTE)
- GÓMEZ ZUBELDÍA, MARÍA ÁNGELES (SECRETARIO)
- BARQUERO GONZÁLEZ, ANA (VOCAL)
Descriptores:
- EDUCACION SUPERIOR
- CIENCIAS CLINICAS
- EVALUACION DE ALUMNOS
Marcador: https://www.educacion.gob.es/teseo/mostrarRef.do?ref=1090872Añadir a favoritos.
Resumen:
INTRODUCCIÓN Durante la última década, la educación superior ha evolucionado metodológicamente pasando de un modelo centrado en la enseñanza de conocimientos por parte del profesor, al aprendizaje basado en la adquisición de competencias por el estudiante, y de la evaluación de conocimientos a la evaluación de competencias. Este cambio se promueve a partir de la creación del Espacio Europeo de Educación Superior (EEES), quedando reflejado tanto en la legislación como en las planificaciones docentes de las enseñanzas de los nuevos títulos de grado. El aprendizaje basado en competencias se caracteriza por la integración y aplicación de conocimientos, habilidades y actitudes, en constante construcción y consolidación a lo largo de toda la vida. En la educación superior dicho aprendizaje se orienta y vincula a contextos reales, próximos a la práctica profesional. En esta situación, el procedimiento de evaluación de competencias cobra especial importancia como parte integrante del proceso educativo, por la influencia que tiene sobre la motivación y orientación del aprendizaje. La medición del nivel de competencia adquirida por el estudiante es un procedimiento complejo, que necesita cumplir una serie de requisitos para garantizar su calidad. Debe proporcionar información sobre el aprendizaje significativo que está teniendo lugar durante el proceso enseñanza-aprendizaje y los requerimientos para mejorar dicho proceso. Tomando en consideración estas premisas, proponemos un instrumento de evaluación que permite medir competencias práctico-clínicas a través de un formato de examen similar a la Evaluación Clínica Objetiva Estructurada (ECOE), adaptado a nuestro contexto de la titulación de Grado en Enfermería, al que denominamos Evaluación Objetiva Estructurada de Cuidados de Enfermería (EOECE). HIPÓTESIS Y OBJETIVOS Nuestra hipótesis de estudio es que la Evaluación Objetiva Estructurada de Cuidados de Enfermería (EOECE) constituye un modelo de examen útil, adecuado y factible, cuyos resultados son fiables y válidos para la evaluación de competencias práctico-clínicas de la titulación de Grado en Enfermería por la Universidad de Cádiz. El objetivo general del estudio fue determinar el valor de la EOECE en la evaluación del aprendizaje práctico-clínico en el título de grado en enfermería, acorde a los requisitos que presenta la evaluación de las competencias de la materia Practicum en el título de Grado en Enfermería por la Universidad de Cádiz. Los objetivos específicos fueron: 1) diseñar estaciones estandarizadas para la evaluación de competencias práctico-clínicas en estudiantes del Grado en Enfermería, 2) diseñar un instrumento de evaluación dirigido a determinar el nivel de competencia práctico-clínica en estudiantes de Grado en Enfermería, 3) evaluar la fiabilidad y validez de las estaciones y del instrumento de evaluación y 4) determinar la aceptabilidad de la EOECE en estudiantes y profesores MATERIAL Y METODO El estudio se realizó durante los cursos académicos 2010/2011 y 2011/2012. En los que se impartió docencia en las asignaturas Practicum I y Practicum II y Practicum III. La EOECE se implementó en la convocatoria de junio al finalizar cada una de las asignaturas, evaluándose conjuntamente el Practicum II y III al pertenecer ambas asignaturas a tercer curso de la titulación. La población el estudio estuvo formada por estudiantes matriculados en las asignaturas Practicum I, Practicum II y III del curso académico 2011-2012, de los tres campus donde se imparte el título de Grado en Enfermería en la Universidad de Cádiz (Algeciras, Cádiz y Jerez). En total se incluyeron 499 alumnos. En el estudio participaron 42 profesores, fundamentalmente Titulares de Escuela Universitaria y Profesores Asociados de Ciencias de la Salud. El trabajo en tres fases: a) construcción de las estaciones e instrumento de evaluación, b) análisis psicométrico y c) análisis de la aceptabilidad de la prueba por estudiantes y profesorado. Fase 1. Construcción de las estaciones e instrumento de evaluación La construcción de las estaciones y el instrumento de evaluación, se realizó mediante la adaptación de la metodología de diseño estructurada basada en el consenso de expertos (Romero-Sánchez, 2011). Este proceso consistió en una primera etapa en la que, a través de la metodología Delphi, un panel de expertos seleccionó las actividades prioritarias en las que los estudiantes debían ser competentes. Una segunda etapa en la que los expertos elaboraron unos casos clínicos en base a las actividades seleccionadas. Y una tercera etapa en la que, a través de consenso de expertos, tras el análisis, intregración y adaptación a los recursos disponibles de los casos clínicos propuestos, se consensuaron las estaciones de la EOECE y el instrumento de evaluación. La EOECE del Practicum I estuvo formada por cuatro estaciones, dos de las cuales tenían como método de evaluación un paciente estandarizado. Así mismo, la EOECE del Practicum II-III fue constituida con dos estaciones, ambas con paciente estandarizado. El instrumento de evaluación empleado en las estaciones con paciente estandarizado fue único. Estuvo compuesto por 27 ítems distribuidos en cinco dimensiones, con tres categorías asignadas y definidas específicamente en una rúbrica, al objeto de evaluar de forma sistemática y objetiva el desempeño del estudiante. Las categorías asignadas a los ítems fueron: 2 equivalente a bien, 1 equivalente a aceptable, y 0 equivalente a mal o no realizado. Como última parte del diseño, al objeto de comprobar la validez de contenido de la prueba, se construyó el cuadro de especificaciones. Las estaciones que incluyeron pacientes estandarizados permitieron evaluar un mayor número de resultados de aprendizaje. Por este motivo el posterior análisis psicométrico se centró en este tipo de estaciones y su instrumento de evaluación. La implementación de la EOECE se realizó durante el curso académico 2011-2012, tras una prueba piloto previa. Los estudiantes fueron distribuidos según el número de estaciones, siendo necesarias 24 sesiones de mañana o tarde que se desarrollaron durante 17 días. En la evaluación participaron 3 coordinadores, 42 observadores y 16 actores. Las estaciones se implementaron en aulas y despachos de profesores de las Facultades, el material requerido se obtuvo de los talleres de enfermería, así mismo los observadores emplearon puestos de ordenador con conexión para la recogida de datos de las estaciones con pacientes estandarizados. Fase 2: Análisis psicométrico Los datos fueron recogidos por dos observadores, de manera independiente y simultánea durante la evaluación de desempeño de los estudiantes. Se realizó un análisis descriptivo de las calificaciones obtenidas por los estudiantes, un análisis de su fiabilidad, basándonos en la teoría clásica de los test y en la teoría de la generabilidad, y un análisis de la validez de los datos recogidos. El análisis estadístico de la fiabilidad incluyó el estudio de la consistencia interna de las estaciones con paciente estandarizado y de la fiabilidad interobservador. La consistencia interna se cuantificó mediante el coeficiente alfa de Cronbach y la correlación ítem-total. La fiabilidad interobservador se determinó con el coeficiente de correlación intraclase y el índice Kappa, según los datos fueran o no cuantitativos. Así mismo, mediante el empleo la teoría de la generabilidad pudimos identificar y cuantificar la influencia de distintas fuentes de error en la medida. El objeto de medida lo constituyeron los estudiantes y las posibles fuentes de error las estaciones, los observadores y los ítems del instrumento de evaluación. Para determinar la validez de la prueba se analizaron la validez aparente, de contenido, de constructo, así como de criterio. Fase 3: Análisis de la aceptabilidad Al objeto de conocer la aceptabilidad de la EOECE, se analizó la percepción de estudiantes y profesorado que participaron como observadores. Para ello se realizó un estudio descriptivo transversal con un muestreo por conveniencia, tanto de estudiantes como de los observadores. El estudio se realizó a través de un cuestionario autoadministrado. La medida se recogió mediante escala Likert de cinco puntos donde 1 correspondía al mínimo y 5 al máximo. RESULTADOS Y DISCUSIÓN Algunos de los resultados más relevantes del estudio, así como otros resultados aportados en la bibliografía, fueron: Fase 1: Construcción de las estaciones e instrumento de evaluación Entre las actividades prioritarias a incluir en el diseño de la EOECE el panel de expertos destacó la valoración física básica de las constantes vitales, la flebitis como problema de colaboración, el deterioro de la integridad cutánea como diagnóstico enfermero de independencia, así como los problemas relacionados con la alimentación y la higiene como diagnóstico de autonomía. Igualmente, la mayoría de los expertos consideró imprescindible incluir actividades dirigidas a evaluar la capacidad de elaboración de planes de cuidados. Destacaron incluir también los cuidados del paciente encamado y medidas de seguridad básica, como la identificación del paciente y el control de infecciones a través del lavado de manos. Así mismo, consideraron prioritario la evaluación de los principios de administración de medicamentos, fundamentalmente por vía oral. Con respecto a la evaluación de la capacidad de comunicación los expertos destacaron la identificación del estudiante antes de realizar un procedimiento, la información sobre procedimiento al paciente y la escucha activa. Fase 2: Análisis psicométrico Fiabilidad La consistencia interna de las estaciones con paciente estandarizado fue óptima. Los resultados revelaron un coeficiente alfa de Cronbach superior a 0,8 en todas las estaciones con paciente estandarizado. Analizando los ítems del instrumento de evaluación manera independiente, se observó que éstos solían comportarse de manera similar en todas las estaciones. Los ítems pertenecientes a las dimensiones "conceptos" y "habilidades instrumentales" mostraron mayor capacidad de discriminación. En otros estudios recientes encontramos resultados similares (Brannick et al., 2011; Selim et al., 2012; Walsh et al., 2010). El análisis de la fiabilidad interobservador, mostró unos niveles de acuerdo en la calificación global de las estaciones de la EOECE del Practicum I y la estación 1 del Practicum II-III muy adecuados (CCI>0,8), con intervalos de confianza apropiados y significativos (IC95%: 0,8-0,9 p<0,001). En referencia al acuerdo en la puntuación de los ítems, comprobamos que la mayoría de los ítems alcanzaron un nivel de concordancia adecuado (entre 0,4 y 0,9), destacando los ítems "realiza lavado de manos" y "usa guantes si es necesario". Al analizar las publicaciones realizadas por otros autores encontramos resultados similares a los nuestros (Cazzell y Howe, 2012; Ma et al., 2012). El análisis de la fiabilidad a través de la teoría de la generabilidad nos confirma la buena consistencia interna y reproducibilidad de los datos obtenidos, con adecuados coeficientes de generabilidad relativos y absolutos (>0,8). Así mismo refleja que el mayor porcentaje de varianza estuvo relacionado con el desempeño del estudiante, atribuyéndoseles un porcentaje de error muy pequeño a las estaciones, los observadores y los ítems del instrumento de evaluación. Por lo que podemos afirmar que lo que principalmente determinó la calificación del estudiante fue su desempeño. Validez Una vez comprobado que el instrumento fue capaz de medir de manera fiable, el siguiente paso fue comprobar si era válido para medir competencias clínicas de estudiantes de enfermería. En este sentido, todos los expertos consultados estuvieron muy de acuerdo (79,2%) o de acuerdo (20,8%) con que el instrumento permitía la evaluación de la competencia clínica de los estudiantes. La pertinencia de los ítems empleados fue puntuada en las máximas categorías de la escala Likert empleada, alcanzándose índices de validez de contenido del instrumento y de cada ítem muy adecuados (entre 1,00 y 0,75). Al abordar la validez de constructo, el análisis factorial exploratorio identificó 3 factores que explicaron el 37,1% de la varianza. El primero de ellos al que denominamos "proceso enfermero" hizo referencia al manejo de los conceptos relacionados con el cuidado del paciente y la capacidad del estudiante de integrarlos y aplicarlos según las etapas del proceso enfermero, lo que permite la aplicación del método científico a la práctica y la prestación de cuidados de una manera lógica y sistemática. Los ítems con mayor carga en este factor fueron los pertenecientes a las dimensiones "conceptos" y "habilidades instrumentales". La competencia requiere la integración de teoría y práctica, por lo que parece lógico que ambas dimensiones actúen en realidad como uno componente en el desempeño del estudiante. Este factor fue el que explicó un mayor porcentaje de la varianza (24,1%) y la mayor consistencia interna (0,87). El segundo factor "habilidades de comunicación" definió la capacidad del estudiante para mantener una adecuada comunicación verbal y no verbal con el paciente. En este factor se incluyeron la mayoría de los ítems de la dimensión habilidades de comunicación. Entre las habilidades de comunicación, el modelo destacó la escucha activa y la empatía, es decir la capacidad del estudiante de identificar las emociones del paciente y entender sus sentimientos, capacidad consideramos de gran importancia en la asistencia sanitaria. El factor 3 al que denominamos "práctica segura", estuvo compuesto por los ítems relacionados con la "seguridad del paciente" y el "empleo de los recursos". La consistencia interna de este factor fue bajo (0,48), posiblemente por la poca capacidad de discriminación que presentaron sus ítems, en el sentido de que la mayoría de los estudiantes siguieron las normas de seguridad exigidas en los escenarios obteniendo la máxima calificación. En cuanto a la validez de criterio, las correlaciones entre las puntuaciones obtenidas por los estudiantes en los distintos factores con el expediente académico y las calificaciones de otras asignaturas como: Enfermería del Adulto I, Enfermería del Adulto II y Habilidades en Comunicación Interpersonal, fueron significativas y similares a las encontradas en la bibliografía (Selim et al., 2012). Fase 3: Análisis de aceptabilidad Estudiantes y de profesores mostraron su acuerdo sobre la correspondencia entre la evaluación y lo aprendido en la asignatura, así como con la adecuación de los casos planteados y su nivel de dificultad. Los resultados apuntan que los estudiantes asocian a la EOECE un nivel de estrés superior al de otros exámenes, coincidiendo con la mayoría de los estudios publicados (Branch, 2014; Eldarir y ElHamid, 2013; Muldoon et al., 2014). CONCLUSIONES A partir de la revisión y análisis de los diferentes apartados que conforman la presente tesis (introducción, material y método, resultados y discusión), podemos deducir las siguientes conclusiones: 1. El número de trabajos publicados sobre la evaluación clínica de los estudiantes de Grado en Enfermería, si bien más limitado que en otros estudios de Ciencias de la Salud, es cada vez mayor y más relevante. 2. El diseño de estaciones requiere una metodología estructurada, basada en el consenso de expertos, que garantice que las actividades y situaciones clínicas incluidas en la evaluación se ajustan a los resultados de aprendizaje de las asignaturas. 3. Las estaciones con paciente estandarizado permiten integrar y evaluar un mayor número de resultados de aprendizaje y competencias clínicas, tanto transversales como específicas, ofreciendo además una visión holística del paciente, y permitiendo reducir el número de estaciones necesarias en la EOECE. 4. El proceso de evaluación requiere en la fase de planificación una adecuada preparación de observadores y actores para garantizar la validez, fiabilidad y estandarización de la prueba. 5. El instrumento de evaluación único y adaptado a las distintas estaciones con paciente estandarizado facilitó la evaluación por parte de los observadores, y permitió obtener calificaciones capaces de discriminar a los estudiantes, de manera objetiva y reproducible, con estrecho margen de error. Los ítems del instrumento de evaluación se comportaron de manera similar en cada una de las estaciones. 6. El empleo de variables categóricas ordinales en forma de ítems permitió definir y estandarizar las puntuaciones de los estudiantes de manera sencilla, así como el cálculo de las calificaciones finales. 7. En las calificaciones obtenidas no influyeron factores externos como los observadores, las estaciones o los ítems del instrumento de evaluación, sino el propio desempeño del estudiante. 8. Las estaciones con paciente estandarizado, así como su instrumento de evaluación, permitieron realizar observaciones y registros del desempeño del estudiante fundamentalmente en tres componentes competenciales: el proceso enfermero, las habilidades de comunicación interpersonal y el manejo de la seguridad, estando estos componentes íntimamente relacionados en el desempeño del estudiante durante la EOECE. 9. Los ítems que permitieron calificar al estudiante de manera más objetiva y fiable fueron los pertenecientes al ámbito del proceso enfermero, seguidos del componente habilidad de comunicación. 10. La calificación de los componentes proceso enfermero y habilidades de comunicación se relacionaron con el expediente del estudiante, así como con las calificaciones obtenidas en otras disciplinas vinculadas al aprendizaje de competencias clínicas. 11. Los estudiantes estuvieron de acuerdo con el nivel de dificultad, la organización general de la prueba y su capacidad para manejar los casos planteados. Si bien, percibieron la prueba como estresante. 12. Los observadores percibieron la EOECE como una metodología de evaluación válida y mostraron su acuerdo en cuanto al proceso de implementación llevado a cabo. 13. La planificación e implementación requiere la disponibilidad de numerosos recursos materiales y humanos (profesores responsables de las asignaturas, profesores asociados de ciencias de la salud y tutores clínicos del Servicio Andaluz de Salud). 14. Es necesario formalizar el reconocimiento de la labor del personal implicado para garantizar la continuidad de la implementación de la EOECE. REFERENCIAS Branch, C. (2014). An assessment of students¿ performance and satisfaction with an OSCE early in an undergraduate pharmacy curriculum. Currents in Pharmacy Teaching and Learning, 6, 22-31. Brannick, M.T., Erol¿Korkmaz, H.T., y Prewett, M. (2011). A systematic review of the reliability of objective structured clinical examination scores. MedicalEeducation, 45(12), 1181-1189. Cazzell, M., y Howe, C. (2012). Using objective structured clinical evaluation for simulation evaluation: Checklist considerations for interrater reliability. Clinical Simulation in Nursing, 8(6), e219-e225. Eldarir, S.A., y El Hamid, N.AA. (2013). Objective structured clinical evaluation (OSCE) versus traditional clinical students achievement at maternity nursing: A comparative approach. Journal of Dental and Medical Sciences, 4(3), 63-68. Ma, I. W., Zalunardo, N., Pachev, G., Beran, T., Brown, M., Hatala, R., y McLaughlin, K. (2012). Comparing the use of global rating scale with checklists for the assessment of central venous catheterization skills using simulation. Advances in Health Sciences Education, 17(4), 457-470. Muldoon, K., Biesty, L., y Smith, V. (2014). `I found the OSCE very stressful¿: Student midwives' attitudes towards an objective structured clinical examination (OSCE). Nurse Education Today, 34(3), 468-473. Recuperado de: http://dx.doi.org/10.1016/j.nedt.2013.04.022 Romero-Sánchez, J.M., Pastor-Montero, S., González-Domínguez, M.E., O¿Ferrall-González, C., Gavira-Fernández, C., y Frandsen A.J. (2011). Proposal of a structured methodology for the pedagogical development of education videogames intended for skills acquisition in undergraduate nursing students En: IAVANTE. Abstract Book of SESAM 2011. Granada, Spain: IAVANTE Fundation, p. 29. Selim, A.A., Ramadan, F.H., El-Gueneidy, M.M., y Gaafer, M.M. (2012). Using Objective Structured Clinical Examination (OSCE) in undergraduate psychiatric nursing education: Is it reliable and valid?. Nurse Education Today, 32(3), 283-288. Walsh, M., Bailey, P.H., Mossey, S., y Koren, I. (2010). The novice objective structured clinical evaluation tool: Psychometric testing. Journal of Advanced Nursing, 66(12), 2807-2818.

Imprimir

Modificar Consulta Nueva Consulta

Versión 4.4