martes, 11 de octubre de 2011

Una herramienta concreta para medir el resultado de las capacitaciones: La Metodología del Caso de Éxito (Parte 2 de 2)


Continuando con el post anterior (Ver entrada), a continuación la segunda parte con los siguientes tres pasos del proceso de medición de resultados de la capacitación, el Success Case:


Paso 3: Diseñar y Ejecutar la Encuesta

El objetivo de esta etapa es realizar una encuesta de transferencia o aplicación que sea consistente con el mapa de impacto que definimos en el paso anterior. Las preguntas de la encuesta deben procurar que el participante responda si lograr aplicar o no determinados comportamientos que buscábamos modificar al definir el mapa de impacto. Por ejemplo, algunas de las preguntas que pueden incluirse en la encuesta son:
-      Gracias a haber participado del programa, ha mejorado la frecuencia de las reuniones con mi equipo, logrando al menos completar una reunión de equipo cada dos semanas
-      Luego de finalizar el programa, participé en una negociación en la que pude aplicar los pasos del modelo de negociación definido por la compañía
-      Durante la pasada semana, al ingresar una persona a la tienda, logré señalarle al menos 3 beneficios de un producto en el cual estaba interesado
-      Analizando los indicadores del área, identifiqué áreas de oportunidad y propuse mejoras. 

Como vemos las preguntas deben estar orientadas a acciones concretas que se espera que los participantes puedan haber realizado gracias a haber participado en la encuesta de capacitación. Debemos pensar que sean puntos que estén alcanzados por el mapa de impacto y que sea razonable esperar que los participantes puedan haber logrado gracias a la capacitación. Para la respuesta a estas preguntas, la escala que propongo utilizar es de 4 puntos, en el cual los participantes deberían calificar de 1 a 4 con el siguiente criterio:
Si usó la habilidad desarrollada, y obtuvo resultados significativos: 4
Si usó la habilidad desarrollada y no obtuvo resultados significativos: 3
Si empezó a aplicar la habilidad desarrollada, pero es demasiado pronto para indicar si hay resultados favorables: 2
Si todavía no tuvo tiempo u oportunidad para usar la habilidad desarrollada: 1

Por favor, en caso de haber aplicado la habilidad, pero no poder citar resultados concretos y medibles de su unidad de negocio, no elija la opción 4.
De esta forma, la encuesta nos permitirá enfocarnos en los extremos, es decir quienes respondan 4, que serán los casos de éxito pues pudieron hacer lo que se esperaba de ellos, y quienes respondan 1, que son quienes no pudieron aplicar lo visto en el curso y debemos tratar de entender porque no pudieron hacerlo, pues probablemente el único motivo no sea que la capacitación no fue buena.
Una vez realizada la encuesta,  debemos administrarla entre los participantes del curso, procurando una tasa elevada de respuestas. Usualmente, con 30 respuestas debería ser suficiente para una población grande, aunque es posible que existan capacitaciones para grupos menores a esta cantidad en los cuales deberemos procurar una tasa alta de respuesta, mayor al 50% cuando el número de asistentes a un curso sea menor a 30 participantes.
Para ejecutar la encuesta, recomiendo hacerlo por algún medio electrónico, como ser una intranet o algún sitio de encuestas, que nos ahorrarán tiempo a la hora de procesar los resultados. Aunque también es posible hacerlo con encuestas en papel.
Resumen de los pasos de la etapa:
-      Definir lo que consideramos éxito o comportamientos de los participantes de éxito
-      Armado de la encuesta identificando preguntas que puedan hacer referencia a posibles obstáculos para la aplicación. Si tenemos hipótesis sobre lo que pudo haber pasado o podría pasar, sería bueno tratar de incluirlas para obtener información sobre esos aspectos
-      Hacer un piloto de la encuesta con 2 o 3 participantes para validar la correcta interpretación de las preguntas y hacer las correcciones necesarias
-      Enviar la encuesta a los participantes, dando un plazo máximo de 2-3 días para responder

Paso 4: Entrevistas y Documentación

El siguiente paso es realizar entrevistas en profundidad con los participantes para conocer sus historias, tanto de éxito como de no éxito. Para ello, primero debemos tabular y clasificar los resultados de las encuestas. Al hacerlo, debemos buscar aquellos participantes que parecen haber tenido mayor éxito y aquellos participantes que parecen haber podido aplicar poco o nada de lo visto en la capacitación.
Una vez identificados los posibles casos de éxito y no éxito, la idea es organizar entrevistas, de preferencia individuales, con cada uno de ellos. Si bien la tentación de hacer focus groups suele ser alta, la realidad es que la calidad de la información suele ser más pobre, pues las personas no suelen contar todo lo que hacen delante de otros o bien podemos tener una realidad distorsionada.
El objetivo de la entrevista es poder conocer más a fondo como pudo la persona aplicar lo visto en la capacitación, que hizo en su trabajo y que logros obtuvo. Si dentro de este marco nos puede mencionar indicadores concretos que se modificaron (por ejemplo aumentó su cantidad de reuniones de ventas, se redujo su tiempo promedio de conversaciones telefónicas, recibió una felicitación de otra área por la calidad de su trabajo, pudo lograr mejores resultados al delegar más las tareas entre los miembros de su equipo, etc.) deberíamos anotarlos para luego poder verificarlos, ya que serán centrales para poder presentarlos como casos de éxito.
Una de las claves de una entrevista exitosa es definir de antemano que preguntas vamos a realizar. El arte de hacer las preguntas correctas es todo un arte, el cual probablemente podamos abordar en algún otro post.
Al final de la etapa, tendremos historias concretas de éxito y de no éxito de participantes del curso. Y también tendremos resultados de una encuesta cuantitativa de aplicación o transferencia al trabajo, los cuales van a estar sustentados por las entrevistas individuales, que corroborarán o refutarán sus resultados.
El resumen de los pasos de la etapa es:
-      Análisis de Resultados
-      Selección de casos de éxito y no éxito
-      Realizar entrevistas con participantes indicando ejemplos concretos de aplicaciones y barreras para la puesta en práctica
-      Documentación de resultados cuantitativos, y de aspectos cualitativos en forma de historias de éxito y de factores que reforzaron el aprendizaje y factores que lo limitaron o que fueron barreras para la aplicación

Paso 5: Comunicación de resultados

Casi tan importante como la medición en si es que hacemos con los resultados que obtenemos en el proceso. A quienes vamos a comunicar los resultados? En forma individual o grupal? Qué sugerencias de mejora vamos a proponer y a quienes? Cómo vamos a establecer el valor que aportan a la organización los resultados obtenidos? Quiénes van a ser nuestros aliados para presentar los resultados? De qué forma vamos a asegurarnos que la información llegue a los destinatarios correctos? Son sólo algunas de las preguntas que debemos responder.
En definitiva, debemos ser consistentes con lo definido en el punto 1 de para que medimos y que nos proponemos hacer con los resultados. El contenido de esta etapa es tan variado como programas existan, aunque propongo a continuación algunos posibles contenidos de la etapa:
-      Reunión preliminar con el o las áreas de negocios para compartir los resultados e incorporar sus opiniones. Lograr que tomen el resultado como un aporte al negocio.
-      Presentación de resumen de conclusiones a la dirección. En general, suele bastar con contar algunas historias de éxito (qué logró quien, cómo lo hizo y que resultados obtuvo) sustentado en los datos cuantitativos de la encuesta
-      Proponer líneas de acción o de mejora según los resultados (tanto a la propia área de capacitación, al instructor, al área de negocios, a otras áreas, etc.)
-      Contar las historias de éxito a los participantes o a futuros participantes, para mostrar un sentido de logro de los resultados conseguidos.
-      Aprovechar la oportunidad como herramienta de marketing del área de capacitación, mostrando resultados concretos de que puede conseguirse gracias a un programa, de forma que sirva para generar mayor confianza en el área.
Si bien lo hice de forma resumida, espero que haya sido un buen compendio de una metodología que utilizo habitualmente con muy buena aceptación para medir los resultados de la capacitación.
Espero que les sea útil!

viernes, 7 de octubre de 2011

Una herramienta concreta para medir el resultado de las capacitaciones: La Metodología del Caso de Éxito (Parte 1 de 2)


Enfrentado al mismo dilema que solemos tener todos los que estamos relacionados con la capacitación corporativa, el de saber “que ocurre después de y que impacto tiene en el negocio la capacitación en la empresa”, hace algún tiempo encontré una herramienta que he venido aplicado con éxito en varias ocasiones y que quiero compartir con Ustedes. Se trata del Success Case Method o Metodología del Caso de Éxito, metodología desarrollada por Robert Brinkerhoff.

El Success Case Method es una herramienta simple y eficiente diseñada para medir la efectividad de la capacitación, a través de dos componentes esenciales:
          a) una encuesta para identificar un pequeño número de potenciales casos de éxito y no éxito; y
          b) entrevistas en profundidad para comprender la naturaleza del éxito (o no éxito), incluyendo factores críticos de éxito o barreras para la aplicación

En qué consiste la metodología de Success Case Method
·         Es una metodología que permite conocer el grado de transferencia o aplicabilidad de un determinado programa de capacitación
·         Como tal, esta metodología nos permite conocer que aspectos del curso han podido ser aplicados por los participantes, y que ejemplos concretos de éxito con resultados existen, y que aspectos pueden ser potencialmente mejorados.
·         La ventaja del Success Case es que inicia el proceso de medición al inicio de la capacitación, al detectar una necesidad o un comportamiento esperado, lo que obliga a alinear todo el curso (diseño, delivery, seguimiento) a los objetivos de comportamiento definidos al inicio.
·         Si bien nos brinda información cuantitativa, la característica de la metodología es que nos brinda una buena base de información cualitativa sobre la transferencia a la tarea del curso.
·         Si bien el objetivo de la metodología es evaluar el nivel de aplicabilidad del curso, no se enfoca exclusivamente en el proceso de diseño, sino también en otros aspectos que influyen en el curso, como por ejemplo el delivery, el proceso de selección de los participantes, el ajuste del curso a las necesidades de un auditorio puntual.
·         En este sentido, un curso puede estar bien diseñado, pero problemas en la selección de los participantes hagan que una edición del curso, o varias ediciones que tengan un nivel de transferencia bajo porque no han tenido posibilidad de aplicar.
·         Por ello, más que pensar la herramienta como una forma de auditoría a los cursos, debemos pensarla como una forma de:
o    Asegurarnos que la capacitación produce resultados tangibles en el puesto de trabajo
o    En caso de que ello no suceda, tener información que permita definir que aspectos fallaron (diseño, delivery, instructor, selección de participantes, compromiso de los jefes, etc.) y tener herramientas para realizar correcciones.
o    Ajustar la oferta de capacitación a las necesidades puntuales de cada región, sector o área, puesto que la metodología no se enfoca exclusivamente en el final, sino que parte desde el inicio.

Como aplicar la metodología de Success Case Method
En este diagrama se resumen las diferentes etapas de la metodología, las cuales se describen a continuación:




Paso 1: Foco y Planeamiento
Por más que parezca trivial, debemos definir que vamos a medir y para que. En el que, debemos definir que programas o iniciativas de capacitación van a medirse y que recursos se van a destinar a tal efecto. En el para que, debemos definir que es lo que buscamos con el estudio, que tipo de información buscamos y para que la vamos a utilizar, si es tan sólo para completar un formulario, para presentar a la dirección o al área de negocios, o para contribuir a la mejora continua.
Los pasos de esta etapa son:
-      Elegir el o los programas a medir
-      Dimensionar el estudio y asignar los tiempos y/o recursos necesarios para su ejecución

Paso 2: Crear el Mapa de Impacto
Esta etapa es la clave de cualquier medición exitosa y consiste básicamente en definir  que se espera que los participantes realicen luego del programa de capacitación y que es lo que esperamos conseguir con ello. En este punto es fundamental que el mapa de impacto sea definido por las áreas de negocios que requieren la capacitación con nuestra ayuda.
Los pasos de esta etapa son:
-      Reunión con los referentes de la o las áreas involucradas para definir el mapa de impacto
-      Construir y validar el mapa de impacto para reflejar un acuerdo

En la segunda parte, completaré los 3 pasos que faltan del proceso...