1

Tres fundamentos conceptuales y enfoques metodológicos en el seguimiento de egresados universitarios

Alberto F. CabreraCatedratico e Investigador WISCAPE Sr.

E-mail: cabrera@education.wisc.edu

David J. WeertsDirector de Projectos

WISCAPE E-mail: dweerts@education.wisc.edu

&

Bradford J. ZulickEstudiante Docotoral

E-mail: bzulick@wisc.edu

Universidad de Wisconsin en Madison

Métodos de análisis de la inserción laboral de

los universitarios

Universidad de León

9- 11 de Junio de 2003

2

Tópicos1. Enfoques en el

seguimiento de egresados

– Conceptualizaciones– Preguntas de

investigación– Consideraciones

metodológicas únicas2. Aspectos metodólogicos

compartidos3. Conclusiones y

recomendaciones

3

4

Crecimiento en el uso de encuestas de graduados en los EEUU por tipo de conceptualización (1979 a 2003)

70%

15%

15%

LogrosGrado de Implicacion/HabilidadesDonaciones y contribuciones

5

I. Énfasis en logros laborales y socioeconómicos1) El enfoque más clásico. En uso desde 1937 (Pace, 1979)

2) Hipótesis

– Los logros laborales y socioeconómicos de los egresados son los mejores indicadores de la efectividad de una institución.

3) Preguntas de investigación

1) ¿Cuál es el grado de satisfacción del egresado en el empleo?

2) ¿Cuál es el grado de satisfacción del egresado con la preparación recibida en la universidad?

3) ¿En qué medida el egresado contribuye a la sociedad?

6

¿Por qué el énfasis en logros laborales y socioeconómico?

En los EEUU, la mayoría de las estudiantes que deciden ir a la universidad juzgan a la institución en términos del tipo de empleo que los egresados de dicha institución logran

7

Seis factores que se tienen en cuenta al Seis factores que se tienen en cuenta al seleccionar una universidadseleccionar una universidad

Basado en 281,064 estudiantes en 421 universidades

1. Reputación académica (56%)2. Obtención de buenos trabajos (51%)3. Tamaño de la institución (35%)4. Apoyo financiero (33%)5. La posibilidad de ser admitido en programas de

postgrado debido (30%)6. Actividades sociales que ofrece la institución (28%)

Fuente: HERI Fall 2001 Survey

8

Logros laborales y socioeconómicos

Factores que influyen en su uso:

– Homologación de estudios

– Normativas estatales y federales

– Impacto de la educación superior en la sociedad (Shape of the River)

9

Logros laborales y socioeconómicosIndicadores:

• Satisfacción en el trabajo (empleo)

• Satisfacción con la universidad

• Ingreso

• Prestigio ocupacional

• Participación en actividades cívicas y sociales

10

11

Implicación en Actividades Cívicas

12

II. Énfasis en grado de implicación con la universidad y adquisición de competencias

• Hipótesis– Lo que hizo el estudiante en la universidad y su

desarrollo de habilidades son los mejores indicadores de la efectividad de una institución .

• Recomendación general:– Compagine el método de evaluación con los factores que

la teoría y la investigación muestran tener mayor impacto en el aprendizaje y adquisición de competencias (e.g. Pascarella, 2002; Kuh 2001; Roberson, Carnes & Vice, 2002).

13

Preguntas de Investigación

1. ¿Cuales son la habilidades que la educación universitaria debe fomentar?

2. ¿En qué medida los estudiantes universitarios están involucrados en prácticas educativas efectivas?

3. ¿En qué medida los egresados de la universidad aplican en los campos laboral y social las competencias adquiridas?

14

Indicadores de Actividades Efectivas

1. Participación en métodos de enseñanza activa y colaborativa

2. Nivel de reto académico3. Interacciones con el

profesorado dentro y fuera del aula

4. Experiencias educativas enriquecidas

5. Clima de tolerancia y apoyo

15

Indicadores de HabilidadesCuestionario ACT para egresados

• Avances en habilidades para solucionar problemas.

• Avances en habilidades para trabajar en equipo

• Pensamiento crítico• Adquisición de

conocimiento y su aplicación

• Preparación para la ocupación

16

Grado en el cual 36 competencias fueron mejoradas por el programa de estudios universitarios en la Universidad de Albany (N=1775 graduados)

Average Response (Scale of 1 to 5)

Exercise personal responsibility

Maintain openness to new ideas

Think analytically & logicallyFunction independently

Learn how to learn

Exercise self-discipline

Acquire new skills & knowledge

Adapt to social situationsListen effectively

Understand myself

Exercise problem solving skillsWrite effectively

Possess clear goals

Speak effectivelyCarry out research

Relate to people of different races

Know literature of recognized merit

70

68

66

66

64

63

59

50

50

49

47

43

43

43

41

41

Percent responding 4 or 5(high) on a 5 point scale

100

8

8

8

9

17

11

10

17

15

17

16

17

18

23

26

27

29

Percent responding 1 or 2(low) on a 5 point scale

3.9

3.9

3.8

3.8

3.8

3.8

533.7

3.5

3.5

3.4

3.4

3.4

3.3

3.3

3.23.23.2

0 20 40 60 80 10080 60 40 20 0

Fuente: Volkwein (2002)

17

Grado en el cual 36 competencias fueron mejoradas por el programa de estudios universitarios en la Universidad de Albany

(N=1775 graduados)

Evaluate and choose among alternativesUnderstand cultural differences

Be effective team memberProduce scholarshipAnalyze literature critically

Understand scientific findingsCope with conflictAppreciate artistic expressionUse statistics

Understand math conceptsTake moral & ethical actionEmploy scientific methodsLead and supervise others Solve math problems

Analyze scientific dataUse foreign language skills Utilize computing skills

020406080100

1134

27333536

28363735

4137

4238

4445

5861

0 20 40 60 80 100

3939383737373634343232313130302927

19

Place problems in historical perspective

3.23.1

3.1

3.03.03.03.12.92.93.02.82.92.8

2.92.72.72.4

2.2

Average Response (Scale of 1 to 5)

Percent responding 4 or 5(high) on a 5 point scale

Percent responding 1 or 2(low) on a 5 point scaleFuente: Volkwein (2002)

18

Enfoques para la identificación de competencias

• Grupos de discusión con expertos

• Método de validación de contenido.

19

Método de validación de contenido. Pasos:1.1. Defina el universo de habilidadesDefina el universo de habilidades.

1. Conduzca una evaluación de los puestos sobre aquellas puestosque los egresados obtienen.

2. Identifique los conocimientos y destrezas (habilidades) para desempeñar las tareas del puesto.

3. Identifique aquellas habilidades que pueden ser fomentadas en los estudios de carrera universitaria. Enfatize los contextos enlos cuales su aplicación es más relevante.

2.2. Defina y adopte indicadores de habilidades.Defina y adopte indicadores de habilidades.1. Cerciórese que sus indicadores reflejen aquellas habilidades que

permiten al egresado tener éxito en el puesto bajo una variedad de contextos laborales.

2. Verifique sus indicadores con expertos. Haga pruebas piloto de las medidas con graduados, empleados, empleadores y otros expertos.

Fuente: Roberson, M. T., Carners, L. W. & Vice, J. P. (2002). Defining and measuring student competencies:A content validation approach for Business program outcome assessment. Delta Phi Epsilon Journal,XLIV (1), p. 17.

20

Habilidades para la Carrera de Administración de Empresas

Honestidad, código moral y responsabilidadIntegridad y carácter

Motivar y desarrollar empleadosFacilitador

Destreza para interactuar con otros y para solucionar conflictos

Interacciones

Destreza para comunicarse oralmente y por escritoComunicación

Destrezas en la obtención de información, análisis de las causas de problemas, desarrollo de cursos alternativos de acción, toma efectiva de decisiones

Solución de problemas y toma de decisiones

Planificación, organización, administración de tareas y tiempos, delegación de responsabilidades y dirección de personal

Ejecución

Visión estratégica, orientación hacia las necesidades del cliente, habilidad para guiar grupos de trabajo, destrezas políticas

Liderazgo

Grupo de destrezasDimensión de Habilidad

Source: Roberson, M. T., Carners, L. W. & Vice, J. P. (2002). Defining and measuring student competencies:A content validation approach for Business program outcome assessment. Delta Phi Epsilon Journal,XLIV (1), p. 17.

21

Logros laborales y socioeconómicos

Factores que influyen en su uso:

– Homologación de estudios

– Regulaciones estatales y federales

– Impacto de la educación superior en la sociedad (Shape of the River)

22

Factores que influyen en el uso del enfoque de implicación con la universidad y adquisición de competencias

1. Fundaciones privadas2. Agencias de acreditación de

estudios universitarios3. Regulaciones estatales

23

Énfasis en prácticas educativas efectivas como sustituto de rankings

(Chronicle, 22 de October 22 de1999)

“De no desarrollar medidas por las cuales las universidades demuestren cómo contribuyen al desarrollo del estudiante universitario, seguiremos manteniendo un sistema de rankings, lo cual sólo conduce a un sistema de educación superior elitista”

Russell Edgerton. Pew Charitable Fund

24

Fuerzas de cambio: Acreditación

• Abandono en el uso de recursos, procesos y productos en favor de habilidades, habilidades, aprendizaje y logros.aprendizaje y logros.

• Énfasis en el desarrollo del estudiante como punto focal en la evaluación

25

Cómo las agencias de acreditación de estudios superiores están cambiando en los EEUU?

•• Middle States Association of Colleges & Schools:Middle States Association of Colleges & Schools:– Nuevos criterios enfatizan aprendizaje y calidad de

servicios de apoyo al estudiante “El objetivo final en la evaluación es la

mejora del aprendizaje y la enseñanza”•• New England Association of Schools & Colleges:New England Association of Schools & Colleges:

– Énfasis en la evaluación del aprendizaje. •• North Central Association of Colleges & SchoolsNorth Central Association of Colleges & Schools:

– Énfasis en logros académicosBasado en The Chronicle of Higher Education (July 7, 00) A29

26

Cómo las agencias de homologación de estudios superiores están cambiando en los EEUU?

• Southern Association of Colleges & Schools: – Énfasis en adquisición de habilidades y logros.

• Western Association of Schools & Colleges, Commission for Community & Junior Colleges

• Commission for Senior Colleges & Universities– Énfasis en aprendizaje

Basado en The Chronicle of Higher Education (July 7, 00) A29

27

Criterios de acreditación por parte de ABET: Habilidad para:

• Trabajar en equipos multidisciplinarios

• Identificar, formular y resolver problemas de ingeniería

• Comunicarse efectivamente

• Usar técnicas, métodos e instrumentosavanzados

• Aplicar matemáticas, ciencias y tecnología

• Diseñar y conducir experimentos e interpretar análisis

• Diseñar sistemas, componentes o procesos

28

Porcentaje en tipo de indicadores empleados por 11 estados de los EEUU en “performance funding”

8

44

25

3

15

42

23

16

4

20

05

101520253035404550

Insumos yReputación

Proceso Productos Logros Mixto

Tecnológicos

Universidades

Basado en Burke & Serban (1998). Performance funding for public higher education: Fad or trend?

29

Limitaciones• Costo y tiempo

– En términos de tiempo y costo, el método de validación de contenido puede ser prohibitivo.

• Problemas metodológicos– Artefactos metodológicos tales como ‘Halo’

pueden ser introducidos cuando se recoge información sobre experiencias con la universidad y experiencias laborales en el mismo cuestionario.

– Uso de métodos retrospectivos reduce fiabilidad de resultados

30

III. Énfasis en donaciones y contribuciones

1) Hipótesis

• El grado de apoyo financiero y político del egresado es una función de la calidad de las experiencias que éste tuvo con la universidad

2) Pregunta de investigación

1) ¿Cuál es la inclinación y capacidad del egresado para contribuir al bienestar a su alma mater ?

31

La caída en el apoyo financiero estatal esta motivando el que las

universidades investiguen el potencial del egresado para

contribuir al bienestar económico de la institución

32

33

Porcentaje que las donaciones (gifts) representan en el presupuesto de la Universidad de Wisconsin en Madison

Oficina del Rector, University of Wisconsin – Madison

34

Sugerencias

•Enfoque sus esfuerzos en el 10%–90% de la cantidad total de donaciones proviene de tan solo el 10% de los donantes.

35

Concentración del 90% de las donaciones en el 10% de los donantes

Cap

acid

adpa

raco

ntri

buir

(10

esel

máx

imo)

0

5

5 10

Estos donantesofrecen el mayor

potencial

Requiere mucho tiempo conseguir el

apoyo de estosdonantes

potenciales

Voluntarios pero conpoca capacidad

financiera

Dedica tu tiempo a otra cosa

Motivación para contribuir (10 es el máximo)

10

36

Indicadores de potencial para captar donaciones

•Edad•Perfil socioeconómico•Trayectoria profesional •Grado de implicación en organizaciones sociales•Board memberships•Logros sociales y económicos•Actividades recreativas•Edad y alcance educacional de los hijos y nietos

•Calidad de las experiencias universitarias •Preparación para el trabajo •Grado en que los profesores ejercieron una influencia positiva•Medida en que el egresado mantiene contactos con los profesores y miembros de su generación•Grado global de satisfacción con la universidad•Historia de participación con la universidad•En qué medida el egresado esta dispuesto a ofrecer su apoyo e influencia en beneficio de la universidad

Capacidad financieraMotivación para dar

Basado en: Leslie & Ramey, (1988); Brittingham & Pezzulo, (1990); Bodigan & Dehne, (1997); Taylor & Martin, (1995).

37

Cuestionario de Egresados de la Escuela de Derecho de la Universidad de Wisconsin

38

Tópicos metodológicos comunes

•Baja tasa de respuesta•Accesibilidad restringida a cierto tipo de población

•Bajo costeWeb

•Baja tasa de respuesta•Validez de resultados puede ser afectado por ‘self selecting responses’

•Bajo coste•Fiabilidad de respuestas

Correo

•Costoso•El entrevistador puede sesgar las respuestas

•Alta tasa de respuesta •Alta tasa de que se recoja toda la información

Teléfono

En ContraA FavorMedio de recogida de datos

39

Recomendaciones1. Evite la tendencia de recoger en un solo

cuestionario experiencias con la universidad y logros en la inserción laboral– Problemas para poder inferir causa y efecto– Problemas de herramientas metodológicas

• Efecto de ‘Halo’

40

Recomendaciones

2. Haga las encuestas de egresados parte de su sistema de administración de matrícula (enrollment management)

1. Incluya a todas aquellas unidades que inciden en el estudiante, en la conceptualizacion, diseno y análisis de encuestas.

2. Considere a los estudiantes del 7th grado como sus egresados potenciales

3. Adopte un enfoque de proceso longitudinal en el seguimiento del estudiante

• Recoja información en puntos fundamentales en el desarrollo delestudiante desde el momento que planea ir a la universidad hasta el momento que se incorpora en la sociedad.

41

¿Qu¿Quéé ááreasreasse tienen se tienen que evaluar que evaluar y y cuándocuándo? ?

42

El seguimiento del estudiante empleandoun enfoque de procesolongitudinal

43

Un enfoque longitudinal en el seguimiento de egresados

ImplicaciónDentro y fuera

Del aula

Experienciassociales

Prácticasdidácticas

Tolerancia

Desempeñoacadémico

Habilidades

SatisfacciónCon y lealtadPor la Inst.

Titulación

LogrosSocioeconómicos

Satisfacciónen el trabajo

Implicacióncívica

ImplicaciónCon la inst.

DonacionesY apoyo a la

inst

Decisiones de proseguir estudios

universitarios

Experiencias universitarias

Logros socioeconómicos

Preparaciónacadémica

Apoyo y compromiso de la familia

Comunicación Con la universidad

AspiracionesY planes

ocupacionales

Desarrollo de visiones mentales sobre las instituciones

44

¿Qu¿Quéé hay hay que que medirmedir y y cuándocuándo??

45

Titulación/Inserción

Experiencias en la universidadPreparación para estudios universitarios

Encuestas de egresadosTítulos y grados obtenidosOcupación/IngresoSatisfacción con el trabajo y preparación universitariaAplicación de habilidadesParticipación en actividades cívicasDonaciones

EncuestasOrientaciónEducación compensatoriaInteracciones con profesores y compañerosExperiencias en el aulaTrabajo y responsabilidades familiaresHabilidades

EncuestasOrientaciónEducación compensatoriaInteracciones con profesores y compañerosExperiencias en el aulaTrabajo y responsabilidades familiaresHabilidades

EncuestasEducación de los padresConocimiento de ocupaciones y carrerasApoyo familiar Conocimiento de universidadesAspiraciones, planes e intenciones Transfer plans

EncuestasEducación de los padresOcupación de los padresApoyo familiarAhorroAspiraciones, planes e intenciones

Registros académicosTiempo de terminación del títuloCambio de carreraTransferencia a otras institucionesSuspensión momentánea de estudios

Registros académicosInformación sobre matrículaInformación sobre ayuda financieraDesempeño académicoHabilidades

Registros académicosInformación sobre matrículaInformación sobre ayuda financieraDesempeño académicoHabilidades

Registros académicosPreparación para el colegioPerfil de la escuela preparatoriana

RegistrosacadémicosPreparación para el colegioPerfil de la escuela secundaria

LogrosFin del 2nd año

Fin del 1raño

PreparatoriaPreparación

(10th-12th)

SecundariaAspiraciones

(7th –10th)

46

GRACIAS GRACIAS POR SU POR SU

PACIENCIA Y ATENCIÓNPACIENCIA Y ATENCIÓN