25
REVISTA ESPAÑOLA DE FINANCIACI~N Y CONTABILIDAD Vol. XXXV, n.O 129 . abril-junio 2006 . pp. 361-385 Salvando las dificultades del uso de la encuesta en la investigación contable de gestión: Una aplicación empírica (*) Saving dificulties using surveys on managernent accounting research: An empirical analysis David Naranjo-Gil. Universidad Pablo de Olavide RESUMEN El método de la encuesta ha perdido relevancia en la investigación contable de gestión en los úitimos años, criticándose que los datos que recoge contienen demasiados errores de medidas que hacen que el método sea poco fiable y de una validez muy baja Koung, 19961. Este trabajo va más aüá de las recomendaciones generales de cómo llevar a cabo una encuesta, enfalizando la irnportan- cia de un buen diseño de la misma para recoger datos de calidad y salvar las diferentes diñcultades asociadas a este método. Se describe a través de un estudio empírico el desarrollo del cuestionario y la evaluación psicométrica de las variables, aspectos que suelen estar desatendidos en las investiga- ciones contables de gestión. El alto índice de respuestas útües conseguido en el trabajo que se presen- ta como caso empírico es un aliciente para seguir co~6ando en el método de la encuesta en futuras in- vestigaciones contables de gestión. PALABRAS CLAVE Diseño y Distribución de Cuestionarios; Análisis Psicométrico; Validación de Es- calas; Contabilidad de Gestión. ABSTRACT The survey method has lost relevance in management accounüng research in the recent yexs. This method has been criticized by accumulating data with too many measurement errors, with veiy low reliability and validity Woung, 19961. Thic paper moves beyond the general recomrnendations on how to conduct a survey, and it focuses on the importance of a good survey design to accumulate quality data and solve the difFerent düñculties relate to this method. Through an empirical study we focus on the questionnaire layout and psychometric analysis of the constructs, which are aspects that management accounting research does not use to pay attention. The high rate of useful responses in the empirical study developed is a stimulus to rely on the survey method in future management ac- counüng research. KEY WORDS Design and Distribution of Questionnaires; Psychometric Analysis; Construct Valida- tion; Management Accounting. Los métodos de recogida 'de datos, tanto en las investigaciones organizativas en general co- mo en las de contabilidad de gestión en particular, pueden clasificarse a lo largo de un con- tinuo Brownell, 1995; Robert, 19991. En un extremo estaría la lógica del descubrimiento, los métodos bajo este título incluyen etnograñac, estudios de casos, observación participa- tiva y entrevistas en profundidad, todos ellos son métodos poco estructurados y muy apro- piados para descubrir nuevos hechos. En el otro extremo del continuo estaría la lógica de (*) Este trabajo ha recibido financiación del Ministerio de Ciencia y Tecnología (proyecto PB-98-1358) y de la Junta de Andalucía (SEJ-111). Recibido 16-06-04. Aceptado 28-09-05. Copyright O 2001 Asoc~ación Española de Contabilidad y Administración de Empresas. ISSN: 0210-2412

REVISTA ESPAÑOLA Vol. XXXV, n.O Salvando las … · de contrastación de teorías y relaciones de variables el metodo del experimento es muy adecuado [Sprinkle, 20031, las encuestas

Embed Size (px)

Citation preview

REVISTA ESPAÑOLA DE FINANCIACI~N Y CONTABILIDAD Vol. XXXV, n.O 129 . abril-junio 2006 . pp. 361-385

1 ' Salvando las dificultades del uso de la encuesta en la investigación contable de gestión: Una aplicación empírica (*) Saving dificulties using surveys on managernent accounting research: An empirical analysis

David Naranjo-Gil. Universidad Pablo de Olavide

RESUMEN El método de la encuesta ha perdido relevancia en la investigación contable de gestión en los úitimos años, criticándose que los datos que recoge contienen demasiados errores de medidas que hacen que el método sea poco fiable y de una validez muy baja Koung, 19961. Este trabajo va más aüá de las recomendaciones generales de cómo llevar a cabo una encuesta, enfalizando la irnportan- cia de un buen diseño de la misma para recoger datos de calidad y salvar las diferentes diñcultades asociadas a este método. Se describe a través de un estudio empírico el desarrollo del cuestionario y la evaluación psicométrica de las variables, aspectos que suelen estar desatendidos en las investiga- ciones contables de gestión. El alto índice de respuestas útües conseguido en el trabajo que se presen- ta como caso empírico es un aliciente para seguir co~6ando en el método de la encuesta en futuras in- vestigaciones contables de gestión.

PALABRAS CLAVE Diseño y Distribución de Cuestionarios; Análisis Psicométrico; Validación de Es- calas; Contabilidad de Gestión.

ABSTRACT The survey method has lost relevance in management accounüng research in the recent yexs. This method has been criticized by accumulating data with too many measurement errors, with veiy low reliability and validity Woung, 19961. Thic paper moves beyond the general recomrnendations on how to conduct a survey, and it focuses on the importance of a good survey design to accumulate quality data and solve the difFerent düñculties relate to this method. Through an empirical study we focus on the questionnaire layout and psychometric analysis of the constructs, which are aspects that management accounting research does not use to pay attention. The high rate of useful responses in the empirical study developed is a stimulus to rely on the survey method in future management ac- counüng research.

KEY WORDS Design and Distribution of Questionnaires; Psychometric Analysis; Construct Valida- tion; Management Accounting.

Los métodos de recogida 'de datos, tanto en las investigaciones organizativas en general co- mo en las de contabilidad de gestión en particular, pueden clasificarse a lo largo de un con- tinuo Brownell, 1995; Robert, 19991. En un extremo estaría la lógica del descubrimiento, los métodos bajo este título incluyen etnograñac, estudios de casos, observación participa- tiva y entrevistas en profundidad, todos ellos son métodos poco estructurados y muy apro- piados para descubrir nuevos hechos. En el otro extremo del continuo estaría la lógica de

(*) Este trabajo ha recibido f inanciación del Min is ter io de Ciencia y Tecnología (proyecto PB-98-1358) y d e la Junta d e Andalucía (SEJ-111).

Recibido 16-06-04. Aceptado 28-09-05. Copyright O 2001 Asoc~ación Española de Contabilidad y Administración de Empresas. ISSN: 0210-2412

David Nnronjo-Gil 362 ART~CULOS D O W A L E S Snlvnndo las diíicuitndcs del uso do In oncuesto en la invcsü~ación contable do gestión

la veriñcación. Bajo este titulo estarían los métodos que buscan contrastar teorías o rela- ciones y demostrar conexiones o uniones entre variables, como es el caso de las encuestas y los experimentos. Entre estos dos polos, existe una variedad de métodos que de algún mo- do están estructurados y posibilitan tanto el descubrimiento como el contraste de relacio- nes entre variables (eg. entrevistas estructuradas).

El método de la encuesta es una de las aproximaciones más comunes usadas en investiga- ciones sociales para estudiar empíricamente las características e interrelaciones de varia- bles socioeconómicas y organizativas [Robert, 1999; Diüman, 20001, Aunque, en términos de contrastación de teorías y relaciones de variables el metodo del experimento es muy adecuado [Sprinkle, 20031, las encuestas intentan encontrar variaciones que ocurren (ma- turalmente» entre las variables, mientras la investigación con experimentos crea -a tra- vés de la intervención o manipulación- dicha variación. Así, la relación entre las variables no suele ser tan alta en las encuestas como lo es en la investigación experimental (eg. la validez interna es mayor en los experimentos), aunque las encuestas pueden proporcionar más realismo que los experimentos (eg. la validez externa es mayor en las encuestas) [Ro- bert, 1999, p. 56; Sprinkle, 20031.

Durante las últimas tres décadas, el método de la encuesta ha dominado la investigación en contabilidad de gestión, sin embargo cada vez es más diñcil publicar estudios basados en cuestionarios tYoung, 19961. Young 119961 atribuye esta dificultad a los defectos en el di- seño de las encuestas en investigaciones anteriores. Este autor notó que la mayoría de la investigación en contabilidad de gestión que ha usado cuestionarios ha fallado en ((seguir procedimientos de encuestas bien establecidos» [Young, 1996, p. 551. En particular, el aná- lisii de Young [19961 se centró en estudios con encuestas postales publicados en las princi- pales revistas de contabilidad en el período 1985-1994"', mostrando un patrón pobre en la aplicación del método de la encuesta en la investigación en contabilidad de gestión. Young 119961 notó que la mayoría de los estudios fallaban en usar métodos de muestreos riguro- sos, no examinaban el sesgo de no respuesta, no especiíicaban el marco de la muestra, y sufrían de bajas tasas de respuestas. Así, concluyeron que estos fallos resultaban en mues- tras no representativas y de bajo poder estadístico, lo cual dificultaba las inferencia de los investigadores, así como llegar a conclusiones sólidas, dejando ver que la investigación con encuesta no suele ser lo bastante buena para ser publicada en las revistas contables más prestigiosas tYoung, 19961.

Sin embargo, estas críticas al método de la encuesta pueden verse como gui'as para mejo- rar la investigación en el futuro, ya que todavía es un método muy valorado en disciplinas relacionadas con el comportamiento organizacional, que estudian empíricamente las ca- racterísticas e interrelaciones de variables sociológicas, económicas y psicológicas tñoberts, 19991. Además, el método de la encuesta es el único que permite a los investigadores tra- bajar con muestras amplias y establecer comparaciones estadísticas, siempre y cuando se realice un buen proceso de construcción, distribución y analisis del cuestionario D i h a n , 2000; Ibert, Baumard, Donada y Xuereb. 20011.

Siguiendo a Robert [19991 este trabajo se centra en el diseño, administración y evaluación del cuestionario aplicado a un estudio contable de gestión en el contexto organizativo es-

(1) Las revistas fueron: Accounting Review; Accounting, Organizations and Society; Journal of Management Accounting Research and Behavioural Research in Accounting.

David Naranjo-Gil Salvando Ins dificultades del uso de la encuesta en la investigación contable de gestión ART~CULOS DOCTRINALES

pañol, el cual suele tener un índice más bajo de participación en estudios con encuestas que otros contextos, como el anglosajón [García, Hurnphrey, Moizer y Turley, 19931. Este d- culo presenta un proceso claro y riguroso para mejorar la calidad de los datos recogidos con encuestas, permitiendo salvar las típicas críticas que han recaído sobre las mismas [Young, 19961. Al mismo tiempo, constituye una guía que s h e para reforzar la investiga- ción futura en contabilidad de gestión utilizando cuestionarios [Roberts, 19991.

El proyecto de investigación que constituye la base empírica de este .trabajo estudia el uso del Sistema Contable de Gestión (SCG) por equipos directivos profesionales y adrninistrati- vos, así como su efecto en la implantación de la estrategia. La hipótesis básica de trabajo es que existe una relación entre las características del equipo directivo y determinados usos del SCG que conducen a una mejor implantación de la estrategia organizativa. Debido a la naturaleza y complejidad de las relaciones organizativas, es muy difícil manipular dichas variables en un experimento. Aunque un experimento natural en este campo podría ser muy beneficioso [SprinMe, 20031, la limitada generalización del mismo disminuiría la utili- dad de los resultados. El método de la encuesta fue usado para recoger los datos necesa- rios para contrastar nuestra hipótesis básica, discutiéndose en detalle su constnicción, dis- tribución y análisis en el presente estudio.

El resto del trabajo se organiza como sigue. La siguiente sección describe críticamente las ventajas e inconvenientes del método de la encuesta, resaltando y aplicando la planifica-

'

ción de la encuesta a una investigación en contabilidad de gestión. La Sección 3 sigue con una discusión de la construcción de la encuesta, detallando el diseño, la medición y valida- ción, el pre-test y la distribución del cuestionario. La Sección 4, realiza una evaluación de las características psicométricas de los constni~tos(~). Finalmente se presentan la discusión y consideraciones finales del trabajo.

2. EL ~UÉTQDO DE LSB ENCUESTA: LA WORTANCM DE ]LA P ~ I C A C I Q N

La encuesta es un método de recogida de datos que puede realizarse por teléfono, correo postal, entrevistas presenciales, e-mail o Internet. Aunque todavía no hay mucha literatu- ra en contabilidad sobre el uso de encuestas a través de e-mail e Internet, la diferencia esencial entre las distintas formas de administrar la encuesta es la intensidad de contacto entre el investigador y el encuestado PiUman, 20001. Las entrevistas presenciales requie- ren grandes costes de viajes, aunque ofrecen el contacto más intenso con los encuestados. Una encuesta postal requiere un coste de preparación del cuestionario escrito y envío del mismo menor que el de las entrevistas y permite llegar a una muestra mucho mayor y más dispersa. Además el cuestionario evita el sesgo potencial introducido por el entrevistador. Entre estos dos extremos, una encuesta telefónica ofrece contacto directo con los encues- tados, aunque requiere una cantidad significativa de tiempo de preparación y dinero para realizar las llamadas telefónicas. Debido a las características de la población objetivo de nuestra investigación y los recursos disponibles, la encuesta postal fue considerada la for-

(2) Los términos constructos y variables serán usado intercambiablemente en este trabajo para hacer referencia al con- cepto abstracto que se pretende medir y analizar a través del cuestionario (eg. uso SCG, equipo directivo y estrategia). Los constructos estarán formados por diferentes preguntas o ítems individuales, que representan aspectos fundamentales que se identifican con cada constructo [Hair etal., 1998; Dillman, 20001.

David Noraqjo-Gil 364 ART~cULOS DOCTRINALES Salvmdo las Wcultades del uso de la encuesta en la investigación contnule de gestión

mamás adecuada, siendo además la más usada en la investigación contable de gestión [Ro- bert, 1999; Young, 19961.

La encuesta postal, como cualquier otro método de investigación, tiene tanto ventajas co- mo inconvenientes, entre éstas suele ser criticada particularmente por dos aspectos [Ro- bert, 19991: l ) tener un bajo índice de respuesta (alto índice de no-respuesta) y 2) tener una baja calidad de los datos (alto índice de errores).

Respecto al primer aspecto, Dillman [20001 añrmó que hay dos razones principales por la que las personas no devuelven los cuestionarios, en primer lugar simplemente no lo reci- ben, y en segundo lugar no desean responder. La primera razón está en gran medida, aun- que no por completo, bajo el control de los investigadores, y una búsqueda inicial rigurosa para actualizar las dkecciones, unido a la realización de una clara y concisa lista de nom- bres puede reducir este factor sustancialmente Dillman, 20001. La segunda razón, también está bajo el control parcial del investigador, el cual puede reducir la cantidad de devolu- ciones considerablemenle. DiUman [20001 sugiere un proceso muy detallado que denorni- na <Diseño a Medida de Encuestas» (Tailored Design of Surueys), y que incluye cinco con- tactos con la población objetivo que ayudan a incrementar el índice de respuesta en las encuestas postales. En este trabajo se siguió las recomendaciones de DiUman E20001, las cuales se desarrollan en la siguiente sección.

Respecto al segundo aspecto, la baja calidad de las respuestas, Roberts [19991 identificó va- rios tipos de errores en los datos recogidos con cuestionarios: errores sistemáticos o de ses- go y errores aleatorios. El error sistemático influye en la validez de la escala mientras que el error aleatorio intluye en la fiabilidad de la escala Drownell, 1995, p. 47Y3) . Además es- te último no puede ser controlado en su totalidad, aunque el investigador puede contrastar si determinadas variables claves (eg. tamaño de la organización) influyen en la dirección de las respuestas. El error de sesgo se refiere a una tendencia consistente que hace que una medida sea mayor o menor de lo «que debería ser». Una de las fuentes más comunes de sesgo es el efecto halo, un error constante que ocurre cuando las impresiones genera- les que tiene el encuestado de una variable sesga su valoración de los distintos aspectos o ítems que componen dicha variable [Smith, 2003; Pedhazur y Pedhazur, 19911(4); el efecto halo suele aparecer por la asociación de una serie de preguntas sucesivas que son muy si- milares entre sí Dbert et al., 20011. Otro error sistemático es el de condescendencia (le- niency error en la terminología anglosajona), que es la tendencia de los individuos a que- rer dar una imagen favorable de ellos mismos. Este tipo de error esta ligado a escalas de autoevaluación, particularmente a escalas de rendimiento [Brownell, 19951. Todas estas desventajas de la encuesta pueden reducirse e incluso superarse con una buena planiñca- ción de la encuesta, un cuidadoso diseño y dislribución del cuestionario y un detallado aná- lisis psicométrico de los datos recogidos Boberts, 1999; DiUman, 20001.

Respecto a las ventajas de la encuesta postal puede destacarse que permite llegar a una muestra amplia y dispersa a un coste relativamente bajo. Además si el es cui-

(3) La validez y fiabilidad de las escalas será desarrollada en la sección siguiente del diseño y distribución del cues- tionario. (4) Otro ejemplo es la tendencia por parte de algunos encuestados a dar valoraciones que son consistentemente dema- siado altas o demasiadas bajas. Otros tienden a evitar categorías extremas, concentrándose en cambio en categorías alre- dedor de la mitad de las escalas, es el llamado error de tendencia central [Pedhazur y Pedhazur, 19911. (5) El término instrumento hace referencia al conjunto de constructos o variables que contiene el cuestionario [Dillman, 20001.

David Narmjo-Gil Salvando 111s dificuliades del uso de la encucsh cn la investigación contable dc gesoón ART~CULOS DOCTRINALES 365

dadosamente desarrollado y validado antes de usarlo, los resultados tendrán una gran fia- bilidad y validez. Asimismo si se realiza una adecuada planifkación, se elige una muestra representativa y se sustentan las hipótesis en una base teórica sólida, los resultados serán fácilmente generalizables [Brownell, 19951.

En la encuesta postal es necesario anticipar todas las posibles contingencias y peculiarida- des de interpretación de los datos a recoger debido a la estandarización de la comunica- ción escrita, la cual deberá ser comprendida por todos los encuestados, ya que no es posi- ble estar presente para aclarar o añadir matizaciones al cuestionario [Brownell, 1995; Robert, 19991. Antes de desarrollar la encuesta se debe: 1) p l w c a r la información que se necesita recoger para contrastar las hipótesis, y 2) analizar el sector o sectores donde se obtendrá la evidencia empírica, con el objeto de ajustar la encuesta a la población objeti- vo. Ambos aspectos de la plani6cación no suelen ser recogidos explícitamente en la inves- tigación contable de gestión que usa el método de la encuesta para recoger datos [Young, 1996; Dillman, 20001.

La hipótesis básica de este trabajo analizaba la relación entre varios constr~~ctos, en con- creto, examinaba el uso del SCG por diferentes equipos directivos (profesionales y admi: nistrativos) y su efecto en la implantación de la estrategia, así decarrokmos una lista con los requicitos de información de los constructos esenciales que deben operativizarse y ser medidos en el cuestionario, actuando como una lista a revisar para asegurarse que el cues- tionario h a l recoge toda la información necesaria para contrastar la hipótesis. Además, esto ayuda a marcar los lúnites de la investigación Dillman, 20001. En este trabajo deñni- mos tres constnictos fundamentales: 1) el estüo de uso del SCG, el cual debía recoger dife- rentes características correspondientes a un uso interactivo y diagnóstico [Simons, 19951; 2) las características demográficas del equipo directivo [Hambrick y Mason, 19841, con el objeto de clasiñcarlos en profesionales o administrativos, y 3) la implantación de la estra- tegia [Porter, 19851 que recogía dos aspectos de la misma: Coste y Diferenciación (Flexibi- lidad). Asimismo, se controló el efecto potencial de dos variables en las hipótesis formula- das: el tamaño del hospital y la dependencia gubernamental'". En el caso del tamaño, se dividieron los hospitales en tres categorías (pequeños, medianos y grandes) en función del número de camas [Abernethy y Brownell, 19991. Respecto a la dependencia gubernamen- tal, clasiñcamos los hospitales en dos categorías. La primera agrupaba los hospitales en las regiones que venían disfrutando de autonomía en la gestión sanitaria hasta 2002, año en el que se transñrieron a todas las Comunidades Autónomas las competencias en sanidad (eg. Andalucía, Navarra, Canarias, Cataluña, Valencia, Galicia y País Vasco). El segundo grupo lo formaban el resto de regiones, que hasta 2002 dependían de un servicio central denominado lInsalud.

El establecimiento de los requisitos de información debe hacerse considerando el marco te- órico que sustenta el trabajo. En este trabajo se usó una teoría organizativa dentro de un marco contingente, en concreto se utilizó la teoría de los mandos superiores, la cual añr- ma que las características demográficas de los equipos directivos están relacionadas con

(6) El establecimiento de las variables de control está muy relacionada con el sector y la población objetivo del estudio 1 empírico. 1

David Naranjo-Gü. 366 ART~CULOS DOCTIUNALES Salvando las diEcultades del uso de la encucsta en la investigación contable do gestión

diferentes actuaciones y resultados organizativos LHambrick y Mason, 1984; Finkelstein y I-Iambrick, 19961, entre ellos el uso de los sistemas de control de gestión y la estrategia de la empresa CYoung, Charns y Shortell, 20011. Esta teoría defiende que la atención de los di- rectivos es un recurso escaso y que éstos tienen racionalidad limitada, que lleva a que no siempre tomen decisiones sobre la base de la optimización económica, sino que éstas más bien dependen de las percepciones que los directivos tengan de su entorno, de su expe- riencia y valores [Hambrick y Mason, 19841.

Después de establecer los requisitos de información, el siguiente paso fue describir el sec- tor y la población objetivo. Para crear un estudio válido es necesario atender a la validez externa, para ello definimos la población de interés sobre la base de la teoría. En este ca- so, debíamos centrarnos en organizaciones con una composición diferente de equipos di- rectivos (profesionales y administradores), Sistemas Contables de Gestión (SCG) desarrolla- dos y similares estrategias organizativas a implantar. Esto excluye las organizaciones pequeñas que no tienen un equipo directivo, pues suelen estar dirigida por un solo direc- tor o gerente. Nuestro marco teórico no considera explícitamente variables culturales o na- cionales, por ello y para facilitar el acceso a los datos, la población de interés se centró en España. Aunque la teoría de los mandos superiores puede aplicarse tanto a empresas con o sin ánimo de lucro, es muy adecuada para analizar empresas sin ánimo de lucro ya que considera que los directivos no toman sus decisiones bajo el prisma de la op'limización eco- nómica sino más bien bajo otros valores y aspectos cognitvos LHambrick y Mason, 19841. En España una organización grande y sin ánimo de lucro por excelencia es el Hospital, sin embargo el sector sanitario español se caracteriza por tener un alto porcentaje de hospi- tales públicos [Errasti, 1997; Asenjo, 19991 y un porcentaje muy bajo de hospitales priva- dos y/o concertados, por lo que excluimos a estos últimos de nuestra población objetivo, con el fin de no añadir ruido a nuestra muestra. Por todo lo anterior, se consideró adecuado considerar los hospitales públicos españoles como población objetivo, los cuales cuentan con 1) Equipos directivos similares formados por un director gerente, médico, de enferme- ría y de servicios generales y económico-financiero, que pueden clasiñcarse en Profesiona- les (Clínicos) y Administradores. También cuenta con 2) Sistemas Contables de Gestión que proporcionan información similar (financiera y no ñnanciera o clínica), así como 3) Una misma prioridad estratégica a implantar, la cual fomenta la flexibilidad y descentralización de los servicios con el objeto de oíkecer servicios de alta calidad, sin aumentar el coste sa- nitario [CosiaUs i Pueyo, 2000; Asenjo, 19991.

Usamos el Catalogo Nacional de Hospitales para obtener una lista de la población de los Hospitales Públicos, el cual reveló los datos de 218 hospitales generales relativos al nom- bre, dirección, teléfono e instalaciones (número de camas, tecnología instalada, etc.), pero no proporcionó los datos y nombres de los miembros del equipo directivo de cada hospital, los cuales fueron obtenidos de otra base de datos procedente de un estudio previo en el sec- tor sanitario. El resto de datos fue conseguido a través de Internet y de contactos telefóni- cos, en el caso de que no estuvieran disponibles o actualizados en la red.

El proceso de actualización se llevó a cabo con el objetivo de disminuir el índice de no res- puestas D i h a n , 20001, permitiendo tener un amplio conocimiento y alto nivel de detaile de los datos de la población objetivo para esperar un índice de no-respuesta bajo. Además, los directores en hospitales tienen una cultura a colaborar y contestar formularios y en- cuestas de distintas investigaciones. Asimismo, puede esperarse que los directores del sec- tor público tengan menos presión que los del sector privado a revelar información de la or-

Dand Naranjo-Gil Snlvnndo los dificultades del uso de la encuesta en la investigación contable de gestión ART~CULOS DOCTRINALES 367

ganización Errasti, 1997; Asenjo, 19991. Sin embargo, todo esto no es suñciente para ga- rantizar que los datos recogidos con la encuesta son de calidad. Muchos autores han añr- mado que para asegurar que una encuesta recoja datos adecuados para contrastar las hi- pótesis, se debe poner énfasis en el diseño del cuestionario, el cual debe pasar por tres pasos generales: la elección de la escala, el pre-test para contrastar la validez y fiabilidad de la encuesta y por último la adecuada administración de la versión íinal del cuestionario Dillman, 2000; Ibert et al., 2001; García, Araújo y Cuevas, 20031. Diversos trabajos han desarrollado teóricamente cada uno de estos pasos Fink y Kosecoff, 1998; Dillman, 2000; García et al., 20031, en la siguiente sección aplicamos cada uno de estos puntos a nuestra investigación empírica.

3. DISEÑO Y DIS'FRIBUCI~N DEL CUESTIONARIO

Una vez terminada la planificación de la encuesta, el siguiente paso fue el diseño y distn- bución de los cuestionarios. Esta sección discute el proceso que ha guiado la elaboración del cuestionario y la selección de los instrumentos y escalas a incluir en el mismo. El tra- bajo de Grady y Wallston [19881 fue usado para ganar más conocimiento de cómo condu- cir un estudio en el sector sanitario, y adaptar la encuesta a los hospitales. La Tabla 1 mues- tra el esquema seguido en el proceso de diseño del cuestionario.

1. Medición y validación de las variables: a) Errores de Muestreo b) Fiabilidad c) Validez

2. Desarrollo del pre-test: a) La ronda de entrevistas b) La elaboración de las preguntas c) Diferentes pretest del cuestionario

3. Descripción del contenido del cuestionario: a) Objetivos de las preguntas

4. Aspecto y distribución del cuestionario: a) Cartas de preaviso b) Envío de la encuesta c) Cartas de seguimiento d) Segundo envío del cuestionario e) Llamadas telefónicas

El desarrollo de una encuesta válida y fiable exige reducir los errores en el muestre0 y la medición de las variables, pues así las conclusiones a las que se lleguen serán más consis- tentes [Grady y Wallston, 1988; Smith, 20031. Robert [19991 argumentó la importancia de seleccionar la muestra correctamente para reducir errores en los datos recogidos y la ge- neralización a la población íinal. Smith [2003] afirmó que muchos estudios han desatendi- do la selección de la muestra, siendo una debilidad en estos trabajos que empiezan con un

David Naranjo-Gil 368 ART~CULOS DOCTRINALES Snlvondo Ins diñculindcs del uso do la cncucstn on la investigoci6n contnblo do gestión

error de base al no seleccionar razonadamente la muestra objetivo. Young l'19961 y Ro- bert [19991 argumentaron que en contabilidad de gestión predomina el muestreo selectivo fiente al muestreo aleatorio, es decir, se suele conocer el tamaño de la población, y por tan- to se dispone de un marco de muestreo que sirve de referencia (eg. una lista de empresas que representan la población, un libro anual de empresas y directivos). Si esta lista es muy amplia se debe considerar algún método de selección, siendo el de muestras aleatorias (es- tablecidas estadísticamente) el que más probabilidad tiene de producir una selección re- presentativa [Robert, 19991.

Young [19961 identificó entre las oportunidades para mejorar la encuesta, que el cues- tionario incrementara el conocimiento organizativo, es decir, que estuviera en sintonía con el <denguaje» de las empresas de la población objetivo, para que así las respuestas no estuvieran limitadas debido a la irrelevancia percibida del cuestionario. Esto se con- sigue centrando el estudio empírico en un sector adecuado para contrastar las hipótesis al mismo tiempo que se intenta aportar evidencia empírica a la teoría Eoung, 1996; Grady y Wallston, 19881. En nuestro caso nos centramos en el sector público de hospita- les, estableciendo la lista de organizaciones (hospitales) que constituían nuestra pobla- ción, con ayuda del Catálogo Nacional de Ilospitales. Al ser la lista relativamente peque- ña (218 hospitales) no seleccionamos una muestra sino que dirigimos el estudio a toda la población.

Respecto a la medición de las variables, debe prestarse atención al tipo de escala de medi- ción y a la fiabilidad y validez de la medida [ver García et al., 20031. Existen diversos tipos de escalas de medición [ver Brownell, 19951, en nuestro trabajo elegirnos la escala Likert respecto a otras escalas (eg. escala de Thurstone y escala de Gutbnan)", por ser relativa- mente simple de constniir y permitir tratar la multidimensionalidad de las variables CBrow- nell, 19951. Se usó escalas multi-ítems respecto a las escalas de un ítem básicamente por dos razones [Smith, 2003, p. 1271: 1) muchos constructos represent. conceptos comple- jos, y por ellos es mejor abordarlos preguntando más de una cuestión, y 2) un número de ítems relacionados pueden incrementar la validez debido a la posibilidad de que las cues- tiones individuales pueden ser malinterpretadas o malentendidas.

El segundo aspecto a considerar en la medición de las variables es la fiabilidad que se re- fiere a cómo de bien se mide el constructo de interés, donde hay que considerar el equili- brio y precisión de la medición [Sánchez y Serabia, 19991. Las señales de fiabilidad inclu- yen una alta correlación entre las medidas alternativas y alphas de Cronbach por encima del 0,7@]. Respecto a la validez de la medida se refiere al grado en que se está midiendo el hecho que queremos medir Drowneil, 1995; Roberts, 19991. A este respecto hay dos tipos de medición de la validez que deben subrayarse: validez de contenido y validez de cons- t r ~ c t o ( ~ ~ [para un análisis más extenso véase García et al., 20031.

(7) La escala Thurstone comprende ítems que representan posiciones previamente establecidas en una escala de ac- titud, estando involucrado en su desarrollo un panel de expertos. La escala Guttman tambihn usa de forma extensa los juicios de expertos, que deben ponerse de acuerdo sobre el orden de una escala verbal, de modo que la contestación a una frase que indica el grado 3 signifique que el encuestado está de acuerdo con las otras frases que indican los gra- dos 1 y 2 [Brownell, 1995, p. 421. Ambas escalas no son muy adecuadas para tratar variables multidimensionales [Brownell, 19951. (8) El alpha de Cronbach evalúa la fiabilidad de una escala de ratios, tales como la escala Likert, al medir un factor no ob- servado. Dicho alpha es el cuadrado de la correlación entre la escala medida y un factor implícito. Por convención, un buen conjunto de escalas de ítems debería tener un alpha de Cronbach de 0,7 o mayor para constructos formados por unos 10 items [Nunnally, 1978; Pedhazur y Pedhazur, 19911.

David Naranjo-Gil Salvando Ins dificultades del uso de la encuesta en la investigación contable de gestión ART~CULOS DOCTRINALES 369

La validez de contenido existe cuando la medida es representativa de todas las propieda- des del constnicto teórico. Los tests para la validez de contenido son Mciles de describir, pues es mas bien un proceso racional y subjetivo, aunque con íi-ecuencia se emplea la opi- nión de expertos para evaluar los constructos. Otras formas de contrastar la validez de con- tenido son: 1) enviar el cuestionario a un grupo representativo de la muestra final, y 2) la realización de entrevistas o visitas a las empresas de la muestra o similares [Hair, Ander- son, Tatharn y Black, 1998; García et al., 20031. Con ello se pretende averiguar si los ítems incluidos en el constnicto a medir cubren todas o la mayoría de las dimensiones relevan- tes para la investigación.

Por otro lado, la validez de constructo existe cuando la medida exhibe estabilidad y equili- brio a través de distintos estudios, con ello se indica que los datos reflejan una valoración certera y no son producidos artiñcialmente por el instrumento Pedhazur y Pedha- m, 19911. Varios temas están relacionados con la validez del constnicto Pedhazur y Ped- h a m , 1991; Hair et al., 19981, tales como: 1) Dimensionalidad (los distintos ítems del cons- tructo están relacionados con una sola dimensión o concepto a medir); 2) Fiabilidad (la escala debe ser consistente en el tiempo y en su uso en otros estudios), y 3) Validez (la es- cala debe medir lo que se pretende medir y no otros aspectos). En nuestro caso la validez de contenido y de constructo se examinó como sigue:

1. Se revisó la literatura existente con el objeto de idenacar constnictos similares pre- viamente usados en estudios contables de gestión con el objeto de aumentar la com- paración de las conclusiones.

2. Donde fue posible, se usó variables que habían demostrado una fiabilidad y validez en estudios anteriores. En el caso de haber varios instrumentos fiables y válidos, se eligió aquel con una longitud menor. Asimismo, seguimos las recomendaciones de Ibert et al. [20011, quienes añrmaron que los investigadores deben ser conscientes de que la va- lidez de las escalas ya existentes está muy unida al contexto en el que fueron usadas (eg. sector y paíc), por lo que su traslado a otro contexto debe hacerse con muchas pre- cauciones, veriñcando siempre que son válidas en el nuevo contexto.

3. Se realizaron diferentes entrevistas con miembros de los equipos directivos de cuatro hospitales con el propósito de obtener mayor conocimiento de los constructos y adap- tarlos al contexto sanitario español''".

4. La elaboración de las pregmtas de la encuesta (incluyendo las tomadas directamente de medidas validadas) siguió la guía de desarrollo de encuesta de Dillman [20001.

5. Varios profesores del departamento, junto con los encuestados en el pretest, revisaron las preguntas para obtener validez externa.

Más aún, se realizaron los tests empíricos sugeridos por Nunnally [19781 tanto para la va- lidez de contenido como para la de constnicto. Los tests empíricos realizados para la vali- dez de contenido incluyeron: 1) revisión del rango de respuestas, y 2) cálculo del Alpha de

(9) Respecto a la validez, Brownell [1995] y García etal. [2003] distinguieron entre validez de contenido, validez de cons- tructo (convergente y discriminante) y validez de criterio (concurrente y predictiva). La validez de criterio se refiere al gra- do en que un constructo está relacionado como se prevé teóricamente con otros constructos, este tipo de validez no sue- le ser contrastada en estudios contables [Browneil, 19951. García etal. [2003, p. 361 afirmaron que el uso de medidas sin un análisis de convergencia y discriminante podría conducir a serios problemas de interpretación de los resultados. (10) Estas entrevistas también pueden ayudar a desarrollar nuevos instrumentos si fuera necesario.

David Nnranjo-Gil 370 ART~CULOS DOCTRINALES Snlvmdo las dificultados del uso do la encuesta en la invesiigación contnule de gestión

Cronbach, como medida estadíctica de la fiabilidad interna'"]. Asimismo, los tests ralizados para la validez del constructo fueron: 1) análisis factorial (exploratorio y confiimatorio), y 2) análisis de correlación (ver la sección de análisis psicométrico más adelante).

3.2. DB~ARROLLO DEL PN3-TEST

El pretest fue realizado en tres etapas Dillman, 20001, con el objeto de salvar las deficien- cias descritas por Young l19961: 1) la ronda de entrevistas; 2) la elaboración de las pre- guntas, y 3) los pretests de los distintos borradores del cuestionario entre los miembros de la población objetivo.

3.2.1. La ronda de entrevistas

El propósito de la primera etapa fue contrastar la importancia del estudio en el sector ob- teniendo opiniones de cómo conseguir una mayor participación en este proyecto, y reci- biendo consejos sobre la disposición de las cuestiones y la medición de los constructos. Un total de 18 entrevistas se realizaron entre Noviembre de 2001 y Enero de 2002 en cuatro hospitales generales. Estos hospitales fueron elegidos por tres razones: 1) teníamos con- tactos y una relación muy buena con ellos; 2) ectaban cerca de la Universidad donde se re- alizaba el proyecto, exactamente dos hospitales estaban en la misma provincia y otros dos en provincias cercanas, y 3) representaban una buena muestra por tamaño (uno pequeño, uno mediano y dos grandes).

En los cuatro hospitales se entrevistó a tres equipos directivos completos (cinco miembros cada uno), siendo entrevistados un total 18 directores: cuatro directores generales, cuatro directores médicos, tres directores de enfermería, tres directores de servicios generales y cuatro directores económicos-hancieroc. A través de estas entrevistas recogimos ideas y comentarios para diseñar el estudio, redactar las distintas cartas (de preaviso, presenta- ción y seguimiento) y para medir los constructos.

3.2.2. La elaboración de las preguntas

En la elaboración de las preguntas del cuestionario se realizó una traducción cuidadosa de los instrumentos originales del inglés (algunos procedían de estudios españoles y de las en- trevistas realizadas) y se preparó el primer borrador del cuestionario. Este borrador fue presentado a seis colegas de las áreas de Contabilidad y de Organización de Empresa, in- cluyendo estudiantes de doctorado y profesores, algunos de los cuales habían ocupado car- gos en la gestión de empresas recientemente. Basado en sus comentarios se hicieron va- rios cambios en el orden de las preguntas, así como en la redacción de las mismas.

3.2.3. Los pretests de los distintos borradores entre los miembros de la población objetivo

Por Último, esta nueva versión del borrador del cuestionario fue también previamente con- trastada con cuatro directivos del sector sanitario (dos directores de hospitales privados-

(11) El alpha de Cronbach puede también interpretarse como un indicador de error de medición. Por ejemplo, un alpha de 0,7 indica que el 30% de la varianza en la variable se debe a un error de medición [Nunnally, 19781.

David Naranjo-Gil Salvando las dificultades del uso de la encuesta en la investigación contable de gestión ART~CULOS DOCTRINALES 371

concertados, uno de ellos había trabajado en hospitales públicos, un exdirector médico y gerente en hospitales públicos, todavía trabajando en la sanidad pública, y 1 subdirector médico actualmente activo en un hospital público). Con todos ellos, se discutió el cuestio- nario en una entrevista presencial de aproximadamente una hora de duración, en la cual se le pidió su opinión sobre la comprensión de las variables y de los ítems individuales. Los directivos subrayaron algunas palabras que podían confundir. Se prestó una cuidadosa atención para añadir palabras que cla,riñcaran, más que cambiar completamente el ítem. También se encontraron algunos problemas menores con la alineación y disposición de las

y respuestas en el cuestionario. Estos incluían insuñciente espacio para las res- puestas y malentendidos sobre el lugar donde contestar. Basándonos en estas sugerencias rescribimos algunos títulos y encabezados de forma más clara. Asimismo se introdujo de forma más concisa como debían ser contestadas las preguntas.

Dado que la mayoría de las modificaciones se referían al aspecto y a las instrucciones, la encuesta ñnal no fue muy diferente a la utilizada en el pretest en términos de escalas. Sin embargo, se mejoró los íterns en cuanto a la claridad y facilidad de las respuestas. Una de las ventajas del pretest fue descubrir que algunos datos necesarios no estaban recogidos, y otros podían eliminarse (eg. eficiencia organizativa), ya que estaban disponibles en diver- sas fuentes públicas, haciendo el cuestionario más reducido y conciso. Sin el pretest, la en- cuesta ñnal no hubiera proporcionado los datos adecuados para contrastar todas las hipó- tesis, en consecuencia fue importante para cumplir los objetivos establecidos y mejorar la encuesta. Al final de todo el proceso el cuestionario era pertinente, eficiente y claro tanto para los investigadores como para los encuestados CIbert et al., 20011, así se preparó e im- primió la versión ñnal del cuestionario.

El cuestionario se diseñó en forma de cuadernillo para facilitar su lectura y respuesta. Asi- mismo, el cuestionario no era muy largo, sólo seis páginas contenían preguntas sobre la in- vestigación, con ello se ganaba en economía de recursos y se reducía el eventual rechazo entre los directivos a la hora de contestar un cuestionario que pareciese demasiado exten- so DiUman, 20001. Asimismo, se puso énfasis en la creación de un estimulo común para to- dos los encuestados, por ello se cuido el orden de presentación de las peguntas al objeto de asegurar que los encuestados vieran y entendieran de forma similar todas las preguntas, así se agrupó de forma clara y sencilla la información presentada en cada página del cues- tionario Dillman, 20001.

Respecto al contenido del cuestionario, siguiendo a Bryman [2001, p. 1171 se prestó espe- cial atención en comenzar la encuesta con preguntas relativamente simples y cerradas (eg. nombre y edad), agrupando las preguntas más complejas al ñnal del cuestionario (eg. grado de implantación de distintas dimensiones estratégicas). Las cuestiones siguieron, en la medida de lo posible, un orden lógico, usando agrupaciones temáticas para facilitar el paso de un tema a otro mert et al., 20011, prestando mucho cuidado a la ordenación de las preguntas para evitar cualquier sesgo por efecto de contaminación entre ellas('". El pre- test realizado ayudó a diseñar el orden de las cuestiones y la forma de plantearlas. Así, pa-

(12) El efecto contaminación ocurre cuando una pregunta influye en la pregunta o preguntas siguientes [Ibert etal., 2001; Smith, 20031.

David Naranjo-Gil ART~CULOS DOCTRINALES Salvando Ins dificultades do1 uso do la oncuesta on la invcstimción contnblo de eestión

ra aclarar y guiar mejor el desarrollo del cuestionario se agruparon las preguntas por blo- ques (en lugar de una distribución mixta): 1) Características de los Directivos; 2) Sistema de Contabilidad de Gestión, y 3) Dimensiones Estratégicas. Siguiendo las indicaciones de los directivos entrevistados, se evitó realizar una definición académica del sistema contable de gestión, ya que podía mal interpretarse o entenderse de forma distinta, debido al sesgo de los directivos en el sector sanitario. En línea con Chenhall y Langfield-Smilh [19981 se de- finió el sistema contable de gestión como un conjunto de técnicas de contabilidad y control de gestión, dando ejemplos de aquéllas más usadas en los hospitales públicos españoles. En este sentido, durante el pretest se confeccionó una lista común de prácticas y técnicas de contabilidad de gestión normalmente usadas o de reciente introducción en los hospita- les públicos españoles, la cual incluía sistemas lradicionales de caculo de costes (eg. CO- AN), análisis de desviaciones presupuestarias, análisis coste-volumen-beneficio, cuadro de mando integral, coste basado en las actividades, y análisis de rentabilidad de los servicios. Antes de comenzar el bloque de preguntas sobre el sistema de contabilidad de gestión, se introdujo una pregunta donde se definía el mismo y se daban ejemplos de las técnicas de contabilidad y control de gestión. Posteriormente, se continuó el bloque preguntando sobre cómo usaban el SCG (eg. interactjvo y diagnóstico), qué tipo de información usaban (eg. clí- nica y económica), y por último para que tipo de decisiones (eg. asignación de recursos y evaluación del rendimiento).

3.3 .l. Disposición y Objetivos de las preguntas

La página inicial del cuadernillo de la encuesta contenía las ins~cciones generales a se- guir a lo largo del cuestionario, donde se destacaba que no había respuestas correctas o in- correctas y se les indicaba cómo responder a las preguntas (eg. marcando con un circulo la respuesta en la escala proporcionada). Posteriormente la página primera preguntaba so- bre los datos demogrzXcos de los encuestados, tales como edad, sexo o antigüedad en el puesto y organización. En esta página se introdujo el bloque sobre las características de los directivos, cuyo objetivo era recoger información tanto sobre la formación de los directivos (eg. postgrado, doctorado, masters, seminarios o cursos especializados), como de la expe- riencia de los mismos (eg. clínica, administración o gestión en hospitales públicos o en otras instituciones sanitarias), con ello pretendíamos analizar el períil predominante (profesional vs. administrativo) de los directivos (ver anexo para las preguntas del cuestionario).

En la segunda página del cuadernillo se introducía el bloque sobre el sistema contable de gestión, el cual se iniciaba preguntando sobre la utilización de distintas técnicas de conta- bilidad y control de gestión (eg. cuadro de mando integral o análisis de desviaciones). Tam- bién se preguntaba el estilo de uso del SCG, con el objetivo de conocer si lo usaban de for- ma interactiva o diagnóstica [Simons, 19951. A este respecto, es de destacar que durante el pretest encontramos que en el sector médico, la palabra «diagnóstico» tiene un significado especial relacionado con el descubrimiento de la enfermedad de los pacientes. Por esta ra- zón, operativizamos el concepto de diagnóstico con frases cortas basadas en Simons E19951 en lugar de con una descripción que enfatizaba el concepto de diagnóstico [Abernethy y Brownell, 19991. Así, se preguntaba si usaban el sistema contable de gestión para cuestio- narse y discutir los planes y objetivos establecidos, para motivar la asunción de nuevos re- tos y oportunidades por parte de sus subordinados, para involucrase en una atención per- manente con el resto del personal o para evaluar y controlar estrechamente a sus subordinados (ver anexo).

David Naranjo-Gil Salvando las dilicultadcs del uso de la encuesia en la investigación contable de gestión ART~CULOS DOCTRINALES 373

En la página tercera del cuadernillo del cuestionario se preguntaba sobre el grado de uso de una serie de indicadores económicos y clúiicos (no económicos) normalmente usados en la gestión de los hospitales públicos españoles. Así se preguntaba sobre el coste medio por paciente o punto GDR, la información de encuestas de satisfacción del cliente, la hecuen- tación hospitalaria (tanto urgentes como regladas) o el índice de cobrados a terceros. El ob- jetivo era conocer su orientación hacia un mayor uso de indicadores clínicos o indicadores económicos o ñnancieros. La página cuarta preguntaba el grado de uso del SCG para la to- ma de decisiones sobre asignación de recursos y/o sobre evaluación del rendimiento. En es- te caso se presentó una descripción general de cada tipo de decisión basada en la literatu- ra Beck, 2001; Reed, 20011(131. El objetivo era conocer el uso del SCG para facilitar la toma de dos tipos de decisiones extensamente usadas en la literatura contable [ver Chen- hall, 20031.

Las últimas páginas del cuestionario introducían el bloque sobre dimensiones estratégicas, así se les preguntaba sobre el grado de implantación de diversas dimensiones estratégicas, rela- cionadas con aspectos de costes y aspectos de flexibilidad y descentralización organizativa (ver anexo). Estas dimensiones eran comunes en los planes estratégicos formulados por las distin- tas autoridades sanitarias regionales. Con ello se pretendía conocer el grado de adopción (cumplimiento) de los planes estratégicos formulados por los servicios sanitarios centrales de cada región. También se preguntó sobre la percepción de la estrategia y el cambio estratégi- co en los dtimos tres años, para ello usamos dos descripciones de estrategia basadas en la ti- pología de Miles y Snow [19781. Con ello se pretendía un doble objetivo, conocer la percepción de la estrategia actual y de su evolución, esto permitiría analizar el papel del sistema contable de gestión como un mecanismo facilitador de la estrategia organizativa. La última era una pá- gina con un gran recuadro en blanco que podía ser usado por el encuestado para expresar su opinión sobre el cuestionario o bien incluir una página extra con sus sugerencias. Además, en esta última página se le daba la oportunidad para indicar si estaban interesados en mantener una futura colaboración con el equipo de investigación y si deseaban recibir el informe ñnal con los resultados del proyecto.

A un nivel más técnico, es de destacar que a lo largo del cuestionario se ucó una escala ti- po Lütert de cinco puntos con un punto extra, numerado como «O» para ohecer la opción de una opinión neutral o sencillamente ninguna opinión en absoluto(141. Con esto pretendí- amos distinguir a los encuestados que daban su opinión sincera de aquéllos que se veían forzado a elegir sobre un tópico para el cual hubieran aportado muy poco o nada. Siguiendo a Dillman [20001 esta categoría «indecisa» se puso en última posición separada de la esca- la de 1-5 puntos.

3.4. As~~cro Y DISTRIBUCI~N DEL CUESTIONARIO

El diseño del paquete de la encuesta llevó muchas consideraciones, en particular se puco gran énfasis en mejorar el índice de respuesta a través de una variedad de métodos y pa- sos basados en el trabajo de Dillrnan [20001 sobre investigación con encuesta. Dado que la apariencia y calidad física de las encuestas postales tiene un efecto significativo en el índi-

(13) Se prefirió una descripción general debido a las múltiples y diferentes decisiones específicas que deben tomar los directivos, con ello se facilitaba la operativización del constructo ... (14) Sólo un número reducido de preguntas era de tipo abierto o binomial, como por ejemplo la referente a la titulación académica y al sexo.

David Naranjo-Gil 374 ART~CULOS DOCTRINALES Snlvmdo los düicuitndes del uso de lo encucsta en la investigación contable do gestión

ce de respuestas Dillman, 20001, este estudio desarrolló distintos pasos para asegurar que el medio de reparto - e n este caso, la carta de presentación, el cuestionario y el sobre de respuesta- creara una impresión positiva. La calidad del papel, color y tamaño afecta a la impresión que el cuestionario causa en el encuestado Pillman, 20001. En este caso se usó un papel de una calidad muy buena para la carta de presentación, tipo verjurado color m d de 100 gramos, creando así un aspecto profesional y una presentación de alta cali- dad. Siguiendo a Dillman l20001, la encuesta se imprimió en forma de cuadernillo de tres folíos plegados tamaño A4 (210 x 297 mm), incluyendo la portada, la cual se imprimió en el mismo tipo de papel verjurado que la carta de presentación. La impresión se realizó en una impresora láser color con un tipo de letra suñcientemente grande y de calidad para obtener una apariencia profesional. Con ello, el diseño del cuadernillo proporcionaba una fácil y confortable lectura y respuesta de las preguntas, las cuales estaban enmarcadas por áreas o bloques para clarificar y facilitar aún más el seguimiento del cuestionario. Segui- mos un procedimiento intenso para distribuir la encuesta, el cual se basó en cinco contac- tos Dillman, 20001:

3.4.1. Primer Contacto: La carta de preaviso

Una carta de preaviso se envió el 26 de Agosto de 2002g5). En esta carta se le decía a los directivos que recibirían en los próximos días una encuesta para un importante proyecto de investigación. La carta de preaviso estaba personalizada con el nombre y apellidos del directivo y estaba fumada a mano y en tinta azulno por los miembros del equipo de inves- tigación. Esperábamos que tanto la personalización como la h a a mano de las cartas cre- ara una imagen seria y causara buena impresión entre los directivos, todo ello con el obje- tivo de aumentar su interés en participar en la investigación Dillman, 20001.

3.4.2. Segundo contacto: El envío de la encuesta

La encuesta se envió por correo una semana después del primer envío, junto con un so- bre de retorno y una carta de presentación. Esta última fue impresa en papel tipo verju- rado con los escudos de las universidades implicadas en el estudio, asimismo estaba per- sonalizada y firmada también a mano en tinta azul por los miembros del equipo de investigación. Esta carta se diseñó para contestar algunas de las preguntas que los en- cuestados se suelen hacer, como por ejemplo: ¿De qué trata esto?, ¿Quién quiere cono- cer mi opinión?, ¿Por qué quieren mi respuesta?, ¿Por qué he sido seleccionado?, iCó- mo de importante es esto?, ¿Será difícil de responder?, ¿Llevará mucho tiempo?, ¿Me costará algo?, ¿Podré ser identificado?, ¿Cómo usarán los resultados?, y ¿Qué me dan u okecen a mí? En resumen, la carta de presentación explicaba el proyecto de investiga- ción y pedía la participación de los encuestados. Se garantizaba el anonimato de las res- puestas y que ninguna de forma individual sería revelada. La carta fuializaba agrade- ciendo por adelantado a los encuestados su participación en el proyecto de investigación y el envío del cuestionario que se adjuntaba.

(15) Esta fecha fue elegida para evitar el envío del cuestionario en época de vacaciones (eg. Navidades, Semana Santa, Julio y Agosto), debido a que el índice de respuesta puede verse disminuido [Dillman, 2000; Smith, 20031. Se decidió en- viarlo la última semana de Agosto, con el objeto de que los directivos lo recibieran los primeros días de Septiembre. (16) La firma a mano en un color diferente al de las letras impresas (normalmente negro) puede proporcionar una irn- presión positiva [Dillman, 20001.

David Naranjo-Gil Snlvondo 1% diíiculhdes del uso de la encuestn en lo investigación contable de gestión ART~CULOS DOCTRINALES 375

Siguiendo a Dillman [20001 la carátula del cuadernülo de la encuesta debía estar diferen- ciada de otras que pudieran recibir los directivos, con el objetivo de que fuera fácil y cla- ramente identificada entre todas las posibles encuestas y documentos que los directivos pu- dieran recibir. Asíla carátula de presentación del cuadernülo de la encuesta tenía un dibujo azul que representaba la c m identificativa de los hospitales, el nombre y escudos a color de las Universidades involucradas en el proyecto de investigación, así como un nombre cor- to del proyecto de investigación «Estrategia y Control en Hospitales Públicos>>[1n, que apa- recía en el centro de la página. Por último, en la parte posterior del cuadernülo se incluyó un código de identificación, el cual consistía en un número entre 1 y 5 para identificar el ti- po de director seguido por un número del 1 al 218 para identificar el tipo y nombre del hos- pital. El propósito de este código fue solamente controlar las respuestas para facilitar el análisis estadístico y hacer posible el seguimiento de los que no respondían.

Cada encuestado también recibió un sobre pre-franqueado para enviar el cuestionario a los investigadores sin coste alguno para él. Además, a cada encuestado se le regaló un bo- lígrafo de alta calidad serigraiiado con el escudo de las universidades involucradas en la in- vestigación, con ello pretendíamos darle un pequeño incentivo agradeciéndoles el tiempo y colaboración prestada. Este tipo de incentivo se ha demostrado que tiene un papel muy mo- tivador para que las personas respondan a las encuestas [Dillman, 20001. En total se en- viaron 884 paquetes con toda la documentación de la encuesta a 218 hospitales.

3.4.3. Tercer Contacto: La carta de seguimiento

Aproximadamente dos semanas más tarde del segundo contacto, se envió una carta de se- guimiento a todos los encuestados, de nuevo personalizada y firmada a mano. El propósi- to de esta carta fue agradecer la respuesta a aquéllos que hubiesen contestado e imitar a responder a aquéllos que no lo hubieran hecho aún, para ello se les decía que si por algún motivo el cuestionario se había extraviado o no había llegado a ellos, se pusieran en con- tacto con el equipo investigador para que se lo remitiéramos de nuevo. Fruto de ello, se re- cibieron más de 40 llamadas de teléfono y correos electrónicos pidiendo que se enviara de nuevo el cuestionario, siendo la razón más argumentada el extravío del mismou8'.

3.4.4. Cuarto Contacto: El segundo envío del cuestionario

Unas tres semanas más tarde del tercer envío, una segunda copia del cuestionario fue en- viada a aquéllos que no habían contestado aún. Como en el segundo contacto, se incluyó una carta de presentación y un sobre pre-franqueado. Sin embargo, en este envío no se in- cluyó el bolígrafo ni ningún otro incentivo, básicamente por razones presupuestarias. En este sentido, Dillman [20001 desaconseja el envío de algún incentivo en el segundo o pos- teriores contactos por razones de rentabilidad de la inversión.

3.4.5. Quinto y último Contacto: Llamadas telefónicas

Finalmente, aproximadamente dos semanas más tarde del cuarto envío, se contactó por te- léfono con aquellos encuestados que todavía no habían respondido al cuestionario, invi-

(17) Los comentarios de los directores durante las entrevistas apuntaban como apropiado el usar este nombre corto en el cuestionario. (18) Es de destacar que muchos directivos recordaban nuestra encuesta por el bolígrafo que aún conservaban, lo cual re- fuerza la importancia de incluir este tipo de incentivos en las encuestas [Dillman, 20001.

David Naranjo-Gil 376 ART~CULOS DOCTiüNALES Snlvnndo los diucultodes del uso do In encuesta en la invesbl~ación contable de ~esblón

tándoles a hacerlo al mismo tiempo que se le subrayaba la importancia de su respuesta pa- ra el éxito del estudio. Especial énfasis se puso en conseggir las respuestas de determina- dos directivos necesarios para completar las respuestas del equipo directivo de ciertos hos- pitales. Elegimos el contacto telefónico sobre el postal, debido a que dispom'amos de los números de los disihtos directivos, además de que estos individuos no habían respondido a los envíos postales previos. Este atimo contacto exige gran capacidad de comunicación, paciencia y persuasión para tratar de motivar a los directivos a contestar al cuestionario Dillrnan, 20001, nuestra estrategia se centró en dar datos sobre el índice de respuesta, de- bido a que era alto, con el objetivo de resaltar la importancia que tenía el estudio para el sector y para el hospital en particular, asimismo insistimos que comunicaríamos los resul- tados de la investigación al directivo tan pronto como fueran procesados y analizados.

En la evaluación psicométrica de los datos del cuestionario se prestó especial atención a la evaluación del sesgo de no respuesta IYoung, 19961. Este tipo de sesgo debe considerarse ya que los directivos que respondieran al cuestionario podrían diferir de los que no lo hi- cieran debido a algún factor sistemático desconocido por los investigadores (eg. tamaño o localización geográfica), el cual puede afectar el patrón de respuesta de la encuesta CYoung, 19961. Por consiguiente, los datos de la encuesta podrían proceder de un segmen- to de la muestra, lo cual limita la generalización de los resultados de la investigación.

También se prestó atención al análisis de la fiabilidad y validez de los constructos, aspec- tos que tienen gran importancia al usar escalas de medida multi-ítems. En este tipo de es- calas se asume que las variables no tienen fiabilidad perfecta ya que es común que los ítems usados para medirlas posean algún tipo de sesgo (eg. efecto halo) o error de medición ale- atorio (eg. variables o contingencias no contempladas). Por consiguiente, antes de contras- tar las hipótesis y analizar las relaciones causales entre las variables, los ítems medidos de- ben ser evaluados con el objeto de validar los constructos [Hair et al., 19981.

La muestra total de este estudio fue de 884 directores en 218 equipos directivos. El índice de respuesta alcanzó el 53,5%, ascendiendo a 473 respuestas útiles. Del total de respues- tas formamos equipos directivos, ya que éstos constihyen nuestro nivel de análisis. Así, de las 473 respuestas útiles sólo 345 fueron usadas para formar 92 equipos directivos com- pletos (42,2%). Descartamos el resto de respuesta (un total de 128) para el análisis de las hipótesis sobre el equipo directivo. Sin embargo, para el análisis psicométrico usamos la muestra completa, debido a la mayor riqueza de datos obtenidos.

Debe notarse que la no-respuesta se convierte en un problema grave si se demuestra que hay diferencias sistemáticas entre los que responden y no responden, y que tales diferen- cias afectan a los resultados [Young, 19961. Este trabajo usó tres aproximaciones para eva- luar los posibles efectos del sesgo de no-respuesta: a) Comparar las respuestas de la en- cuesta con la lista original usada para el mailing; b) Comparar las respuestas que se recibieron en primer lugar con las más tardías, y c) Comparar las respuestas de la mues- tra usada para la formación de los equrpos directivos con el resto de la muestra total reco- gida [Pedham y Pedham, 1991; Roberts, 19991.

David Naranjo-Gil Salvando las diücultndes del uso de la cncuesh en la investigación contable de gestión ART~CULOS DOCTRINALES 377

a) Comparación de las respuestas de la encuesta con la lista original usada para el mailing Contrastamos si las respuestas procedían de ciertos hospitales y regiones, ya que entonces los datos de la encuesta no serían u11 reflejo de la población, lo cual limitaría la generali- zación de los resultados. Realizamos pruebas de Chi-cuadrado basadas en las característi- cas conocidas del tamaño del hospital (pequeño, mediano y grande) y de la dependencia gubernamental (ver Tabla 2)'"'. En ambos casos, los resultados de la prueba Chi-cuadrado no son s i ~ c a t i v o s por lo que proporcionan apoyo a la hipótesis de ausencia de diferen- cias entre la lista original usada en el mailing y las respuestas de las encuestas obtenidas.

TABLA 2 PRUEBA CIU-CUADRADO PARA LA POBLACI~N TOTAL BASADA EN EL TAMAÑO DE LA LISTA ORIGINAL

DEL MAILING Y LAS RESPUESTAS DE L4 ENCUESTA

b) Comparación entre las respuestas de los primeros y últimos encuestados

Tamaño

Pequeño (menos de 250 camas)

Medio (entre 250 y 600 camas)

Grande (más de 600 camas)

TOTAL

Las encuestas que se recibieron en primer lugar se examinaron con aquéllas recibidas posteriormente a través de la prueba de chi-cuadrado basada en el tamaño y la depen- dencia gubernamental. Además, se usaron pruebas t para muestras independientes con el objeto de contrastar las diferencias entre las medias de las variables usadas en la es- cala de medición [Brownell, 19951. La literatura indica que los encuestados que envían su cuestionario más tarde son generalmente similares a aquéllos que no responden IYoung, 1996; Brownell, 19951. Hay varios métodos para analizar los encuestados que responden primero y los que lo hacen más tarde(20), uno de los más recomendados es de- terminar los encuestados con más demora observando una ruptura temporal en el índi- ce de respuesta DiUman, 2000; Brownell, 19951. En este trabajo consideramos la fecha de envío del segundo cuestionario como una ruptura significativa para clasificar a los en- cuestados con más demora IYoung, 19961. Así, las respuestas recibidas después del se- gundo envío fueron consideradas como tardías. Un total de 371 cuestionarios fueron cla- sificados como respuestas tempranas y 102 como tardías. La Tabla 3 muestra los resultados usando la variable tamaño del hospital, como puede observarse las pruebas Chi-cuadrado no son signiñcativas (tampoco para el caso de la variable dependencia gu- bernamental), apoyando la hipótesis de ausencia de diferencias entre las repuestas de los primeros y últimos encuestados.

(19) Sólo se muestra las pruebas de Chi-cuadrado para el tamaiio, realizándose de forma idéntica para el caso de la de- pendencia gubernamental. (20) Por ejemplo, clasificando el primer 20% de las encuestas recibidas como respuestas tempranas y el último 20% co- mo respuestas tardías, o clasificando las primeras 100 encuestas recibidas como respuestas tempranas y las últimas 100 como tardías [Dillman, 2000; Brownell, 19951.

Chi-cuadrado x2 = 4.465 91 = 2 p = 0,107

LISTA ORIGINAL

375

265

244

884

%

42,42

29,98

27,60

1 O0

RESPUESTA ENCUESTA

200

154

119

473

%

42,30

32,55

25,15

1 O0

Dnvid Naranjo-Gil 378 ART~CULOS DOCTRINALES Snlvnndo las dificultades do1 w o do la oncuostn on In investignci6n conidlo do gestión

TABLA 3 PRUEBA DE CHI-CUADRADO PARA EL TAMAÑO COMPARANDO LAS RESPUESTAS DB LOS PRIMBROS

Y I~TIMos ENCUESTADOS

También comparamos las respuestas de los primeros y Últimos encuestados en las distin- tas variables de este trabajo. Usando el conjunto completo de datos, la Tabla 4 muestra las pruebas de t para muestras independientes comparando las medias de las puntuaciones entre las respuestas de los primeros y últimos encuestados para cada una de las variables medidas. Los resultados para cada escala indican que las respuestas no difieren entre los primeros y Últimos encuestados. Estos resultados apoyan la hipótesis de que no existe ses- go sistemático debido a la no respuesta.

Tamaño

Pequeiío (menos de 250 camas)

Medio (entre 250 y 600 camas)

Grande (más de 600 camas) .

TOTAL

c. Comparación de las respuestu entre la muestra usada para formar equipos directivos con el total de la muestra

Chi-cuadrado x2 = 1.374 gI = 2 p = 0,503

PRIMEROS

162

120

89

371

Variables

Bagaje Profesional

Bagaje Administrador

Uso Diagnóstico del SCG

Uso lnteractivo del SCG

Implantación estrategia (Flexibilidad)

Implantación estrategia (Coste)

Al formar equipos directivos a partir de una selección de la muestra, analizamos si esta se- lección era diferente del resto de respuestas, y por ende de la población. Las diferencias en- tre la muestra total y la muestra usada para formar equipos fueron analizadas a través de las pruebas t para muestras independientes comparando las puntuaciones medias. La Ta- bla 5 proporciona evidencia de que las respuestas no Meren entre los dos grupos, es de- cir las comparaciones no son significativas (p > 0,05).

%

43.67

32.34

23.99

1 O0

Media (Desviación Estándar)

ÚLTIMOS

49

34

19

102

t

-0,423

-0,427

1,616

0,936

0,470

0,470

PRIMEROS

2,37 (0,88)

2,75 (1,12)

3,55 (0,75)

3,11 (0,80)

3,43 (0,71)

2,86 (0,74)

%

48.03

33.34

18.63

1 O0

P

0,673

0,670

0,107

0,350

0,941

0,576

ÚLTIMOS

2,42 (0,91)

2,81 (1,15)

3,42 (0,74)

3,03 (0,78)

3,47 (0,71)

2,81 (0,71)

David Naranjo-Gil Salvando las diricullndes del uso de la-encuesta en la investigación contable de gestión ART~CULOS DOCTRINALES

* Esta prueba t se basa en varianzas desiguales.

Variables

Bagaje Profesional

Bagaje Administrador

Uso Diagnóstico del SCG

Uso lnteractivo del SCG

Implantación estrategia (Flexibilidad)

Implantación estrategia (Coste)

4.2. EVALUACI~N DE LAS PROPIEDADES P S I C O ~ C A S

Para la evaluación de las propiedades psicométricas seguimos los siguientes pasos:

1. Análisis factorial exploratorio, dado que las escalas no se esperaban unidimensionales, primero se estudió cuantos factores o dimensiones tenía el constructo.

Media (Desviación Estándar)

2. Análisis del alpha de Cronbach para la evaluación de la fiabilidad y consistencia inter- na de la escala(211.

t

1,943

1,529

1,082

1,149

0,516

1,241

Muestra usada para equipos directivos

2,43 (0,85)

2,81 (1,09)

3,55 (0,75)

3,12 (0,79)

3,44 (0,69)

2,88 (0,75)

3. Análisis factorid confirmatorio para evaluar la fiabilidad, varianza extraída y validez discriminante del constructo.

P

0,053*

0,127

0,280

0,251

0,606

0,215

Muestra no usada para equipos directivos

2,25 (0,97)

2,63 (1,20)

3,46 (0,76)

3,02 (0,81)

3,40 (0,75)

2,78 (0,70)

Realizamos un análisis de componentes principales de cada variable estudiada (eg. estilo de uso del SCG, características del equipo directivo e implantación de la estrategia)(221 con el objetivo de evaluar la dimensionalidad de los ítems medidos así como la validez conver- gente y discriminante de la escala total(231. Para la extracción de los componentes se usó la rotación varimax (ortog~nal)(~~), todos los ítems con una carga mayor que 0,5 en un único factor fueron considerados muy significativos para componer la escala Mair et al., 19981. Los factores con eigenvalores mayores que uno fueron considerados significativos para análisis posteriores. La evaluación de la fiabilidad inicial fue realizada usando los coefi- cientes alpha iniciales y los coeficientes alpha si un ítem era eliminado Bair et al. 19981.

(21) Este es el método más usual de contrastar la fiabilidad en contabilidad de gestión, aunque hay otros métodos como el método de la prueba-reprueba y el método de las dos mitades [García et ab, 20031. (22) Muy pocas variables contenían valores perdidos en algunos ítems, siendo la media de 2,4%, lo cual permitió que no se descartaran del análisis psicométrico. (23) La validez de contenido de los ítems medidos se estableció de forma razonada usando los instrumentos previamen- te validados y utilizados, con las modificaciones pertinentes basadas en los comentarios recibidos de los directores de hos- pitales y otros colegas universitarios. (24) La rotación ortogonal se refiere a la rotación de los factores de forma que permanezcan en ángulos rectos unos de otros, con el objetivo de maximizar la varianza de los factores [Pedhazur y Pedhazur, 19911. La rotación varimax es muy apropiada en este estudio porque las expectativas teóricas sugieren que varios factores pueden aparecer con una baja co- rrelación entre ellos, así la rotación varimax ayuda a minimizar cualquier tendencia hacia un factor general en la solución [Pedhazur y Pedhazur, 19911.

David Naranjo-Gil 380 ART~CULOS DOCTRDJALES Salvando las diucultades del uso da la encuesta en la investigación contable do gestión

La contribución relativa de los ítems individuales al total del constructo se examinó a tra- vés de las correlaciones entre los ítems con el de los demás ítems que componían la esca- la (correlación ítem-total), asimismo se observó como variaba el Alpha de la escala si un ítem era eliminado. De acuerdo con las recomendaciones de Hair et al., [19981, las corre- laciones ítem-total mayores de 0,5 fueron consideradas signiñcativas.

Finalmente, se consideraron tres medidas relacionadas con el constructo o componente pa- ra examinar la validez convergente: la fiabilidad del ítem, la fiabilidad del constructo y la media de la varianza extraída. La fiabilidad del ítem mide la cantidad de varianza en un ítem debido a la variable subyacente más que a un error. Existen evidencias de validez con- vergente cuando la fiabilidad del ítem es al menos 0,5 Nair et al., 19981. La fiabilidad del constructo mide la correlación entre los múltiples indicadores de una determinada varia- ble. Siguiendo a Hair et al., [19981, la media de la varianza extraída mide la varianza de la variable relacionada con la varianza debida a un error de medición (el nivel mínimo es 0,5). La validez discriminante se refiere al grado por el que una variable mide un concepto que es deñnido de forma única y que no está muy correlacionado con otras variables incluidas en el modelo, es decir, mide la unidimensionalidad de las variables [García et al., 20031. La validez discriminante de la variable se considera aceptable cuando la correlación entre dos variables es menor que la raíz cuadrada de la media de la varianza extraída [Fornell y Larcker, 19811.

A continuación aplicamos el análisis psicométrico a una de las variables de nuestra inves- tigación empírica: El estilo de uso del Sistema Contable de Gestión[251. En este estudio adap- tamos un instrumento basado en el trabajo de Simons [19951 y desarrollado por Abernethy y Brownell[19991, centrándonos en dos estilos de uso del SCG: Estilo interactivo, es decir, para la gestión y coordinación; y estilo diagnóstico, es decir para el control y el seguimien- to estrecho. Se les pidió a los encuestados que indicaran en una escala Likert de cinco pun- tos, desde «Muy Bajo» a «Muy alto», la extensión de uso de diez ítems, seis ítems estaban relacionados con el estilo de uso interactivo del SCG y cuatro ítems con el estilo diagnósti- co. En el anexo se muestra los ítems incluidos en el cuestionario para medir la variable es- tilo de uso del SCG. Los constructos fueron obtenidos como una media de las respuestas re- lacionadas con cada estilo (diagnóstico e interactivo).

Las Tablas 6,7 y 8 analizan la fiabilidad y convergencia del constructo estilo de uso del SCG. El análisis factorial exploratorio muestra dos factores, los cuales explican el 58.756% del total de la varianza del constructo. El Factor 1 fue denominado uso interactivo del SCG, y explicaba el 31.360 % de la varianza. El Factor 2 fue denominado uso diagnóstico del SCG, y explicaba el 27.396 % de la varianza. La fiabilidad interna de la escala de ambas varia- bles supera el 0,7 con una alta correlación ítem-total de cada ítem.

El análicis factorial c o ~ a t o r i o se realizó en base a estos dos factores (variables latentes), y mostró que todos los ítems tenían una fiabilidad adecuada (mayor que 0,5), y una fiabilidad compuesta de ambos constructos mayor que el nivel recomendado de 0,7 Mair et al., 19981. Además, la varianza extraída fue también mayor el nivel múiimo recomendado de 0,5.

(25) El mismo proceso de análisis se realizó para las demás variables incluidas en el cuestionario.

David Naranjo-Gil Salvando las dificullndes del uso de la encuesta en la investigación contnble de gestión ART~CULOS DOCTRINALES 381

TABLA 6 h h S 1 S FACTORIAL EXPLORATORIO

(26) La medida de adecuación muestra1 de Kaiser -Meyer-Olkin es un estadístico que indica la proporción de varianza en la variable que es una varianza común (causada por factores subyacentes). Si el valor es menor que 0,5, puede que no sea útil realizar el análisis factorial a los datos. Valores altos cercanos a 1,O suele indicar que los datos son adecuados para re- alizar un análisis factorial. El test de esfericidad de Bartlett indica si la matriz de correlación es una matriz identidad, lo cual indicaría que los ítems no están relacionados. El nivel de significación proporciona el resultado del test. Valores muy pe- queños (menores de 0,05) indican que hay relaciones significativas entre los ítems. Un valor mayor que 0,l indica que los datos no son apropiados para el análisis factorial.

~ R I A B L E S

USO DIAGNÓSTICO DEL SCG

USO INTERACTIVO DEL SCG

Correlación ítem- Total

0,633

0,589

0,497

0,466

0,677

0,687

0,683

0,716

0,715

0,539

ítems

ítem 1

ítem 3

ítem 8

ítem 10

ítem 2

ítem 4

ítem 5

ítem 6

ítem 7

ítem 9

Alpha si ítem eliminado

0,647

0,658

0,71 O

0,732

0,814

0,817

0,817

0,810

0,810

0,844

Alpha

0,745

0,851

David Naranjo-Gil 382 ART~CULOS DOCTNNALES Sdvando las dilicultades del uso do In encuesta en la invesbigoción contable de gestión

* La carga inicial se fijó igual a la unidad.

VARIABLES

USO DIAGN~STICO DEL SCG

USO INTERACTIVO DEL SCG

Finalmente se evaluó si éste y los demás constnictos estaban relacionados entre sí, en otras palabras, si los diferentes constructos eran únicos lHair et al., 1998; García et al., 20031. Se comprobó que la correlación entre cada par de constnictos era en todos los casos con- siderablemente menor que la raíz cuadrada de la media de la varianza extraída de los ítems que miden cada variable. Así, el rango medio de la varianza extraída oscilaba entre 0,724 y 0,801, donde el rango de las correlaciones oscilaba entre 0,010 y 0,707. Por lo tan- to, podemos concluir que hay validez discriminante entre todos los constnictos analizados, es decir, cada variable es única y no está muy correlacionada con las demás variables ana- lizadas.

5. DISCUSI~N Y CONSIDERACIONES FINALES

hems

ítem 1

ítem

ítem 8

item 10

ítem 2

item 4

ítem

item 6

ítem 7

item 9

Este trabajo ha descrito y evaluado críticamente una encuesta desarrollada para contras- tar la hipótesis de investigación sobre el uso del sistema contable de gestión por los equi- pos directivos y su efecto en la implantación de la estrategia organizativa. El objetivo de es- te estudio ha sido doble, en primer lugar describir algunas de las críticas de la investigación contable que usa el método de la encuesta, demostrando que las debilidades potenciales del método pueden superarse prestando especial atención al diseño del cuestionario y al análisis psicométrico de las variables incluidas en él. Un segundo objetivo ha sido proponer un resumen comprehensivo de cómo conducir una investigación con encuesta en contabi- lidad de gestión, aunque existe mucha literatura cubriendo estos temas, es diñcil encontrar un trabajo en contabilidad de gestión que desarrolle de forma completa en un único estu- dio el «cómo» (el diseño y proceso de medición) y el «qué» (el tema de investigación y la muestra) de la investigación con encuesta [Robert, 19991.

Como consideración final podemos decir que muchas de las críticas a las investigaciones contables con encuesta que señaló Young [19961 pueden ser salvadas realizando m cuida- doso desarrollo del diseño de la encuesta, prestando especial atención al análisis previo del

Cargas estandarizada

0,742

0,744

0,729

0,711

0,711

0,833

0,782

0,845

0,872

0,755

Coeficiente crítico

*

15,715

16,127

13,877 *

16,154

16,230

15,107

15,914

15,084

Fiabilidad Individual

0,551

0,554

0,532

0,505

0,506

0,693

0,612

0,714

0,761

0,569

Fiabilidad Compuesta

0,821

0,914

Varianza Extraída

53,527%

64,256 %

David Naranjo-Gil Salvondo 1 s diüculúuies del uso de la encuesta en la investigación contable de gestión ART~CULOS DOCTRINALES 383

cuestionario, a la correcta administración del mismo y a un detallado análisis psicométri- co que evalúe la validez y fiabilidad de todas las medidas realizadas. Ello permitirá reco- ger datos de calidad y demostrar que el método de la encuesta en contabilidad de gestión puede ser riguroso y muy relevante. Este trabajo ha realizado un análisis exhaustivo del proceso de diseño y distribución del cuestionario, así como de la medición de las variables, las cuales muestran una alta fiabilidad y validez. Esto ayuda a crear un instrumento ro- bwto y fiable que puede proporcionar resultados consistentes y válidos para ser usados en futuras investigaciones contables.

Este trabajo no recoge todas las técnicas disponibles para realizar el proceso de la encues- ta y mejorar la calidad de los datos, sólo ha puesto de manifiesto distintas formas de salvar las críticas al método de la encuesta, eligiendo la más idónea para el trabajo empírico que se analizaba. Asimismo, el método de la encuesta, como otros métodos de investigación, tie- ne limitaciones, la más usual es la relacionada con la profundidad de los conceptos que se pretenden medir, el escaso detalle de las variables se sacriñca para llegar a una muestra amplia que permita desarrollar inferencias estadísticas sobre la población general. Otra li- mitación de la encuesta es la cawalidad, que está implícita en estudios de tipo transversal realizados en un determinado momento del tiempo. Sin embargo, la relación causa y efec- to puede ser justificada con una base teórica sólida que sirva para desarrollar hipótesis bien argumentadas, junto con una recolección de datos de calidad (medidas fiables y váli- das) que permitan desarrollar análisi estadísticos adecuados.

6. REFERENCIAS

ABEF~N~HY, M. A., y BROWNELL, P. [19991: «The role of budgets in organizations facing strategic change: an exploratory studp, Accounting, Organizations and Society, 24, pp. 189-204.

ASENJO, M. A. [1999]: Las claves de la Gestión Hospitalaria, Gestión 2000 S . A., Barcelona.

BROWNELL, P. [1995]: Research methods in management accounting, Coopers & Lybrand, Australia.

BRYMAN, A. [2001]: Social Research Methods, Oxford University Press, Oxford.

CIEMW, R. H. [2003]: ((Management control systems design within its organizational context: findings from contingency-based research and directions for the future)), Accounting, Organizations and So- ciety, 28, pp. 127-168.

CHENHALL, R. H., y LANGFIELD-Sm, K. [19981: «The relationship between strategic prioriües, manage- ment techniques and management accounüng: An empiricai investigation using a systems approacb, Accounting, Organizations and Society, 23, pp. 243-264. ,

C o s w i PUEYO, D. [2000]: «Gestión Clúiica», Revista de Administración Sanitaria, Vol. 16, Octu- brmiciernbre.

ERRASTI, E. [1997]: Principios de Gestión Sanitaria, Díaz de Santos S.A., Madrid.

FINK, A., y KOSECOW, J. [19981: How to Conduct Sunieys, 2nd ed, Thousand Oaks, CA, Sage.

FINKELSTEIN, S., y HAMBRICK, D. C. [19961: Strategic Leadership: Top Executives and Their Effects on Or- ganizations, St. Paul, Minneapolis, West Publishing Company.

FORNELL, C. R., y LARCKER, D. [l98ll: «Stnictural equation modelc with observable variables and mea- surement error)), Journal of Marketing Research, 18, pp. 39-50.

GARC~A BENAU, M. A.; HUMPHREY, C.; MOIZER, P., y TURLEY, S. [19931: (Auditing expectations and perfor- mance in Spain and Britain: a comparative analysis», International Journal of Accounting, 28, pp. 281-307.

David Naranjo-Gil 384 ART~CULOS DOCTRINALES Salvando los diucultades del uso de la oncucsta en la invcstimción contnblo de gestión

GARC~AVALDERMMA, T.; A~AUJO PINZ~N, P., y CUWAS RODR~GUEZ, G. 120031: «Hacia la Medida de la Innovación

Empresarial: El proceso de validación de escalas)), Revista Española de Financiación y Contabilidad,

v. XXXII, 116, pp. 17-61.

G w , K. E., y W ~ O N , B. S. [19881: Research in health cure settings, Applied Social Research Me-

thods Series, Vol. 14, Sage Publications, California.

HAIR, J.; ANDERSON, R.; TATW, R., y BLACK, W. E19981: Multivariate data analysis, Prentice Hail, Upper

Saddle Rive, New Jersey.

HAM~RIcK, D., y MASON, P. 119841: «Upper echelons: The organkation as a reflection of its top managers»,

Academy ofManagement Review, 9, pp. 193-206.

IBERT, J.; BAUMARD, P.; DONADA, C., y XUEREB, J. [20011: «Data Collection and Managing the Data Source)),

IN Alain Thietart et al,, Doing Management Research: A comprehensive guide, Sage Pubiications, Lon-

don, pp. 172-195.

MILES, R. E., y SNOW, C. C. 119781: Organizational Strategy, Structure, and Process. McGraw-Ilill Book

Company, New York.

NUNNALLY, J. D. [1978]: Psychometn'c theow, 22." ed. New York, McGraw-Hill.

PEDHAZUR, E. J., y PEDHAZUR, L. [19911: Measurement. Design andAna1ysi.s: An IntegratedApproach, La-

wrence Erlbaum Associates, United States.

PORTER, M. E. [1985]: Competitive Advantage: Creating and Sustaining Superior Performance; The Free

Press, New York.

REcK, J. L. [20011: «The usefulness of ñnanciai and nonñnancial performance information in resource

docation decisions)), Journal ofAccounting and Public Policy, 20, pp. 45-71.

REED, S. A. 119861: «The impact of nonmonetary performance measures upon budgetary decision ma-

king in the public sector)), Journal ofAccounting and Public Policy, 5, pp. 111-140.

ROBERTS, E. S. [1999]: .In defence of the survey method: An illustration hom a study of user informa-

tion satisfactiom, Accounting and Finance, 39, pp. 53-77.

SANCHEZ, M., y SARABIA, E J. [19991: «Validez y fiabilidad de escalas)), IN SARABIA, F .J. (Coordhador): Me-

todología para la investigación en marketing y dirección de empresas, Madrid, Editorial Pirámide.

SIMONS, R. 119951: Levers of Control: How Managers Use Innovative Control Systems to Drive Strategic

Renewal, Boston, Ma.: Harvard Business School Press.

S m , M. [20031: Research Methods in Accounting, Sage Publications, Thousand Oaks, Caüfornia.

SPRINKLE, G. B. [2003]: «Perspectives on Experimental Research in Managerid Accomtin@), Accoun-

ting, Organizations and Society, 28, pp. 287-318.

YOUNG, S. M. [19961: «Survey Research in Management Accomting: A Criticd Assessmenb~ IN RICHARD-

SON, A. J. (ed.). Research Methods in Accounting, pp. 55-68.

YOUNG, G.; CHARNS, M., y SHORTEU, S. [2001]: «Top manager and network effects on the adoption of in-

novative management practices: A study of TQM in a public hospital systew>, Strategic Management

Journal, 22, pp. 935-951.

David Naranjo-Gil Snlvando los dXcultndes del uso dc la cncucstn en la investigación conlable dc gestión ART~CULOS'DOCTRINALES 385

ANEXO: V ! L E S DEL CUESTIONARIO

1. Características Directivos

Título y Grado universitario. Años de formación en temas de gestión y administración de empresas fuera de la universidad (eg. seminarios, masters y cursos especialización). Años de formación en temas asistenciales fuera de la universidad (eg. seminarios, masters y cursos de especialización). Años de experiencia asistencial (clínica) en hospitales públicos. Años de experiencia asistencial en otras organizaciones del sector salud (eg. hospitales priva- dos y otras instituciones sanitarias). Años de experiencia en la gestión o dkección de hospitales públicos. Años de experiencia en la gestión de otras organizaciones del sector salud (eg. hospitales pri- vados y otras instituciones sanitarias).

2. Esiiio de uso del Sistema Contable de Gestión

De acuerdo con las siguientes hases, por favor indique el uso general que hace del Sistema Con- table de Gestión, considerando como el conjunto de técnicas de contabilidad y control de gestión:

Para seguir el cumplimiento de metas u objetivos preestablecidos. Para negociar y discutir los planes y objetivos establecidos. Para establecer p'as para corregir y revisar desviaciones significativas. Para motivar la asunción de nuevos metas, prioridades y oportunidades. Para señalar y localizar áreas estratégicas claves. Para fomentar la aparición de nuevas ideas y formas de hacer las cosas. Para involucrarse en una atención permanente con sus subordinados. Para evaluar y controlar estrechamente a sus subordinados. Como una herramienta de aprendizaje. Para alinear las medidas de rendimiento con las prioridades y metas estratégicas.

3. Implantación de la Estrategia

En relación con las líneas estratégicas marcadas por los servicios centrales de su Comunidad Autó- noma, considere el grado de implantación de las siguientes dimensiones en el área de su hospital:

Descentralización de responsabilidades. Participación de los usuarios en la gestión. Adaptación y actualización del conocimiento del personal. Programas de reducción de coste y control rendimiento. Cooperación con otras unidades o direcciones del hospital. Coordinación y cooperación con otras instituciones relacionadas con el hospital. Programas de armonización y cooperación dentro de su dirección. Adaptación y actualización de los sistemas informáticos para la gestión. Programas de control por líneas de productos o servicios.