Upload
others
View
0
Download
0
Embed Size (px)
Citation preview
Naranjo Sánchez Bertha Alice
Calidad del software educativo: Metodología de Evaluación de software educativo para determinar el que cumple con las especificaciones basadas en estándares [email protected], [email protected]
Resumen: Las instituciones educativas demandan cada vez más modelos, técnicas
y herramientas que ayuden a la evaluación de software educativo para así poder
seleccionar de forma más eficiente la Tecnología de Información (TI) que cumpla con
estándares internacionales que permita garantizar de esa manera la operatividad
razonable de un producto software educacional.
El presente artículo, analiza un caso práctico que permite demostrar como los modelos
aportan y potencian la selección adecuada de productos de software seguro y
eficiente. Además se presenta un nuevo enfoque de evaluación combinando modelos
y técnicas de evaluación de software permitiendo así una selección óptima de un
producto. En este caso se aplica el enfoque de pruebas y el desarrollo de casos para
la correcta determinación del producto software.
Palabras Clave: Software Seguro, Modelos de Calidad, ISO 9126, estándares
internacionales, calidad de software, métricas, indicadores
Abstract: The educational institutions demands models, techniques and tolls that help
to the educational software evaluation in order to select the most efficient Information
Technology to achieve the international standards to guarantee in this way the
operativity reasonable of a educational software product.
This article analyze a study case that show how the models contribute and improve the
adequate selection of secure and efficiency software products.
Also shows a new approach of evaluation combining models and techniques of
software making an optimal selection of a product. In this case we also apply the
testing approach and cases of study to the correct determination of the software
product.
Key Words: Secure software, Quality Models, ISO 9126, international standards,
software quality, metrics, indicators.
INTRODUCCIÓN
EVALUACIÓN DE SOFTWARE Página 1
La evaluación de software educativo se ha convertido en una necesidad no sólo de
empresas comerciales que construyen este tipo de productos, sino también de
instituciones educativos y docentes que desean seleccionar la mejor herramienta para
lograr el objetivo educacional y el desarrollo de destrezas y habilidades en el aula.
Esta situación ha despertado gran interés en las instituciones educativas, empresas
desarrolladoras de software, ingenieros de software, diseñadores gráficos y en fin, su
amplia cobertura en el tema educativo y el interés despertado por esta audiencia ha
motivado a que en la actualidad se desarrollen muchas investigaciones alrededor del
tema de la evaluación de software educativo.
EVALUACIÓN DE SOFTWARE EN EL CONTEXTO EDUCATIVOLa evaluación en el medio educativo ha involucrado a algunos teorías, algunos han
preferido la evaluación cualitativa mientras que otros prefieren la evaluación
cuantitativa y hasta la cualicuantitativa. Todo proceso de evaluación incluye a algunos
actores. Pero si bien es cierto la evaluación de software educativo es un proceso.
Como todo proceso está apoyado en modelos, herramientas, técnicas.
Para evaluar software educativo debemos tener en cuenta modelos, métodos, técnicas
y herramientas, lo importante es seleccionar la que vaya acorde al caso. Todo esto
debe ser parte de un portafolio que el evaluador debe tener para ejecutar su trabajo.
Los objetivos de este trabajo investigativo son:
1.- Establecer una metodología para evaluar software educativo
2.- Presentar un modelo de evaluación de software generalizado
1.- Metodología para evaluar softwareBasada en el estándar 15.939 y en otras metodologías para evaluar software se
aplicó una metodología particular al caso que puede ser considerada como un aporte a
las metodologías de evaluación generalizada.
Esta metodología consta de las siguientes partes:
1.1.- Establecimiento de la evaluación
1.2.- Planificación de la evaluación
1.3.- Establecer el Modelo de Calidad
EVALUACIÓN DE SOFTWARE Página 2
1.4.- Determinar la puntuación/calificación de los elementos que componen el modelo
1.5.- Efectuar medición
1.6.- Establecer resultados
1.7.- Presentar Informe
1.1.- Establecimiento de la evaluación
Identificada la necesidad del trabajo se debe determinar el enfoque de la medición. En
esta fase se debe:
1.1.1.- Determinar objetivo de la evaluación
1.1.2.- Establecer tipo de la evaluación
1.1.3.- Identificar el tipo de producto
1.1.1.- Determinar Objetivo de la evaluación: Consiste en relevar con el cliente el
objetivo de la evaluación. Ej: Comparar productos software educativos afines para
determinar aquel que cumpla con las especificaciones
1.1.2.- Establecer Tipo de evaluación: Consiste en identificar el tipo de evaluación.
Esta puede ser: Producto o proceso
1.1.3.- Identificar el tipo de producto.- Se debe identificar el Producto a evaluar sea
éste: Comercial, desarrollado a medida, software libre o gratuito, software rentado,
alquilado, comprado/por comprar, entre otros
1.2.- Planificación de la evaluación
La planificación implica organizar el trabajo a realizar. Las principales actividades
dentro de esta fase son:
1.2.1.- Elaborar cronograma de la evaluación
1.2.2.- Identificar responsables
1.2.3.- Determinar roles
EVALUACIÓN DE SOFTWARE Página 3
1.2.4.- Elaborar contrato (En el caso de una evaluación comercial) o acuerdo (para
software no comercial)
Una explicación detallada de estos componentes se muestra a continuación.
1.2.1.- Elaborar cronograma de la evaluación.- En esta fase se debe elaborar un
cronograma tentativo pero que se definan las principales actividades a realizar
1.2.2.- Identificar responsables.- En esta etapa se definirá el recurso humano que
intervendrá en el proyecto. Ejemplo: evaluadores, docentes, alumnos, técnicos,
pedagogos, andragogos, entre otros dependiendo del tipo de software educativo a
usar
1.2.3.- Determinar roles.- Aquí se determinan las actividades y/ tareas que van a
desarrollar por cada uno de los integrantes del proyecto.
1.2.4.- Elaborar contrato o acuerdo.- En esta actividad se establecen los parámetros
contractuales de la medición que se documentarán en el contrato o acuerdo.
1.3.- Establecer el Modelo de Calidad
El modelo creado para evaluar software educativo se basa en estándares
internacionales.
Este modelo diseñado a medida pero que puede ser considerado en un contexto
general considera cuatro niveles a la hora de evaluar software. Estos niveles son:
Nivel 0: Tipo de Calidad
Nivel 1: Características
Nivel 2: Subcaracterísticas
Nivel 3: Métricas
Nivel 4: Indicadores
1.3.1.- Determinar el tipo de calidad, las características, subcaracterísticas, métricas e indicadores
Nivel 0: Tipo de calidad (Métricas de Producto y métricas proceso)
EVALUACIÓN DE SOFTWARE Página 4
En el enfoque global el modelo de calidad está centrado en métricas de proceso y
métricas de producto.
Las métricas de producto se basan en la familia ISO 9126, IEEE 14143, ISO 20.000
que contiene métricas internas, externas y de calidad en uso.
Las métricas de proceso resumen los aspectos comunes de los siguientes estándares
COBIT, ISO 17799, ISO 27001, CMMI, ISO 15504, IEEE 1044, ITIL, ISO 20000, entre
otros.
Nivel 1: Características Este modelo considera todas las métricas de calidad interna, externa y de uso
agrupadas bajo la denominación de características
Figura 1.- Modelo de Calidad de la ISO 9126
En este nivel se escogen las características deseadas en la evaluación del software
educativo, pueden ser todas o aquellas que el equipo evaluador considere relevante o
también se pueden incluir particularidades del software educativo según corresponda
Nivel 2: Subcaracterísticas
Para armar el modelo lo primero que hacemos es establecer este nivel que lo
componen los atributos del producto, para ello es aconsejable listar todos los atributos
que debe reunir el software ideal que para el modelo constituyen las
subcaracterísticas, luego de validarlas con el cliente y obtener su aceptación
EVALUACIÓN DE SOFTWARE Página 5
procedemos a incluirlas en nuestra matriz del modelo de calidad de software bajo la
denominación de subcaracterísticas
Nivel 3: Métricas Para cada subcaracterística establecemos las fórmulas o medidas que usaremos para
poder llegar a determinar el grado de cumplimiento de las subcaracterísticas.
Nivel 4: Indicadores Aplicada las fórmulas llegamos a calcular el número resultante obtenido que puede ser
un número, un porcentaje, un numerador y un denominador, en fin la medida en la cual
las subcaracterísticas se cumplan
Para documentar cualquier anexo o papel de trabajo que describa el modelo de
calidad establecido se usarán los siguientes códigos asignados a características y
subcaracterísticas:
1. Se usarán las dos primeras letras para referenciar a la característica
2. Se usarán las tres primeras letras para referenciar a la subcaracterística
3. Se usarán las tres primeras letras para referenciar a categorías dentro de la
subcaracterística
4. Se usará el código anterior más un número secuencial en orden ascendente
para referenciar a cada atributo de una subcaracterística
5. Se usará un número secuencial en orden ascendente para referenciar a cada
papel de trabajo
6. Cada papel de trabajo deberá llevar el código del atributo relacionado además
del número antes indicado en el párrafo anterior
El modelo descrito en dos niveles es el que se presenta a continuación:
Tabla 1.- Modelo de calidad: Características y subcaracterísticas
CODIGO CARACTERISTICA CODIGO SUBCARACTERISTICA
FU FUNCIONALIDAD ADE ADECUACION
EXA EXACTITUD
INT INTEROPERABILIDAD
SEG SEGURIDAD DE ACCESO
FI FIABILIDAD MAD MADUREZ
EVALUACIÓN DE SOFTWARE Página 6
TFA TOLERANCIA A FALLOS
REC RECUPERABILIDAD
US USABILIDAD ENT ENTENDIMIENTO
APR APRENDIZAJE
OPE OPERABILIDAD
ATR ATRACCION
EF EFICIENCIA CTI COMPORTAMIENTO EN EL TIEMPO
URE UTILIZACION DE RECURSOS
MACAPACIDAD DE MANTENIMIENTO CAN CAPACIDAD DE SER ANALIZADO
CAM CAMBIABILIDAD
EST ESTABILIDAD
FPR FACILIDAD DE PRUEBA
PO PORTABILIDAD ADAP ADAPTABILIDAD
FIN FACILIDAD DE INSTALACIÓN
COE COEXISTENCIA
REE REEMPLAZABILIDAD
EF EFECTIVIDAD LME LOGRAR METAS
PR PRODUCTIVIDAD TCT TIEMPO PARA COMPLETAR TAREAS
RET REDUCCION DE ESFUERZO DE TRABAJO
ETAEJECUCION EN TIEMPOS ADECUADOS Y CONSTANTES
SESEGURIDAD DE USO CCO CAMBIO DE CONTRASEÑAS PERIODICO
AUC ADMINISTRACION DE USUARIOS Y CONTRASEÑAS
ACC ADMINISTRACION CENTRALIZADA DE CONTRASEÑAS
SA SATISFACCION NSU NIVEL DE SATISFACCIÓN DEL USUARIO
CMS CONFIANZA EN EL MANEJO DEL SOFTWARE
COS CONOCIMIENTO OPERACIONAL DEL SOFTWARE
AAI ACCESIBILIDAD A LA INFORMACION
EBR ENTRENAMIENTO BRINDADO
EVALUACIÓN DE SOFTWARE Página 7
STE SOPORTE TECNICO
MIN MENSAJERIA INSTANTANEA
1.4.- Determinar la puntuación/calificación de los elementos que componen el modelo
Se debe precisar los criterios de valoración establecidos por niveles.
Nivel 0: Tipos de calidad
La escala de puntuación la establece el personal técnico con un puntaje de 100, de los
cuales distribuye apropiadamente de acuerdo al enfoque de la medición. Para el nivel
0 se determina:
Métricas de producto
60 puntos para métricas de calidad interna y externa,
20 puntos para las métricas de calidad de uso
Las métricas de calidad interna y externa son tomadas del modelo ISO 9126 y
permiten evaluar criterios necesarios de todo software educativo tal como lo incluyó en
su debida época el modelo de McCall y que está vigente aún en nuestros días.
Métricas de proceso
Las métricas de proceso se consideran en el modelo únicamente si la evaluación de
software educativo se lo hace para la empresa o institución educativa desarrolladora
de dicho aplicativo y si es que se considera evaluar el mantenimiento del software
educativo en el tiempo.
En el modelo planteado se asignó 20 puntos para Aspectos de la Administración de
sistemas, que constituyen la base que soporta el uso del aplicativo y su mantenimiento
en el tiempo, si este es el criterio a incluir; puede ocurrir que en algunos casos estas
métricas no se tengan que incluir en el modelo, por ello los 100 puntos en los que
califica el modelo se deberán distribuir únicamente en las métricas de producto
Nivel 1. Características
EVALUACIÓN DE SOFTWARE Página 8
En este nivel se distribuye el puntaje asignado en el nivel 0 acorde a criterios de la
evaluación. Este puntaje es sugerido por el personal técnico pero debe estar
debidamente aprobado por el cliente. De las métricas de producto tres características
fueron consideradas preponderantes para el caso y éstas fueron: Funcionalidad,
usabilidad y fiabilidad a la cual le otorgamos el mayor puntaje de una calificación de 80
puntos y los 20 restantes fueron asignadas a las métricas de proceso, tal como se
observa en las siguientes tablas.
Tabla 2.- Relevancia entre factores de calidad-Características por Producto
Características por Producto Puntaje
FUNCIONALIDAD 20
USABILIDAD 12
FIABILIDAD 9
EFICIENCIA 8
SATISFACCION 8
CAPACIDAD DE MANTENIMIENTO 6
PRODUCTIVIDAD 6
PORTABILIDAD 5
EFECTIVIDAD 3
SEGURIDAD DE USO 3
TOTAL
80
EVALUACIÓN DE SOFTWARE Página 9
Tabla 3.- Relevancia entre factores de calidad - Características por Proceso
Características por Proceso Puntaje PLANIFICACIÓN DE SISTEMAS 5 ORGANIZACIÓN 5 CONTROLES GENERALES 4
METODOLOGIA DE DESARROLLO DE SISTEMAS
2
ENTREGA E IMPLEMENTACIÓN DE SISTEMAS
2
ADMINISTRACIÓN DE LA DOCUMENTACIÓN
2
TOTAL 20
Nivel 2: Subcaracterísticas
En este nivel el personal del equipo de evaluadores establece los puntajes de
valoración repartidos apropiadamente pero que en total deben sumar el valor
aprobado por el cliente en el nivel 1.
Para comprobar el cumplimiento de cada subcaracterística se aplicaron técnicas de
investigación (Entrevista y encuestas), así como pruebas técnicas, administrativas y/o
de cuestionario de relevamiento técnico, las cuales también tuvieron un peso en esta
evaluación acorde a criterios
Tabla 4.- Ejemplo de distribución de Peso de Instrumentos usados en la evaluación de software
Cuestionario a usuarios
Prueba Administrativa
Cuestionario de Relevamiento Técnico
Prueba de caja negra
TOTAL
EVALUACIÓN DE SOFTWARE Página 10
X 50 X 50 100
X 30 X 20 X 50 100
X 100 100
X 100
X 50 X 30 X 20 100
X 100 100
Tanto el cuestionario como las pruebas se deben ejecutar en número mínimo de tres y
se debe determinar el peso relativo que deben tener en la evaluación, el cual se puede
resumir de la siguiente forma:
Si en una subcaracterística se aplican únicamente pruebas administrativas y/o
cuestionario técnico, estas tienen un puntaje de 50% cada una, lo cual da un 100% de
la evaluación total, pero este porcentaje debe ser analizado por el equipo evaluador, y
podría variar de acuerdo a cada componente y evaluador, tal como se aprecia en la
tabla anterior, por ejemplo aspectos educacionales pueden pesar más que criterios
técnicos en un nivel y eso hará que el porcentaje mayor sea asignado al componente
que a nuestro criterio tiene mayor peso que el otro.
Las entrevistas que se deben realizar son de tipo técnico respecto a las necesidades
tanto educativas como informáticas requeridas
Las encuestas deben ser destinadas a los usuarios o posibles usuarios del software
educativo así como podrían aplicarse cuestionarios de relevamiento técnico.
Las encuestas deben usar preguntas con diversas escalas, las cuales pueden ser
escalas dicotómicas o escalas de Likert, puesto que permiten valorar de mejor forma y
con un criterio más preciso las diversas percepciones de los usuarios o posibles
usuarios.
Las preguntas de escala usadas en el cuestionario plantean el nivel de apreciación del
encuestado, sobre una base de afirmaciones se pueden codificar con los valores
establecidos, acorde a la escala que se adjunta:
Tabla 5: Escala de Likert de 5 niveles
Total desacuerdo
Parcial Desacuerdo
Medio Parcial Acuerdo
Total Acuerdo
EVALUACIÓN DE SOFTWARE Página 11
1 2 3 4 5
Las pruebas deben ser ejecutadas sobre los productos software y ante la presencia de
los solicitantes de la evaluación.
Las pruebas realizadas en el estudio plantean la evaluación de cumplimiento de
características relacionadas con los atributos evaluados, por lo que el procedimiento
de valorización de cada prueba consistió en: Evaluación ponderada y proporción de
cumplimiento.
Evaluación ponderada
El procedimiento planteado es:
Establecer un peso para cada característica evaluada en la prueba. La suma
de los pesos da un 100%.
La sumatoria de la multiplicación del cumplimiento de la característica con el
respectivo peso.
Tabla 6: Ejemplo de ponderación
Peso Cumplimiento
Característica 1 P1 C1 Donde:
Característica 2 P2 C2 C: representa el cumplimiento de la característica,
Si (1) y No (0)Característica 3 P3 C3
… … …
Característica n
Pn Cn P: ponderación de la característica, la suma de lasponderación da 100%
EVALUACIÓN DE SOFTWARE Página 12
Valor ponderado R
La ponderación se da de acuerdo al nivel de importancia de la característica.
Proporción de cumplimiento
El procedimiento planteado es:
Tabular con “1” el cumplimiento de la característica analizada y “0” en el caso contrario.
Contar cuantos cumplimientos logrados y dividir para el número de características totales.
Tabla 7: Ejemplo de cumplimiento
Cumplimiento
Característica 1 1
Característica 2 1
Característica 3 0
……. …..
Característica n 1
Proporción 0,75
% Cumplimiento= (C1+C2+C3+…..Cn)/n *100
Nivel 3: Métricas
• A cada métrica seleccionada le asignará un puntaje máximo de referencia.
• La suma de los puntajes máximos de todas las métricas deberá ser igual a 100
puntos.
Sólo se usarán números enteros en la puntuación de cada característica y
subcaracterística
EVALUACIÓN DE SOFTWARE Página 13
Todos los puntajes serán referidos como puntaje establecidos, en todos los niveles.
1.5.- Efectuar medición
Para la medición, las características, subcaracterísticas, métricas e indicadores
seleccionados o establecidos en el modelo deben ser evaluados y por ello se aplica la
medición a través de todos los instrumentos diseñados y considerados dentro del
modelo.
Los valores obtenidos al efectuar la medición serán denominados puntajes obtenidos y
son expresados en función de las escalas establecidas previamente. En la ejecución
de la medición puede ocurrir que una característica, subcaracterística, métrica o
indicador no alcance el puntaje establecido pero en su defecto nunca podrá ser de
mayor valor.
En la ejecución de las mediciones se ejecutan todas las pruebas establecidas para el
modelo.
Existen varios tipos de pruebas, entre los que se destacan: Pruebas de carga máxima,
Pruebas de almacenamiento, Pruebas de tiempo de ejecución, Prueba de
recuperación, Prueba de procedimientos, Prueba de factores humanos, Pruebas de
usabilidad, Pruebas de smoke (Sistema), Pruebas de unidad o unitarias, Pruebas de
integración, Pruebas funcionales, Pruebas de configuración e instalación, Pruebas de
caja negra Pruebas de sentencia, Pruebas de rendimiento, Pruebas de background,
Pruebas de estrés, Pruebas de recuperación de errores, Pruebas de seguridad,
Pruebas de multiusuario, Pruebas de configuración, Pruebas de instalación y otras de
acuerdo a las necesidades de la evaluación
En este caso se aplicaron para definir este modelo los siguientes instrumentos:
pruebas de caja negra, pruebas administrativas, cuestionario de relevamiento técnico,
encuestas dirigidas a usuarios y entrevistas de confirmación con el personal técnico.
Todas ellas con la respectiva puntuación asociada a la característica,
subcaracterística, métrica e indicador.
1.6.- Establecer resultados
Para establecer los resultados tomamos en una matriz todo el modelo de calidad y
registramos ahí el valor medido u obtenido. Esta matriz de resultados permite
comparar con los criterios predeterminados en el modelo y contrastar así los puntajes
establecidos y obtenidos por cada producto software educativo evaluado.
EVALUACIÓN DE SOFTWARE Página 14
Este cuadro de resultados permite apreciar los resultados finales y nos ayuda a
determinar el producto que cumple con las especificaciones.
Tabla 8.- Matriz del Modelo de calidad para un software educativo
Tipo de Calidad
Características Subcaracterísticas Métricas Indicadores PE PO
Si se considera dos software en la evaluación la tabla sufre ciertas modificaciones.
Tabla 9.- Matriz del Modelo de calidad para dos software educativo
Tipo de Calidad
Características Subcaracterísticas Métricas Indicadores PE PO1 PO2
Donde PE es el puntaje establecido para cada nivel y PO el puntaje obtenido luego de
la aplicación de los instrumentos así como su respectiva tabulación y medición.
La valoración, que resume un conjunto de niveles calificados, es el paso final del
proceso de evaluación del software.
Si el puntaje total sumando todas las características de la evaluación es superior a
70/100 recomendamos la aplicación del producto software educativo, caso contrario no
podemos recomendar el uso o aplicación del mismo. Si se evalúan dos software
educativos, se recomendará el uso de aquel que obtenga el mayor puntaje.
1.7.- Presentar Informe
Todo el proceso de evaluación es documentado. El documento final que es el informe
de la evaluación será aprobado por los representantes de la empresa o institución
educativa. Existen dos instancias de presentación. Una es la presentación del borrador
del informe y la otra es la entrega del informe final.
EVALUACIÓN DE SOFTWARE Página 15
Así mismo se debe presentar dos tipos de informes escritos, el informe ejecutivo y el
informe analítico. El informe ejecutivo se presentará como máximo en una hoja y
muestra el resultado de la evaluación mientras que el informe analítico de la
evaluación presentará toda la documentación asociada a la evaluación, es decir las
evidencias del trabajo realizado, formatos de pruebas, pruebas aplicadas, capturas de
pantallas, cuestionarios aplicados, en fin todos los instrumentos usados y la
documentación asociada que explica de forma pormenorizada el trabajo realizado. Un
detalle importante de la evaluación que debe estar incluído en el informe analítico es el
que se muestra a continuación.
Tabla 10: Instrumentos aplicados
Instrumentos Descripción
Cuestionario Evaluación de los atributos por parte del operador calificado.
Pruebas de Caja Negra
Evaluación de módulos y funcionalidades de atributos por parte del equipo auditor
Lista de verificación
Evaluación de aspectos relacionados con los atributos por parte del equipo auditor.
Prueba administrativa
Evaluación del cumplimiento de atributos por parte del equipo auditor.
En este anexo que debe estar incluido en el informe se muestra una explicación de los
instrumentos usados en la evaluación y el objetivo del uso del mismo, así como debe
precisar que información se recogió en ellos.
CONCLUSIONES
Este modelo sirve para evaluar cualquier tipo de software educativo y permite
cuantificar la calidad del producto software a través del uso de pruebas de caja negra,
pruebas administrativas, cuestionario de relevamiento técnico, encuestas dirigidas a
usuarios y entrevistas de confirmación con el personal técnico o desarrollador de la
herramienta, los mismos que dan información de la calidad del producto software, la
cual resume valores cualicuantitavos del modelo de calidad establecido.
REFERENCIAS
EVALUACIÓN DE SOFTWARE Página 16
Barroso, J., Medel, J. y Valverde, J. (1997). Evaluación de medios informáticos. Una
escala de evaluación para software educativo. III Congreso Edutec 97.
Bostock, S. (1998). Evaluating checklist. Evaluating training software. Lancaster
University.
Cataldi, Z. (2000). Metodología de diseño, desarrollo y evaluación de software
educativo. Tesis de Magíster en Informática. (Versión resumida). Facultad de
Informática. Universidad Nacional de La Plata. Argentina. ISBN 960-34-0204-2.
Cova, A. y Arrieta, X. (2008). Modelo de evaluación de software educativo en el área
de la física. Tesis doctoral inédita. Universidad del Zulia. Doctorado en Ciencias
Humanas. Maracaibo, Venezuela.
Galán, E. (2006). El guión didáctico para materiales multimedia. Espéculo. Revista de
estudios literarios. Universidad Complutense. Madrid. España.
Galvis, A. (2000). Ingeniería de Software Educativo. Colombia. Ediciones Uniandes. 2ª
reimpresión. Martínez, F., Prendes, M., Alfageme, M., Amorós, L., Rodríguez, T. y
Solano, I. (2002). Herramienta de evaluación de multimedia didáctico. Departamento
de Didáctica y Organización Escolar. Universidad de Murcia, España. Revista Píxel-
Bit, Nº 18.
Owston, R. D. (1987). Software Evaluation: a Criterion-Based Approach. Scarborough:
Prentice-Hall.
Repáraz, Ch.; Sobrino, A. y Santiago, R. (1998)."Escala de evaluación de calidad
educativa de software multimedia".
Roig, R. (1997). Modelos de evaluación de software educativo. Tesis doctoral.
Universidad de Valencia.
Santiago, R. (1998b). Evaluación de software educativo multimedia: Proyecto PEMGU.
Soto, F. y Gómez, M. (2002). EVALÚA: Un instrumento de evaluación de recursos
multimedia para la atención a la diversidad. [Documento en línea]
EVALUACIÓN DE SOFTWARE Página 17