Evaluación de sistemas de monitorización de contenidos generados por usuarios

Evaluación de sistemas de monitorización de contenidos generados por usuarios

Enrique Amigó, Damiano Spina

Grupo PLN y RI de la UNED

{enrique,damiano}@lsi.uned.es

nlp.uned.es

Bernardino Beotas

Grupo ALMA

[email protected]

www.grupoalma.com

Workshop on Opinion Mining and Sentiment AnalysisCAEPIA 2009

Sevilla, España

http://nlp.uned.es/

http://www.grupoalma.com/

Grupo UNED en Recuperación de Información y Procesamiento del Lenguaje Naturalnlp.uned.es

Grupo ALMAwww.grupoalma.com

Evaluación de sistemas de monitorización de contenidos generados por usuarios (UGCs)

Introducción

› Gestión de reputación online

› Informe de monitorización

Estado del arte

› Modelos para la monitorización de temas

› Evaluación de modelos

Propuesta de metodología de evaluación

Conclusiones y posibilidades futuras

http://nlp.uned.es/




Contenido Generado por Usuario

› User Generated Content (UGC)

› Blogs, Foros, Sitios de valoraciones, redes sociales

UGCs y Gestión de reputación online

http://nlp.uned.es/







Gestión de la reputación online (Online Reputation Management, ORM)

› Auditoría de imagen

Fotografía: la entidad en la Web

› Monitorización

Alertas

Análisis continuo

› Definición de Estrategia

Participación en las conversaciones

Generación de Contenido


http://nlp.uned.es/







Gestión de la reputación online (Online Reputation Management, ORM)

› Auditoría de imagen

Fotografía: la entidad en la Web

› Monitorización

Alertas

Análisis continuo

› Definición de Estrategia

Participación en las conversaciones

Generación de Contenido


http://nlp.uned.es/




Monitorización de la reputación online

UGCs

http://nlp.uned.es/




Monitorización de la reputación online

UGCs

Informe de monitorización

http://nlp.uned.es/




El informe de monitorización

Informe de monitorización› Opiniones más relevantes en un intervalo de tiempo

› Estructurado por fuentes

› Referencias a los documentos

http://nlp.uned.es/




El informe de monitorización

Informe de monitorización› Opiniones más relevantes en un intervalo de tiempo

› Estructurado por fuentes

› Referencias a los documentos

Relevancia de un documento› Polaridad a nivel de reputación

"Las acciones de X han bajado un 40%"

› Autoridad de la fuente

Nº de comentarios, posicionamiento en buscadores, nº de visitas…

› Novedad

› Propagabilidad

http://nlp.uned.es/




Monitorización: ¿Qué tienen en cuenta los expertos?

http://nlp.uned.es/





http://nlp.uned.es/





http://nlp.uned.es/




Opinión Factual


http://nlp.uned.es/




Ambigüedad (IR)

Subjetividad

Polaridad

Frecuencia

Temas

Temporalidad

Autoridad

Opinion Mining & Sentiment Analysis

TREC Blog Track, MOAT NTCIR

SemEval2007

Swotti

Feature-basedOpinion mining


Opinión Factual

http://nlp.uned.es/




Ambigüedad (IR)

Subjetividad

Polaridad

Frecuencia

Temas

Temporalidad

Autoridad


Análisis de la blogosfera

BlogPulse, Technorati

HerramientasSEO


Opinión Factual

http://nlp.uned.es/




Ambigüedad (IR)

Subjetividad

Polaridad

Frecuencia

Temas

Temporalidad

Autoridad



Monitorización de temas

distribución de términos,modelos probabilísticos


Opinión Factual

http://nlp.uned.es/




Ambigüedad (IR)

Subjetividad

Polaridad

Frecuencia

Temas

Temporalidad

Autoridad






Opinión Factual

http://nlp.uned.es/




Ambigüedad (IR)

Subjetividad

Polaridad

Frecuencia

Temas

Temporalidad

Autoridad






Opinión Factual

http://nlp.uned.es/




Opinión Factual

Ambigüedad (IR)

Subjetividad

Polaridad

Frecuencia

Temas

Temporalidad

Autoridad






http://nlp.uned.es/




Ambigüedad (IR)

Subjetividad

Polaridad

Frecuencia

Temas

Temporalidad

Autoridad






Opinión Factual

http://nlp.uned.es/




Requisitos del problema

Requisitos› Agregación

Identificación de temas tratados en las opiniones

Conocer los temas nuevos y las tendencias

› Temporalidad

Identificación de fenómenos temporales

Novedad

› Interpretabilidad

Interpretar los temas identificados

› Accesibilidad

Exploración de documentos asociados a los temas

Selección de documentos para el informe de monitorización

http://nlp.uned.es/




Estado del arte

Modelos para la monitorización de temas› Tema ≈ término

tfcidf (Gruhl et al., 2004)

› Tema ≈ variable oculta en una red bayesiana

pLSI (Chou & Chen, 2008)

Mixture models (Mei et al., 2006)

Topics Over Time (Wang & McCallum, 2006)

Dynamic Topic Model (Blei & Lafferty, 2006)

Multiscale Topic Tomography (Nallapati et al., 2007)

http://nlp.uned.es/




Estado del arte

Metodologías de evaluación› Evaluación cualitativa de los resultados

Subjetiva

No permite comparar modelos

› Evaluación intrínseca

No permiten evaluar todos los requisitos

Métricas de clustering

Perplejidad -> sólo modelos probabilísticos

› Evaluación extrínseca

Temas extraídos automaticamente vs. Temas extraídos manualmente– Gold standard para subtemas

Topic Detection and Tracking (TDT) – Centrada en eventos periodísticos

– documento-evento: relación uno-a-uno

http://nlp.uned.es/




Propuesta de metodología de evaluación

Métricas: › Temporalidad y agregación

› Accesibilidad

› Capacidad predictiva e Interpretabilidad

P(x|y): distribución de probabilidad de x dada una instancia de la variable y.

http://nlp.uned.es/




Métrica 1: Temporalidad

Identificación de fenómenos temporales

Documentos conectados por un tema deberían de estar temporalmente próximos

Dos documentos están conectados si hablan de un mismo tema

: Distancia temporal entre los documentos d y d’

http://nlp.uned.es/




Métrica 2: Agregación

Capacidad de agrupar documentos que comparten un mismotema

Documentos explícitamente relacionados deberían de compartir temas

Relaciones explícitas:› Fuente

› Autor

› Enlaces

<da,da> : explícitamente relacionados<db,dc> : no explícitamente relacionados

’

’

http://nlp.uned.es/




Métrica 3: Accesibilidad

Capacidad de dar acceso a los n documentos más relevantesde cada tema

Anotación de los expertos

Curvas de precisión y cobertura

: conjunto de los n documentos con mayor P(d|θ) de cadatema

: conjunto de documentos relevantes según el experto

http://nlp.uned.es/




Métrica 4: Capacidad predictiva

Capacidad de predecir el comportamiento de los temas en un futuro próximo

P(t|θ)

Evaluación indirecta (Wang & McCallum, 2006)

› Un modelo capaz de predecir la fecha de un documento tiene más capacidad predictiva en general

› P(t|d)

http://nlp.uned.es/




Métrica 5: Interpretabilidad

Capacidad de generar temas interpretables por el usuario

P(w| θ)

No es posible anotar manualmente todas las palabrasrepresentativas posibles

Evaluación manual con usuarios de prueba

http://nlp.uned.es/




Conclusiones

Factores importantes para la

monitorización de la reputación online› autoridad, polaridad, novedad, propagabilidad

› Contenido Generados por Usuarios (UGCs)

Esbozo de una metodología de evaluación› Comparar modelos de monitorización de temas

› Temporalidad y agregación

› Accesibilidad

› Capacidad predictiva e interpretabilidad

http://nlp.uned.es/




Posibilidades futuras

Aplicar métricas a modelos existentes de monitorización de temas (temporalidad y agregación)

Definir un modelo que tenga en cuenta la autoridad de lasfuentes

Definir una metodología de anotación para aplicar la métricade accesibilidad

Aplicación de las métricas capacidad predictiva e interpretabilidad› Definición de interfaces de usuario comunes para los modelos

existentes

http://nlp.uned.es/


Evaluación de sistemas de monitorización de contenidos generados por usuarios

Enrique Amigó, Damiano Spina

Grupo PLN y RI de la UNED

{enrique,damiano}@lsi.uned.es

nlp.uned.es

Bernardino Beotas

Grupo ALMA

[email protected]

www.grupoalma.com

Workshop on Opinion Mining and Sentiment AnalysisCAEPIA 2009

Sevilla, España

¡Muchas gracias!

http://nlp.uned.es/


Documents

Evaluación de sistemas de monitorización de contenidos generados por usuarios