Embed Size (px)
DESCRIPTION
Extraction of Users' Personality from FriendFeed Italian Posts - Fabio Celli
Citation preview
Psychology
Fabio CelliE xtrac tion of U s ers ' Pers ona lity from FriendFeed Ita lian Pos ts
Intro
Personality
Evaluation
Results
Urbinosep.30.2010
Computer ScienceComp. Linguistics
Sociology
SocialNetworkAnalysis
Psychology
Fabio CelliE xtrac tion of U s ers ' Pers ona lity from FriendFeed Ita lian Pos ts
Intro
Personality
Evaluation
Results
Urbinosep.30.2010
Computer ScienceComp. Linguistics
Sociology
SocialNetworkAnalysis
Fabio CelliE xtrac tion of U s ers ' Pers ona lity from FriendFeed Ita lian Pos ts
Intro
Personality
Evaluation
Results
Urbinosep.30.2010
Comp. Linguistics
- extract information from text- development of ontologies- development of search engines...
- estrazione di informazioni da testi- sviluppo di ontologie- sviluppo dei motori di ricerca...
Fabio CelliE xtrac tion of U s ers ' Pers ona lity from FriendFeed Ita lian Pos ts
Intro
Personality
Evaluation
Results
Urbinosep.30.2010
Comp. Linguistics
1) collect text data and annotate it2) build model of information in text4) develop programs that extract info modelized
1) collezione e annotazione di dati testuali2) sviluppo di modelli dell'informazione nei testi3) sviluppo di programmi per estrarre info
Fabio CelliE xtrac tion of U s ers ' Pers ona lity from FriendFeed Ita lian Pos ts
Intro
Personality
Evaluation
Results
Urbinosep.30.2010
SNSs
SNSs provide tons of data (text+users)Problems:1) formalization of personality2) annotation of data with personality judgements
I Social Networks contengono un sacco di datiProblemi:1) formalizzazione della personalità2) annotazione dei dati con valutazioni della personalità
Psychology
Fabio CelliE xtrac tion of U s ers ' Pers ona lity from FriendFeed Ita lian Pos ts
Intro
Personality
Evaluation
Results
Urbinosep.30.2010
BIG 5: standard model used in Psychology [Norman 1963] Extraversion Emotional stability Agreebleness Conscientiousness Openness to experience
BIG 5: modello standard in Psicologia [Norman 1963] Estroversione Stabilità emotiva Cooperatività Precisione Immaginatività
Psychology
Fabio CelliE xtrac tion of U s ers ' Pers ona lity from FriendFeed Ita lian Pos ts
Intro
Personality
Evaluation
Results
Linguistic Features correlating with BIG 5 [Mairesse et al 2007]Tratti linguistici associati al BIG 5 [Mairesse et al 2007]
Features Extrav. Emot. st. Agreebl. Consc. Openn.. : ; -,@user!Linksio mi miono non: (0-9( ) [ ] { }: )di a da …?SwearsN° Words Word freq...
-
-
+-
-+
-
-++
++
-
+
+-
-
--
+--
+
-+++
-
-+
+++- Urbino
sep.30.2010
Psychology
Fabio CelliE xtrac tion of U s ers ' Pers ona lity from FriendFeed Ita lian Pos ts
Intro
Personality
Evaluation
Results
Urbinosep.30.2010
Example of personality (formalized)Esempio di personalità (formalizzata)
yyonn
yes yes balance no noextraversion emotivity agreebleness consciousness openness
Fabio CelliE xtrac tion of U s ers ' Pers ona lity from FriendFeed Ita lian Pos ts
Intro
Personality
Evaluation
Results
Urbinosep.30.2010
Here comes the hard part:- it is hard for human annotators to reach consensus on personality judgenments.
Assumption:- one user has one and only one (complex) personality. So I can evaluate it comparing more posts of the same user.
Qui viene il difficile:- il consenso sui giudizi della personalità dato dagli annotatori è difficile da ottenere
Assunto:-un utente ha una e una sola personalità (complessa). Dunque Possiamovalutarla confrontando più post dello stesso utente.
Fabio CelliE xtrac tion of U s ers ' Pers ona lity from FriendFeed Ita lian Pos ts
Intro
Personality
Evaluation
Results
Urbinosep.30.2010
Computer Science
Personality recognizer:- input: 1) posts+users 2) list of all users- process: calculate features for each user- modelize: produce a personality model for each user- evaluate: compare personality model with users' posts- output: 1) personality 2) accuracy 3) validity
Riconoscitore della personalità-input: 1) post+utente 2) lista degli utenti- calcola i tratti per ciascun utente- produce un modello della personalità per ciascun utente- compara il modello con tutti i post dell'utente- output: 1) personalità 2) accuracy 3) validity
Fabio CelliE xtrac tion of U s ers ' Pers ona lity from FriendFeed Ita lian Pos ts
Intro
Personality
Evaluation
Results
Urbinosep.30.2010
Computer Science
Personality recognizer:- input: 1) posts+users 2) list of all users- process: calculate features for each user- modelize: produce a personality model for each user- evaluate: compare personality model with users' posts- output: 1) personality 2) accuracy 3) validity
Riconoscitore della personalità-input: 1) post+utente 2) lista degli utenti- calcola i tratti per ciascun utente- produce un modello della personalità per ciascun utente- compara il modello con tutti i post dell'utente- output: 1) personalità 2) accuracy 3) validityMeasure of the reliability
of the personality model
Misura dell'affidabilità del modello della personalità
tp=true positivestn=true negativesfp=false positivesfn=false negatives
Fabio CelliE xtrac tion of U s ers ' Pers ona lity from FriendFeed Ita lian Pos ts
Intro
Personality
Evaluation
Results
Urbinosep.30.2010
Computer Science
Personality recognizer:- input: 1) posts+users 2) list of all users- process: calculate features for each user- modelize: produce a personality model for each user- evaluate: compare personality model with users' posts- output: 1) personality 2) accuracy 3) validity
Riconoscitore della personalità-input: 1) post+utente 2) lista degli utenti- calcola i tratti per ciascun utente- produce un modello della personalità per ciascun utente- compara il modello con tutti i post dell'utente- output: 1) personalità 2) accuracy 3) validity
Measure of the variability of the user's personality
Misura della variabilità della personalità dell'utente
a=accuracyP=number of user's posts
Fabio CelliE xtrac tion of U s ers ' Pers ona lity from FriendFeed Ita lian Pos ts
Intro
Personality
Evaluation
Results
Urbinosep.30.2010
Sample from FriendFeed dataset [Celli, Magnani, DiLascio, Pacelli, Rossi 2010]captured from http://friendfeed.com/public
h
748 Italian FriendFeed users, 1065 posts. 156 users have more than one post.Mean accuracy = .631 Mean validity = .729
Campione da FriendFeed [Celli, Magnani, DiLascio, Pacelli, Rossi 2010]http://friendfeed.com/public748 utenti, 1065 posts, 156 utenti con più di un post.Accuracy media = .631Validity media = .729
Fabio CelliE xtrac tion of U s ers ' Pers ona lity from FriendFeed Ita lian Pos ts
Intro
Personality
Evaluation
Results
Urbinosep.30.2010
Rank Model Freq12345678910...
ynyynynyononoynoooooynoynyooooynoooynoyoynoononyoo(other)
16.6%12.1%7.6%7.6%4.5%4.5%3.8%3.8%3.2%3.2%39.1%
Fabio CelliE xtrac tion of U s ers ' Pers ona lity from FriendFeed Ita lian Pos ts
Intro
Personality
Evaluation
Results
Urbinosep.30.2010
Fabio CelliE xtrac tion of U s ers ' Pers ona lity from FriendFeed Ita lian Pos ts
Intro
Personality
Evaluation
Results
Urbinosep.30.2010
Pearson's correlation test reveal that there is a strong (+0.79) and highly significant correlation (p-value = .0003) between the accuracy and personality model types
Il test di correlazione (Pearson) rivela che c'è una forte correlazione tra alcuni tipi di personalità e l'accuratezza
Fabio CelliE xtrac tion of U s ers ' Pers ona lity from FriendFeed Ita lian Pos ts
Intro
Personality
Evaluation
Results
Urbinosep.30.2010
Pearson's correlation test reveal that there is a strong (+0.79) and highly significant correlation (p-value = .0003) between the accuracy and personality model types
Il test di correlazione (Pearson) rivela che c'è una forte correlazione tra alcuni tipi di personalità e l'accuratezza
Althought there is no correlation (p-value = .413) between personality and postingactivity, once ltered out the long tail of users with sparse personality models,emerges that there is one personality type that produces more posts than others
Anche se non c'è correlazione tra tra le personalità è il numero di post prodotti, presi solo i tipi di personalità più frequenti emerge che c'è una personalità che produce più delle altre
Fabio CelliE xtrac tion of U s ers ' Pers ona lity from FriendFeed Ita lian Pos ts
Intro
Personality
Evaluation
Results
Urbinosep.30.2010
Fabio CelliE xtrac tion of U s ers ' Pers ona lity from FriendFeed Ita lian Pos ts
Intro
Personality
Evaluation
Results
Urbinosep.30.2010
A manual look to the data reveals that there are some users (the ones with higher validity) that are focused on a topic, example: “styleandthecity”, “ultimora", “cronaca24"
Uno sguardo più ravvicinato ai dati rivela che ci sono alcuni utenti con alta validity che parlano di un preciso argomento. Esempio: “styleandthecity”, “ultimora", “cronaca24"
Fabio CelliE xtrac tion of U s ers ' Pers ona lity from FriendFeed Ita lian Pos ts
Intro
Personality
Evaluation
Results
Urbinosep.30.2010
CONCLUSIONSThe work presented here is a first survey of personality in SNSs. In the future it would be interesting to run experiments following threads of users checking for their personality in order to study how personalities interact together, and what are the features that make a post interesting to a certain personality type (requires topc analysis).
CONCLUSIONIIl lavoro presentato qui è solo un primo approccio allo studio della personalità nei Social Networks, nel futuro sarebbe interessante studiare l'andamento delle discussioni tra utenti monitorando la loro personalità e studiando come le personalità interagiscono tra loro, e quali contenuti sono interessanti per quali personalità (questo richiede analisi dei topic).
Fabio CelliE xtrac tion of U s ers ' Pers ona lity from FriendFeed Ita lian Pos ts
Intro
Personality
Evaluation
Results
Urbinosep.30.2010
Thank you!!!
