Assessing Educational Research – An Information Service for Monitoring

Assessing Educational Research – An Information Service for Monitoring

a Heterogeneous Research Field

Karima Haddou ou Moussa1, Ute Sondergeld2, Philipp Mayr1, Peter Mutschke1, Marc Rittberger2

1 GESIS - Leibniz Institute for the Social Sciences2 German Institute for International Educational Research (DIPF)

K. HOM

steht nich in der Agenda :)

K. HOM

man kann auch löschen.Statt dessen auf Folie 6 eine Markierung tun, die drauf hindeutet dass es nur um Forschungsprojekte geht. Würde gerne das Bild für web service ändern falls ein besseres gäbe

usonMoBi

während die vorherige Folie das Projekt insgesamt illustriert, wird hier derjenige Teil hervorgehoben, der Thema des papers ist. sozusagen als überleitung von der allgemeinen Vorstellung des Projekts zum Thema des Beitrags

K. HOM

Unterschied zu der vorherigen Folie !

Agenda

1. Project Overview2. Indicators 3. Monitoring Prototyp

1. Database and technical background2. Visualisation of Indicators

4. Summary and prospect

Zadar, 18.06.2014 I Marc Rittberger I LIDA 2014 I Assessing Educational Research

● Title: Development and Changing Dynamics of a Heterogeneous Social Science Field Using the Example of Educational Research (Monitoring Bildungsforschung - MoBi)

● Duration: 05/2011 - 07/2014● Funding: Leibniz Association (SAW funding measure)● Project manager: Alexander Botte (DIPF)● Co-operations:

1. Project Overview


+


1.Educational Research

2.Research Library for the History of Education

3.Information Centre for Education: National Center for Educational Information


Largest infrastructure institution for the Social Sciences in Germany, interdisciplinary research:

1. Survey Design and Methodology,2. Social Structure, Attitude and Behaviour in Modern Societies, 3. Applied Computer Science and Information Science:

Department “Knowledge Technologies for the Social Sciences (WTS)”: Development of new and innovative digital services for Social Sciences

„2000: Empirical Turn“ in Educational Research Framework Programme for the Promotion of Empirical Educational Research (BMBF) (2007)

DFG Research Units / Priority Programmes for Empirical Educational Research (2000/2002)

Agreement on a National Report on Education (2004)

Introduction of National Educational Standards (2003)Zadar, 18.06.2014 I Marc Rittberger I LIDA 2014 I Assessing Educational Research

New Governance Model in Research Funding

Rate

of t

hird

par

ty

fund

ing

(%)

Inco

me

(in

bn €

)

Basic and third party funding in higher education institutions in Germany

Deutsche Forschungs-gemeinschaft (2012): Förderatlas 2012, p.30

Basic funding Third party funding Ratio of third party funding

1998 2000 2002 2004 2006 2008

Indicators for

Monitoring Educational

Research

1. Project overview: Aims of MoBi

Reception

Indicators for Monitoring Educational

Research


K. HOM

@Karima : neues Foto?

Indicators for

Monitoring Educational

Research

1. Project overview: Focus of this talk

Indicators for Monitoring Educational

Research


is a community platform for recording and searching in Social Sciences Research projekts

● Selection of relevant research projects from the SOFISwiki database

● Completed projects from 1995 to 2009 with at least one research institution located in Germany

● Approx. 9200 research projects in Educational Research

● Monitoring prototype as an add-on to SOFISWiki

2. Monitoring Prototyp: Database

sofis.gesis.org/sofiswiki


K. HOM

diese Folie ist animiert

usonMoBi

Und vielleicht sollten wir alle Infos über SOFIS auf eine einzige Folie bringen

usonMoBi

ich frage mich gerade, ob man Folie 9 und 10 nicht tauschen sollte. In Folie 9 wird beschrieben, welche Daten aus SOFISwiki gefiltert wurden, und erst Folie 10 beschreibt SOFISwiki. Sollte das nicht eher andersrum sein?

2. Indicators

● Basis for assessment of scientific research● Different levels of complexity ● Influence on validity:

○ Characteristics of the object of investigation○ Type and scope of data○ Research approach


2. Indicators: MoBi

● Existing data did not allow for construction of complex indicators● In MoBi indicators are metadata that according to their respective

character, describe different features of a field of research● Indicators for which the implementation in the prototype is exemplified:

○ Research activity○ Disciplinary area○ Type of funding○ Qualification


2. Indicators (Projects and Publications)

Research activity Collaboration Internationalisation Funding


2. Research Activity: Assumptions

Projects Increase in share of

projects over time

14Zadar, 18.06.2014 I Marc Rittberger I LIDA 2014 I Assessing Educational Research

2. Research Activity: Findings

Projects Increased

interest in educational research

1995-1997 1998-2000 2001-2003 2004-2006 2007-20090

2000

4000

6000

8000

10000

0

5

10

15

20

25

30

35

Share of MoBi projects in SOFIS over time

MoBi SOFISRatio

Period

Coun

t

Ratio

%


2. Activity in Core Disciplines: Assumptions

Projects Increase in the area of

psychology



Projects Decline in

psychological projects

Share of MoBi-projects in core disciplines over time

1995-1997 1998-2000 2001-2003 2004-2006 2007-20090%

10%

20%

30%

40%

50%

60%

70%

80%

61.5%

66.4%

12.6%

9.7%8.2%

10.0%

Period

Shar

e



Publications Higher share of journal

articles in psychology

Higher share of monographs in educational sciences and sociology


Publications No higher share of journal

articles in psychology

Higher share of monographs in educational sciences and sociology

2. Activity in Core Disciplines: Findings


Publications Share of

journal articles in psychology is not significantly higher than in other disciplines

Over time increase of journal articles in Educational Sciences and in psychology

2. Activity in Core Disciplines: Findings


1995-1997 2006-200820%

25%

30%

35%

40%

45%

50%

32.7%

22.1%22.6%

35.1%34.0%

38.5%

Share of journal articles in core disciplines over time

3.1 Database and Technical Background: SOFISwiki

is an extension to Mediawiki that enables quick semantic search and discovery of data in a Wiki system

SOFISwiki is based on Semantic Mediawiki technology:


https://semantic-mediawiki.org/


User View


usonMoBi

ok, warum nicht. schau dir mal die Datei an, die ich geschickt hab. ist das ok für dich? die rahmendicke kann man natürlich auch verringern...

K. HOM

nicht nur auch von "Type of funding". Die beiden kann umrahmen

usonMoBi

Da Du im Text zum Developer View von der "disciplinary area" sprichst, sollte man die Folie vielleicht dynamisch gestalten und das entsprechende Attribut umrahmen. (wir schicken die Präsentation ja als ppt an Herr Rittberger, da komme ich gut mit Rahmen zurecht) ;)

usonMoBi

Die sind viel, viel besser, aber im Präsentationsmodus immer noch etwas verschwommen. Wenn es aber nicht besser geht, ist das auch ok.

K. HOM

Habe neue Screenshots gamacht. Aber kleine. Damit man was erkennen kann

usonMoBi

Hier müssten die Screenshots ausgetauscht werden (das müsste ja eigentlich recht schnell gehen, wir haben ja lange genug geübt... ) :)


Developer View


usonMoBi

ok, warum nicht. schau dir mal die Datei an, die ich geschickt hab. ist das ok für dich? die rahmendicke kann man natürlich auch verringern...

K. HOM

nicht nur auch von "Type of funding". Die beiden kann umrahmen

usonMoBi

Da Du im Text zum Developer View von der "disciplinary area" sprichst, sollte man die Folie vielleicht dynamisch gestalten und das entsprechende Attribut umrahmen. (wir schicken die Präsentation ja als ppt an Herr Rittberger, da komme ich gut mit Rahmen zurecht) ;)

usonMoBi

Die sind viel, viel besser, aber im Präsentationsmodus immer noch etwas verschwommen. Wenn es aber nicht besser geht, ist das auch ok.

K. HOM

Habe neue Screenshots gamacht. Aber kleine. Damit man was erkennen kann

usonMoBi

Hier müssten die Screenshots ausgetauscht werden (das müsste ja eigentlich recht schnell gehen, wir haben ja lange genug geübt... ) :)

3.1 Database and Technical Background: Concept of Functionalities

Semantic result formats:● JqPlot● Sparkline● Tag cloud● D3● ...

● Determine project status

● Determine geographical area

● Determine default time period or a time slice

● Choose indicator:

Research activity

Disciplinary area

Type of funding

Qualification

(Germany)

(completed projects)


http://www.capinio.de/social-media-monitoring-optimierung/

usonMoBi

Animierung passt grundsätzlich, folgende Vorschläge:a) Text in den Klammern in gleich großer Schrift, dafür andere Farbeb) "Choose indicator" nicht animiert,das ist ja eine stabile Funktion (nur die 4 konkreten Indikatoren sind ja die momentane Beschränkung)Ich hab unten einen Textvorschlag für den Vortrag erstellt...

Research activityNumber of achieved projects per year in the period from 1995 to 2009

Visualisation JqPlot Extension

3.2 Visualisation of Indicators


The project scope was

highest in 2006

K. HOM

ja auf Folie11 ist gut. Rot auf einem grauen Hintergrund!

usonMoBi

Hab Dir die Test-ppt-Datei zugeschickt mit Rahmen auf dieser und auf Folie 11

K. HOM

wie Du möchtest. Das müssen wir aber erstmal testen und gucken wie es aussieht ;)

usonMoBi

Mir persönlich wäre der Rahmen lieber. Da wir das ja in ppt abliefern, könnte man das dort noch entsprechend bearbeiten.

K. HOM

Steht als Anmerkung in Rot. Man kann stattdessen ein Pfeil in die Richtung 2006-Säule richten!

usonMoBi

Ich wollte eigentlich einen rot umrandeten Rahmen um den Balken für das Jahr 2006 machen, damit man das besser sieht, habe es aber leider nicht hinbekommen. in ppt wüsste ich, wie man es hinkriegt... :(


Disciplinary area

Relates projects to one of 12 disciplines or research fields based on the Social Sciences classification: Sociology, Population Science, Political Science, Education, Psychology, Communication Sciences, Economics etc.

Visualisation Tag cloud Extension (above: wordcloud, below: sphere widget)

from 1995 to 2009 “Education” is the

most frequent discipline


Type of funding Distinguishes between:

● In-house projects● Third-party funded reasearch● Contract research

Visualisation 1

D3: bubble chart and treemapJqPlot: pie and donut


Third-party funding is the most common

funding type in educational research


usonMoBi

Thumbs up! :)

K. HOM

ich weiß. Habe vor neue Screenschots zu machen. Aber nicht hier ;)

usonMoBi

ok. Die Schrift in den Visualisierungen ist leider nicht gut lesbar...

K. HOM

Habe die Reihenfolge der Folien 16 & 17 geändert

Type of funding Distinguishes between:

● In-house projects● Third-party

funded reasearch● Contract research

Visualisation 2

Jqplot series


strong increase in third-party funded

research and decrease in other

funding types over time



Qualification Distinguishes between doctoral and habilitation theses over time

VisualisationJqPlot series Extension

Strong increase of “doctoral theses” and standing of

“habilitation theses”


4. Summary and Prospect

● Semantic MediaWiki is a good starting point for visualising information ● Alignment and expansion is necessary

Challenges● Development of models to visualise significant deviations ● Visualisation of indicators with more than one value● Expansion of functionalities and integration of additional indicators


Ende – Finito – Einde - Fin – [email protected]

[email protected]@dipf.de

[email protected]@gesis.org


mailto:[email protected]




Documents

Assessing Educational Research – An Information Service for Monitoring