Upload
others
View
3
Download
0
Embed Size (px)
Citation preview
CHAPTERă4ăRESEARCHăDESIGN
ăăăăăInătheăpreviousăchaptersďźăwaysăofăapproachingăhowăreadingăabilityăcouldăbe
definedăfromătheăperspectiveăofătestăitemăspecificationsăwereăexploredďźăInăChapteră2ďź
ităhasăbeenăexaminedăandăemphasizedăthatďźăinăinvestigatingătheănatureăofăreadingătest
withăitsărelationătoătheălatentăstructureăofăreadingăabilityďźătheăscopeăoftheăpresentăstudy
isăonătheâproductâofăFLăreadingăasăaăresultăofăFLăreadingâprocessâďźăFurthermoreďź
Chapteră3ăhadădescribedăaăwayăinăwhichăaăconstnlctăofăreadingăabilityăcouldăbe
definedăbyădevelopingătestăitemsăthatăelicităcertainătypesăofăreadingăproductăinătest
takersâreadingăcomprehensionďźăReadingâcompetenceâwasătermedătoăbeăaăfacetăthat
constitutesăaămajorăpartăofăreadingâperformanceâďźăandăinădefiningătheăreading
constructăfbrătheăpurposeăofăreadingătestăitemădevelopmentďźăităwasăproposedăthatďź
althoughăaătestăitemăisădefinedătoăbeăaătoolăwhichăelicitsăaăreadingăperformanceďźăthat
performanceăshouldăbeăacceptedăasăsomethingăthatăallowsătheătestersătoădraw
inferencesăandămakeăgeneralizationsăaboutăwhatăsortăofăreadingăactivitiesătheătestătaker
mightăbeăableătoădoďźăFurthermoreďźăthisăshouldăbeăconsideredăanalyticallyăasăan
interactionăofăhisăcompetenceăandătheăcontextăratherăthanăconsideringăităasăsomething
holisticăandăcontentďźrepresentativeďźăTbăcontinueăalongătheăsameălinesăofăapProachďź
theăsignificanceăofăspecifyingătheăcomponentsăofăaătestăitemďźââquestionătypesâin
particularďźăinăoperationalizingătheăreadingăconstructătoăbeătestedăwasădiscussedďźăThis
wasăfďźťčherăexploredăbyăreflectingăonăitemădiffricultyďźăorăaăquantitativeăaspectăofăaătest
itemďźăTheădiscussionăhadăconcludedăinăsuggestingăaăpossibilityăofăaălinkăbetweenăthe
questionătypeăofăaătestăitemăandăitsădifficultyďźăwhichăprovidesătheăfbllowingăresearch
questionsătoătheăpresentăresearchďź
4ďź1Researchăquestions
ResearchăQuestionă1ďź
Isăităvalidătoăemployâquestionătypesďźăasăaăprimeăcomponentăthatăconstructsătest
itemsăusedăinăelicitingătestătakersďźăL2ăreadingăperformancesďź
46
ćąäşŹĺ¤ĺ˝čŞĺ¤§ĺŚ ĺ壍ĺŚä˝čŤć Doctoral thesis (Tokyo University of Foreign Studies)
ăăăăăWhatăareătheăfactorsăthatăconstituteătheăL2ăreadingăperformancesăofăleamersăof
EnglishăatăsecondaryăeducationăinăJapanďźăwhenătheyăareăextractedăfromăfactorăanalďźrtic
studiesăofăreadingăproductsăelicitedăusingăreadingătestăitemsďźăWouldătheyădiffer
acrossălearnersăwithădifferentăreadingăabilitiesďź
ăăăăăInăanăattemptătoăcomeăupăwithăaătestăitemăspecificationăthatăeffectively
operationalizesădifferentăreadingăperformancesătoăbeătestedďźăinspiredăbyăNegishi
ďź1996ďźandăWadaďź2003ďźďźătheăpresentăstudyăproposesătheâquestionătypâofăaătestăitem
toăbeăaăprimeăcomponentătoăconstituteăsuchăaä¸ameworkďźăAtătheăsameătimeďźăhoweverďź
becauseăNegishiďź1996ďźandăWadaďź2003ďźhadănotăaccommodatedătheăinteractionsăof
theseăconstructingăcomponentsăwithătheălatentăreadingăstructureăofătestătakersďźăan
attentionăwillăbeărenderedătoăthisăaspectăinămuchăgreaterădepthďźăasăităisăpossibleăthat
theăprimeăfactorsăcouldăchangeăinăaccordanceăwithătheătestătakersâreadingăabilitiesďź
ResearchăQuestionă2ďź
IsăităvalidătoăassumeăaăcertainărelationshipăbetWeenăquestionătypesăandăitem
difficultyăinăelicitingătestătakersďźăL2ăreadingăperformancesďź
ăăăăIsătheăitemădifficultyăofăaătestăitemďźăcalibratedăusingăItemăResponseăTheoryďź
affectedăbyăitsăquestionătypeďźăIfăsoďźăhowďźăWbuldăthisărelationshipădifferăacross
learnersăwithădifferentăreadingăabilitiesďź
ăăăăăWithăanăintereăstăinăsuggestingătheăfacetsăofăaăreadingăteăstăitemăthatăwouldăallow
theăwritersăofătestăitemsătoăpredeterrnineătheădifficultyăofăaătestăitemďźătheăpresentăstudy
investigatesătheăpossibilityăofăaălinkăbetweenătheăitemădiflricultyăofăaătestăitemăandăits
questionătypeďźăAttentionăwillăalsoăbeăgivenătoăcasesăwithădifferentăabilitiesăofătest
takersătoăseeăifătheăordersăofăperceivedădif6cultiesăacrossădifferentăquestionătypes
differăaccordingătoătheădifferentăabilityăgroupsăofătestătakersďź
47
ćąäşŹĺ¤ĺ˝čŞĺ¤§ĺŚ ĺ壍ĺŚä˝čŤć Doctoral thesis (Tokyo University of Foreign Studies)
42DataăCollection
4ďź2ďź1Subjects
ăăăăăAsampleăofă8301earnersăofăEnglishăfromăseniorăhighăschoolăandăuniversityăin
JapanăhadăparticipatedăinătheămainăpartăofătheăpresentăstudyďźăOfătheseďź280ăwere
thirdďźyearăhighăschoolăstudentsăandă550ăwereăfirstďźyearăundergraduateăstudentsăin
çżlversltyďź
ăăăăăTheămajăorityăofăhighăschoolăstudentsăhadăfiveăyearsăofăEnglishăeducationăunder
theăCourseăofăStudyăprovidedăbyătheăMinistryăofăEducationďźăCultureďźăSportsďźăScience
andăTechnologyăinăEnglishăinăaăforeignălanguageăenvironmentďźăTheyăwereătoldăthat
theătestăwasăadministeredătoăcollectădataăonăindividualâsăEnglishăproficiencyďźăThe
studentsăhadăfiveăEnglishăclassesăinăaăweekďźnothingăwasădoneăinătheăclassroomăthat
wouldăhelpătheăstudentsătoăprepareăfbrătheătestsăadministeredăinăthisăstudyďź
ăăăăăForătheăuniversityăstudentsďźătheăcircumstancesăwereătheăsameăasăhighăschool
studentsăexceptăthatătheădurationăofătimeăEnglishăwasăleamedăwasămostlyăsixăyearsďź
AllăofătheçżiversityăstudentsămajăoredăinăoneăforeignălanguageăotherăthanăEnglishăand
wereăgivenătheătestăearlyăinăAprilďźăimmediatelyăafterătheyăhadăenteredăuniversityďźăasăa
placementătestăfbrătheirăEnglishăclassesăthatăwereăprerequisiteăinătheăuniversity
curriculumďźăThisăwasătoăensureăthatătheătestătakersădidănotăhaveăanyăspecial
knowledgeăofăEnglishăorăofăanyăotherăacademicăfieldăthatăwouldădistortătheăoutcome
ofădataăcollectionsďź
ăăăăăThereăwereăsomeăvariationsăinăbothăhighăschoolăandăuniversityăstudentsâ
backgroundăofăhowăandăhowălongăEnglishăwasălearnedďźeďźgďźăstudentsăwhoăhad
overseasăexperiencesďźďźăhoweverďźătheăvariationăinătheănumberăofăyearsătheyăhadăspent
timeăabroadăorătheăintensityăofăhowămuchăEnglishătheyăhadăleamedăwereăsoăgreatăthat
ităwasănotăpossibleătoăcomeăupăwithăanyăgeneralizableăcriterionăfbrăomittingătheăscoresďź
Moreoverďźăităcouldăbeăassumedăthatăthoăseăvariationsăwouldăbeăanăinherentăfactorăin
leamersâreadingăabilityăthatăenablesăthemătoăscoreăhighăonătheătestďźăsoătheăpresent
authorăhadădecidedătoădisregardăsuchăfactorsăinătheăprocessăofădataăcollectionăasălong
asăitădidănotăaffectătheădistributionăofăscoresătooăgreatlyďź
48
ćąäşŹĺ¤ĺ˝čŞĺ¤§ĺŚ ĺ壍ĺŚä˝čŤć Doctoral thesis (Tokyo University of Foreign Studies)
4ďź2ďź2ăMaterials
ăăăăăTheătwoăsetsăofătestăinstrumentăwereăemployedăinătheămainăstudyďź
4ďź2ďź2ďź1TestăSetďźl
ăăăăăTestăSetăAďźpresentedăinăAppendixăAďźconsistsăofănineăpassagesďźăeachăpassage
withăthreeămultipleďźchoiceătestăitemsďźoneăcorrectăoptionăandăthreeădistracters
providedďźtoăbeărespondedăonătheăbaseăofăitsăcomprehensionďźăTheseănineăpassages
wereăselectedăafterăanăitemăselectionăwasădoneăinătheăpilotăstudyďźăprovidingă27ăreading
testăitemsďźăTheăfeaturesăofătheseănineăpassagesăareăasăfollowsďź
Tableă4ďź1ăTheăfeaturesăofăpassagesăemployedăinăTestăSetăA
TEXT Itemďź REase GrăLevel Wordsďź1 1ďź3 56ďź8 8ďź7 952 4ďź6 66ďź4 7ďź3 1093 7ďź9 55ďź2 10 1085 13ďź15 65ďź2 9ďź6 1106 16ďź18 64ďź8 7ďź5 957 19ďź21 65ďź7 7ďź6 101
8 22ďź24 68ďź1 7ďź4 1049 25ďź27 55ďź8 8ďź4 97
10 28ďź30 57ďź1 9ďź5 103
61ďź68 8ďź44 102ďź44
ďźTeXtă4ďźăasăwellăasăltemă10ďź11ăandă12ăareămissingăfromătheătableăbecauseătheyăwereăomittedăafterăthe
itemăSeleCtiOnďźďź
ăăăăăAllăofătheăpassagesăareătakenăfromăReadingăComprehensionăSectionďźadvanced
levelďźofăGlobalăTestăofăEnglishăCommçżicationďźGTECďźdevelopedăbyăBenesse
CorporationďźăTheăpreăsentăauthorăhadădeterminedăGTECătoăbeăanăappropriateăsourceăof
readingătextsăsinceăităwasădesignedătoătestăEnglishăproficiencyăofăhighďźintermediate
leamersăinăseniorăhighăschoolsăandçżiversitiesăinăJapanďźăwhichăisăatăanăequivalent
levelăofătheăsubjectsătoăbeătestedăandăalsoăofăwhatătheăCourseăofăStudyăprovidedăby
MinistryăofăEducationďźăCultureďźăSportsďźăScienceăamdăTeclmologyăaimsăforďź
49
ćąäşŹĺ¤ĺ˝čŞĺ¤§ĺŚ ĺ壍ĺŚä˝čŤć Doctoral thesis (Tokyo University of Foreign Studies)
ăăăăăInăTableă4ďź1ďźââRďźăEaseâindicatesătheăFleschăReadingăEaseăandââGrďźăLevelâ
indicatesătheăFleschďźKincaidăGradeăLeve1ďźăTheyăbothăindicateăaăreadabilityăindexďźăa
meansăofădescribingăhowăeasilyăwrittenămaterialsăcouldăbeăreadăandçżderstoodďź
Althoughătheyăemployătheăsameăcoreămeasuresďźwordălengthăandăsentenceălengthďźto
calculateătheăindexďźătheyăhaveădifferentăweightingăfactorsďźăwhichăsometimesăcreate
incoherenceăinătheăoutcomeăofăcalculationsďźăTheăindicesăprovidedăbyătheăFlesch
ReadingăEaseăindicatesătheăeasinessăofăreadingăaăpassageăfromătheăscaleăofăzeroătoăone
hçżdredďźăzeroăbeingătheămostădifficultătoăoneăhçżdredăbeingătheăeasiestďź
FleschďźKincaidăGradeăLevelăexpressesătheăreadabilityăinăaăgradeălevelăofăUS
educationalăsystemďźămakingăităeasierătoăjăudgeătheăreadabilityălevelăofăvariousăbooks
andătextsďźăObservingătheseăindicesăfbrătheănineăpassagesăusedăinăTestăSetăAďźăthe
presentăauthorăassumesătheădiffricultyăofăpassagesăwereăappropriateăforătheăsubjăects
andăfbrătheăpurposeăofătheăpresentăresearchďźseeă4ďź3ďź1ăforăfUrtherăexplanationsăonăhow
theăsubjăectăgroupsăwereăpredeterminedăforătheămainăstudyďźďź
ăăăăăTheănumberăofăwordsăinăeachăpassageăwasăcoçżtedăsoăasătoăregulateăthe
characteristicsăofăeachăpassageďźăTheăpresentăauthorăhadăselectedăpassagesăthatăwere
aroundă100ăwordsăinătotalďźăconsideringătheătimeăconstraintăofătestingăenvironmentsďź
Theănumbersăatătheăbottomăindicateătheămeansăforăeachăindexďź
ăăăăăAsăfbrătheăthreeămultipleďźchoiceătestăitemsăthatăwereătoăbeăansweredăafter
readingăeachăpassageďźătheăpresentăauthorăhadăwrittenătheăquestionsăandăfourăoptionsăť
Theăvalidityăofăwhichăquestionătypeďźseeă3ďź4ďź2ăfbrădetailedăexplanationsďźeachăitem
representedăwasăcheckedăbyăherăcolleaguesďźtwoăteachersăatăaăseniorăhighăschoolďźand
theirăassessmentăhadăsufflcientăcorrelationăofďź76ďźăForătheăitemsăwhere
disagreementsăwereăfbundďźătheyăwereădiscussedăandărevisedăsoăthatăallăthreeăpeople
ďźtheătwoăcolleaguesăandăIďźwereăsatisfiedăwithătheădecisionďź
ăăăăăăForăeachăpassageďźătheăfirstăitemăwasăwrittenăsoăthatătheăquestionăelicitsăa
âglobalďźinferentialâcomprehensionăofătheăpassageďźăTheseăwereătheăitemsănumbered
1ďź4ďź7ďź13ďź16ďź19ďź22ďź25ďźandă28ďźăandătheyăaskedăfbrătheămainăideaăofătheăpassageďź
ForăexampleďźăitemălăofăTestăSetăAďźââ1ďźWhatăisătheămainăideaăofăthisăpassageďźâďźcanăbe
answeredăcorrectlyăifăaătestătakerăcomprehendsăthatătheămainăideaăinătheăpassageăisăthe
50
ćąäşŹĺ¤ĺ˝čŞĺ¤§ĺŚ ĺ壍ĺŚä˝čŤć Doctoral thesis (Tokyo University of Foreign Studies)
growingăseamăinătheăseafloorăofătheăAtlanticăOceanďźăTheăwordingăandăphrasesăused
inăeachăquestionămayăvaryďźăbutăallănineăquestionsďźitemsă1ďź4ďź7ďź13ďź16ďź19ďź22ďź25ďźăand
28ďźareămadeătoăelicitâglobalďźinferentiarâtypeăofăreadingďź
ăăăăăTheăsecondăitemăwasăwrittenăsoăthatătheăquestionăasksăfbrăaââlocalďźliterală
comprehensionďźăTheseăwereătheăitemsănumberedă2ďź5ďź8ďź14ďź17ďź20ďź23ďź26ďźăandă29ďź
andătheyăaskedăfbrătheăinformationăwhichăisădirectlyăinterpretedä¸omăaărelatively
smallăamountăofătextăsourceďźăWithăregardătoătheăfirstăpassageăwhichăappearsăinăTeăst
SetăAďźăitemă2ăisăsuchătestăitemďźăItemă2ărequiresăaătestătakerătoăcompleteătheăsentenceďź
ââ
QďźTheăspeedăatăwhichătheăseafloorăisăspreadingăisďźżâăTheăcorrectăoptionââďźCďźhalf
asăfastăasăhumanăfingemailsăgrowďźâcanăbeăchosenăifătheătestătakerăcanăspotăand
understandătheălastăsentenceăinătheăpassageďźâThisăspreadingăoccursăinăhalfăofăaăspeed
ofăhowăfastăfingernailsăgrowďźâasăităiăsďźăWithoutăanyăfUrtherăinferringăfromătheătextďź
ăăăăăTheălastăitemăwasăcomposedăsoăthatătheăquestionăprovokesăaâlocalďźinferentialăă
çżderstandingăofătheăpassageďźăTheseăwereăitemsă3ďź6ďź9ďź15ďź18ďź21ďź27ďź30ďźăandăthey
calledăforătheăinformationăwhichăcouldăbeăobtainedăafterămakingăanăinferenceăfromăa
relativelyăsmallăamountăofătextăsourceďźăWithăregardătoătheăfirstăpassageăwhich
appearsăinăTestăSetăAďźăitemă3ďźââ3ďźăTheăbreakďźoffăofăPangaeaăstartedăbecauseďźďźďźâďź
requiresăsuchătypeăofăcomprehensionăandăasksăfbrătheăcauseăofătheăgrowingăseamăin
theăseafloorăoftheăAtlanticăOceanďźăInăorderătoăchooseătheăcorrectăoptionďźââďźBďźaplate
startedătoădeveloPçżderwaterăandătheălandăwasăseparatedďźâatestătakerăneedsăto
understandătheăsentenceďźââSinceăthatătimeďźătheăAtlanticăOceanăhasăwidenedăalongăaăhotďź
rockďźproducingăseÎľmăinătheăseafloorďźeâandăinferăthatătheârockďźproducingăsearnâisăthe
causeătheăbreakďźoffăofăPangaeaďź
ăăăăăTheăthreeăquestionsăfbrăeachăpassageăwereăaskedăsoăthatătheăglobalďźinferential
questionăwouldăcomeăfirstďźătheălocalďźliteralăquestionăsecondďźăandătheălocalďźinferential
thirdďźăTheăpresentăauthorăhadăchosenătoăprovideăthemăinăthisăorderăbecauseăthisăis
theăorderăinăwhichătheăquestionsăseemătoăappearăinătheăreadingăsectionsăofăcommon
standardizedăproficiencyătestsďźăsuchăasăTOEFLăorăTOEICďź
ăăăăăAsăfbrătheătimeăallocatedătoăthisătestďźăbecauseăoneăclassăperiodăinăseniorăhigh
schoolsăisăusuallyă50ăminutesďź50ăminutesăwasătheămaximumălengthăofătimeăallowed
51
ćąäşŹĺ¤ĺ˝čŞĺ¤§ĺŚ ĺ壍ĺŚä˝čŤć Doctoral thesis (Tokyo University of Foreign Studies)
toăimplementăTestăSetăAďźăIdeallyďźăsufficientătimeăshouldăbeăgivenătoătheătestătakers
sinceătheăfbcusăofătheăpresentăstudyăisăinătheătestătakersââpowerâďźăratherăthanătheir
âspeedâďźăTherefbreďźăspecialăattentionăwasăgivenăsoăthatătheătestătakersăwouldăbeăable
toăcompleteătheătestăsetăwithinătheătimeăallocatedďź
ăăăăăPriorătoătheătestăimplementationăfbrătheămainăstudyďźăaăpilotătestăwasăcarriedăout
inăorderătoăvalidateătheătestăitemsădevelopedăbyătheăproceduresădescribedăaboveďźăThe
subjăectsăwereă143ăstudentsăfromăaăseniorăhighăschoolăwhichăisăconsideredătoăbeăofthe
equivalentăacademicălevelătoătheăhighăschoolăatăwhichăTestăSăetăAăwasăimplementedăin
theămainăstudyďź
ăăăăăTheămainăinterestăinăcanyingăoutătheăpilotătestăwasătoăfindăandăeditătheătest
itemsăthatăexhibităproblemsăwithăitsăitemădiscriminationăindicesďźăItemădiscrimination
isââtheăcapacityăofătestăitemsătoădifferentiateăamongăcandidatesăpossessingămoreăor
lessăofătheătraităthatătheătestăisădesignedătoămeasureďźâďźDaviesăetďźăalďź1999ďź96ďźăIn
developingăaătestăinstrumentďźăităisăessentialăthatătheătestăitemsăhaveăhighălevelsăofăitem
discriminabilityătoăensureăaăreliableămeasurementăofătestătakersâabilityďźăItemsăwith
lowăitemădiscriminationăindexăareăusuallyăeliminatedä¸omăaătestăorăeditedďźăInăthe
presentăstudyďźăitemădiscriminabilityăwasăcalculatedăusingăclassicalătestătheory
ďźpointďźbiserialăcorrelationăcalculatedăbyăITEMANďźdueătoătheăsmallănumberăof
subjăectsăandăitemsďź
ăăăăăInăTableă4ďź2ďźââPBsâindicatesăpointďźbiserialăcorrelationďźăandââPCăâindicatesăthe
percentageăofătestătakersăwhoăcorrectlyăansweredăeachăitemďźăIndicesăfbr
pointďźbiserialăcorrelationăareăusedătoăindicateăhowăwellăanăitemădiscriminatesătest
takersăwhoăareămoreăcapableăwithăthoseăwhoăareănotăsoăcapableďźăItăisăoftenădefined
thatăpointăbiserialăcorrelationsăofďź25ăandăaboveăareăacceptableďźHenningă1987ďź53ďźďź
andămostăofătheăitemsăsurpassedăthisăcriterionďźăPercentageăcorrectăisăusedătoăshow
howăeasyďźorădifficultďźatestăitemăisăbecauseătheăhigherďźlowerďźtheăpercentageăof
peopleăwhoăcorrectlyăansweredăaătestăitemďźătheăeasierďźmoreădiffiTăcultďźatestăitemăhad
beenăperceivedăbyătheătestătakersďź
ăăăăăăAsăităisăapparentďźăitemsă10ďź11ďź12ăwereăconsideredătoăbeăproblematicăbecause
theyăshowănegativeăorăveryălowădiscriminationďźăTheseăwereătheăitemsăprovidedăfbr
52
ćąäşŹĺ¤ĺ˝čŞĺ¤§ĺŚ ĺ壍ĺŚä˝čŤć Doctoral thesis (Tokyo University of Foreign Studies)
theăsarneăpassageďźăsoăităcouldăbeăpresumedăthatătheăpassageăitselfăwasăproblematicăfor
thisălevelăofătestătakersďźăForăthisăreasonďźătheăpresentăauthorăhadădecidedăităbestăto
eliminateăallăthreeăitemsăalongăwithătheăpassageďźăItemsă1ďź2ďź3ďź9andălă6ăalsoăhadălow
discriminabilityďźăsoătheăpresentăauthorăhadăreviewedăandărevisedăeachăitemďźăTestăSet
ApresentedăinăAppendixăAăisătheăfinalăversionăofătheseăitemsăafterătheărevisionďźďźTheăitem
numbersăwereăleftăasătheyăwereăwhenătheătestăsetăwasăimplementedăinătheămainăstUdyďźăandăthis
wasăannouncedăorallyătoătestătakersăbyătheăproctorsďźďź
Tableă4ďź2ăTheădiscriminationăindicesăofătestăitemsăinătheăpilotăversionăofăTestăSetăA
ITEMďź PBs PC1 0ďź05 0ďź46
2 0ďź13 0ďź43
3 0ďź21 0ďź33
4 0ďź51 0ďź8
5 0ďź49 0ďź7
6 0ďź39 0ďź4
7 0ďź35 0ďź76
8 0ďź42 0ďź64
9 0ďź01 0ďź13
10 ä¸ăďź02 0ďź19
ll ä¸ăďź1 0ďź12
12 0ďź18 0ďź38
13 0ďź41 0ďź47
14 056 0ďź36
15 0ďź51 0ďź69
16 0ďź13 0ďź4
17 0ďź49 0ďź43
18 0ďź49 0ďź48
19 0ďź42 0ďź54
20 0ďź42 0ďź57
21 0ďź39 0ďź28
22 0ďź51 0ďź62
23 0ďź58 0ďź45
24 0ďź44 0ďź53
25 0ďź51 0ďź62
26 0ďź54 0ďź43
27 0ďź38 0ďź68
28 0ďź47 0ďź42
29 0ďź56 0ďź47
30 0ďź51 0ďź42
Inăorderătoăcompareătheăreadingăabilitiesăofătestătakersăwhoătookăthisăsetăofătest
53
ćąäşŹĺ¤ĺ˝čŞĺ¤§ĺŚ ĺ壍ĺŚä˝čŤć Doctoral thesis (Tokyo University of Foreign Studies)
andďźămoreăimportantlyďźătoăobserveătheăalterationăofălatentăabilityăstructureăamongătest
takersăwithădifferentăreadingăabilitiesďźăitemsă1ďź2ăandă3ăreappearăinăTestăSetăBăasăitems
1ďź2ďźandă3ďźăitemsă7ďź8ďź9asăitemsă4ďź5ďźăandă6ăandăitemsă10ďź11ďźăandă12ăasăitemsă7ďź8ďź
andă9ďźăHoweverďźăasăităwasăstatedăinătheăpreviousăparagraphďźăbecauseăitemsă10ďź11ďź
andă12ăwereăomittedăfromăTestăSăetăAďźăitemsă7ďź8ďźăandă9ăhadătoăbeăomittedăfromăTest
SetăBăasăwellďź
ăăăăăAsăfbrătheătimeăallocatedăfbrătheăcompletionăofătheătestďźăităwasăreportedăfromăthe
teachersăwhoăhadăproctoredăforătheăpilotăstudyăthatămostăofătheătestătakersăappearedăto
haveăreachedătheălastăitemăofătheăteăstďźăwhichăprovesăthată50ăminutesăwasăaăsufficient
timeăfbrătheătestătakersăinătheăpresentăstudyďź
4ďź2ďź2ďź2TestăSetăB
ăăăăăTestăSăetăBăiăsăpresentedăinăAppendixăBďźăInătotalďźăthereăareă27ătestăitemsăinăthe
testăsetďźnineăpassagesăareăprovidedďźăeachăwithăthreeămultipleďźchoiceătestăitemsătoătest
testătakersâcomprehensionďźăEachăitemăhasăoneăcorrectăoptionăandăthreeădistractersďź
Theseănineăpassagesăwereăselectedăafterăanăitemăselectionăwasădoneăinătheăpilotăstudyďź
TheăfeaturesăofătheseănineăpassagesăareăpresentedăinăTableă4ďź3ďź
Tableă4ďź3ăTheăfeaturesăofăpassagesăemployedăinăTestăSetăB
TEXT 1temďź REase GrăLevel Wordsďź1 1ďź3 56ďź8 8ďź7 952 4ďź6 55ďź2 10 108
4 10ďź12 34ďź1 12 157
5 13ďź15 35ďź3 12 142
6 16ďź18 34ďź8 12 1607 19ďź21 37ďź7 12 160
8 22ďź24 38ďź9 12 152
9 25ďź27 33ďź4 12 155
10 28ďź30 33ďź6 12 151
40 11ďź4 142ďź22
ďźăreXtă3ďźăasăwellăasăltemă7ďź8andăgăareămissingăfromătheătableăbecauseătheyăwereăomittedăafterăthe
itemăseleCtionďźďź
TextălăisătheăsameăpassageăasăTextălăinăTestăSetăAďźăTextă2ăisătheăsameăpassageăas
54
ćąäşŹĺ¤ĺ˝čŞĺ¤§ĺŚ ĺ壍ĺŚä˝čŤć Doctoral thesis (Tokyo University of Foreign Studies)
Textă3ăinăTestăSetăAďźăandăTextă3ăisătheăsameăpassageăasăTextă4ăinăTestăSetăAďźăThis
wasădoneătoăcompareătheăreadingăabilitiesăofătestătakersăwhoătookăthisăsetăofătestďźăTest
SetăBďźăwithătheătestătakersăwhoătookătheăTestăSetăAăandďźăinăparticularďźătoăseeăifăany
alterationăwouldăemergeăwithăregardătoătestătakersâlatentăabilityăstmctureăamong
differentăabilityăgroupsďźăTheărestăofătheăpassagesăwereătakenä¸omăReading
ComprehensionăSăectionăofăTOEFLăTestăPreparationăKităMorkbookďźETSă1998ďźďźăThe
presentăauthorăhadădeterminedăTOEFLăTestăpreparationămaterialătoăbeăanăappropriate
sourceăofăreadingăpassagesăbecauseďźăsinceăTOEFLăwasădesignedătoătestăEnglish
proficiencyăofăstudentsăwhoăareăseekingătoăstudyăatăanăundergraduateăorăgraduateălevel
inătheăEnglishďźspeakingăenvironmentďźătheălevelăofăEnglishăproficiencyărequiredăto
succeedăinăcompletingăthemăwouldăbeătheăsameăasăthatăofăadvancedălearnersăinăJapanďź
whichăisăatăanăequivalentălevelăofătheăsubjăectsătoăbeătestedăbyăTestăSăetăBďź
ăăăăăInătheăTableă4ďź3ďźâRďźăEaseâindicatesăFleschăReadingăEaseăandââGrďźăLeveră
indicateăsăFleschďźKincaidăGradeăLevelďźăTheănumberăofăwordsăwereăcountedăsoăasăto
regulateătheăcharacteristicsăofăeachăpassageďźăTheăpresentăauthorăhadăselected
passagesăthatăwereăaroundă150ăwordsăinătotalăforăTextsă4ătoă10ďźăconsideringătheătime
constraintăofătestingăenvironmentsďźăTheănumbersăatătheăbottomăindicateătheămeans
fbrăeachăindexďź
ăăăăăAsăfbrătheăthreeămultipleďźchoiceătestăitemsăthatăwereătoăbeăansweredăafter
readingăeachăpassageďźătheăpresentăauthorăhadăwrittenătheăquestionsăandăfburăoptionsăť
Theseăquestionsăandăoptionsăwereăexaminedăfbrătheirăvalidityăbyăherătwoăcolleaguesďź
Afterăeachăpassageďźăaââglobalďźinferentia1âquestionďźââlocalďźliteralăâquestionďźăand
ââćçžă˘â ć|inferentialâquestionďźseeă3ďź4ďź2ăfbrădetailedăexplanationsăofâquestionătypesâďź
areăpresentedăinătheăsameămannerăasătheseăquestionsăareăpresentedăinăTestăSetăAďź
Thiăsămeansăthatďźăfbrăeachăpassageďźăaââglobalďźinferentialâăquestionăisătheăfirstăitemăthat
comesăafterătheăpassageďźăaââlocalďźliteralâquestionătheăsecondďźăandăaââlocalďźinferentialâ
queăstionătheălastďźăThereforeďźăitemsănumberedă1ďź4ďź10ďź13ďź16ďź19ďź22ďź25ďźăandă28ăare
âââćçžbâ ć|inferentialâăquestionăwhichăaskedăfbrătheămainăideaăofătheăpassageďźăitems
numberedă2ďź5ďź11ďź14ďź17ďź20ďź23ďź26ďźăandă29ăareâlocalďźliteralâquestionsăwhichăasked
fbrătheăinformationăwhichăisădirectlyăinterpretedăfromăaărelativelyăsmallăamountăof
55
ćąäşŹĺ¤ĺ˝čŞĺ¤§ĺŚ ĺ壍ĺŚä˝čŤć Doctoral thesis (Tokyo University of Foreign Studies)
textăsourceďźăandăitemsă3ďź6ďź12ďź15ďź18ďź21ďź27ďź30ăareââlocalďźinferentialăăquestions
askedăforătheăinformationăwhichăcouldăbeăobtainedăafterămakingăanăinferenceăfrom
relativelyăsmallăamoçżtăofătextăsourceďźseeăpPďź51ďź52ăfbrădetailedăexplanationăand
examplesăofăhowătheseăquestionsăwereăpresentedďźďźăTheăvalidityăofăwhichăquestion
typeăeachăitemărepresentedăwasăconfirmedăbyătheătwoăcolleaguesăwhoăhadăworkedăon
theăquestionătypesăofăTestăSetăAďźăandătheirăcorrelationăwasďź71ďźăForătheăitemsăwhere
disagreementsăwereăfbundďźătheyăwereădiscussedăandărevisedăsoăthatăallăthreeăpeople
ďźtheătwoăcolleaguesăandăIďźwereăsatisfiedăwithătheădecisionďź
ăăăăăForăTestăSetăBďźătheătimeăallocatedătoătheătestăwasă50ăminutesăinăorderătoăparallel
TestăSetăAďźăInăwritingăandărevisingăTestăSetăBďźăspecialăattentionăwasăalsoăgivenăso
thatătheătestătakersăwouldăbeăableătoăcompleteătheătestăsetăwithinătheătimeăallocatedďź
ăăăăăPriorătoătheătestăimplementationăfbrătheămainăstudyďźăaăpilotătestăwasăcarriedăout
inăorderătoăvalidateătheătestăitemsădevelopedăbyătheăproceduresădescribedăaboveďźăThe
subjectsăwereă156ăstudentsăfromătheăsameçżiversityăatăwhichăTestăSetăBăwas
implementedăinătheămainăstudyďźăTheyăwereăofătheăsameăacademicăbackgroundăasăthe
subjăectsăwhoăhadăparticipatedăinătheămainăstudyďź
ăăăăăTheămainăinterestăinăcarryingăoutătheăpilotătestăwasătoăfindăandăeditătheătest
itemsăthatăexhibităproblemsăwithăitsăitemădiscriminationăindicesďźăAsăităwasădoneăin
theăpilotăstudyăforăTestăSăetăAďźăitemădiscriminabilityăwasăcalculatedăusingăclassicalătest
theoryďźpointďźbiserialăcorrelationăcalculatedăbyăITEMANďźdueătoătheăsmallănumberăof
subjăectsďź
ăăăăăInăTableă4ďź4ďźââPBsâindicatesăpointďźbiserialăcorrelationăfbrăitemădiscriminabilityďź
andââPCâindicatesătheăpercentageăofătestătakersăwhoăcorrectlyăansweredăeachăitemăto
showăitemădiäźcultyďźăItemsă7ďź8ďź9wereăautomaticallyăeliminatedăbecauseătheyăwere
theăsameăitemsăasăthoseăeliminatedăfromăTestăSetăAďźitemsă10ďź11ďźăandă12ďźďźăThe
presentăauthorăhadăoriginallyăintendedătoăuseătheseăthreeăitemsăfbrălevelăcomparison
acrossădifferentăsubjectăgroupsăbutădecidedătoădiscardăthemăfbrăthisăreasonăandăalso
dueătoătheătimeăconstraintăexpectedăinătheătestingăenvironmentďźăFurthermoreďźăitemsăl
andă2ďźăwhichărevealălowăitemădiscriminationăinăTableă4ďź4ďźăwereărevisedăbecauseăthey
wereătheăitemsăpresentedăasăitemsălăandă2ăinăTestăSetăAăandăhadăalsoăshownălowăitem
56
ćąäşŹĺ¤ĺ˝čŞĺ¤§ĺŚ ĺ壍ĺŚä˝čŤć Doctoral thesis (Tokyo University of Foreign Studies)
discriminationăinătheăpilotătestăfbrăTestăSetăAďźăTheăsameăwasătrueăfbrăitemă4ăandă6
whichăwereănumberedă7ăandă9ăinăTestăSăetăAďźăItemsă23ăandă29ăalsoăhadălow
discriminabilityďźăsoătheyăwereăreviewedăandărevisedăaccordinglyďźăTestăSetăBăwhichăis
presentedăinăAppendixăBătheăfinalăversionăafterătheseărevisionsďźďźTheăitemănumbers
wereăleftăasătheyăwereăwhenătheătestăsetăwasăimplementedăinătheămainăstudyďźăandăthis
wasăoçżcedăorallyătoătestătakersăbyătheăproctorsďźďź
Tableă44ăTheădiscriminationăindicesăofătestăitemsăinătheăpilotăversionăofăTestăSetăB
ITEMďź PBs PC1 0ďź27 0ďź94
2 0ďź18 0ďź99
3 0ďź30 0ďź86
4 0ďź29 0ďź43
5 0ďź43 0ďź81
6 0ďź20 0ďź44
7 0ďź38 0ďź80
8 0ďź56 0ďź63
9 0ďź18 0ďź67
10 0ďź45 0ďź71
ll 0ďź39 0ďź84
12 0ďź49 0ďź57
13 0ďź42 0ďź84
14 0ďź54 0ďź31
15 0ďź41 0ďź36
16 0ďź30 0ďź36
17 0ďź33 0ďź63
18 0ďź32 0ďź21
19 0ďź20 0ďź97
20 0ďź28 0ďź91
21 0ďź33 0ďź81
22 0ďź23 0ďź65
23 0ďź15 0ďź36
24 0ďź42 0ďź51
25 0ďź47 0ďź52
26 0ďź27 0ďź40
27 0ďź36 0ďź22
28 0ďź29 0ďź91
29 0ďź18 0ďź84
30 0ďź33 0ďź75
Asăfbrătheătimeăallocatedăfbrătheăcompletionăofătheătestďźăităwasăreportedăfromăthe
57
ćąäşŹĺ¤ĺ˝čŞĺ¤§ĺŚ ĺ壍ĺŚä˝čŤć Doctoral thesis (Tokyo University of Foreign Studies)
teachersăwhoăhadăproctoredăforătheăpilotăstudyăthatămostăofătheătestătakersăappearedăto
haveăreachedătheălastăitemăofătheătestďźăwhichăprovesăthată50ăminutesăwasăaăsufficient
timeăfbrătheătestătakersăinătheăpresentăstudyďź
4ďź2ďź3ăTestăAdministration
ăăăăăTestăSetăAăandăTestăSetăBăwereăbothăadministeredăină50ăminutesďźăSeniorăhigh
schoolăstudentsăwereăgivenăTestăSetăAďźăItăwasăimplementedăasăaăreadingăproficiency
testăinăaă50ďźminuteăclassăperiodďźăproctoredăbyătheăteachersăwhoătaughtătheăclassăinăthe
regularălessonďź
ăăăăăForçżiversityăstudentsďźătheătestăwasăadministeredăasăaăpartăofăaăplacementătest
fbrătheirărequiredăEnglishăclassesăwhichăconsistedăofăaălisteningăcomprehension
sectionăandăaăreadingăcomprehensionăsectionďźăTheyăwereăgivenăeitherăTestăSetăAăor
TestăSetăBďźădependingăonătheădateătheyăwereătakingătheătestďźăThoseăstudentsăwho
tookătheătestăonătheăfirstădayăofătheăplacementătestăwereăgivenătheătestăwhichăincluded
TestăSetăAăasătheăreadingăcomprehensionăsectionďźăandăthoseăwhoătookătheătestăonăthe
secondădayďźăTestăSetăBďźăTheăscoresăonătheăreadingăcomprehensionăsectionăofătheătest
wereănotăcountedăinătheăplacementăitselfăbecauseăofătheădifferenceăinădifficulty
betweenătheătwoătestăsetsďźăInătheăfirstăhalfăofătheătestingătimeďźăstudentsăwereăgivenă50
itemsăthatătestedătheirălisteningăskillsďźăInăthisăpartăofătheătestďźătheătimeăwasăregulated
byătheălisteningămaterialďźăAtătheăendăofăthisăsectionďźăwhichăwasăannouncedăbyăthe
listeningămaterialăitselfďźăstudentsăwereătoldătoăbeginătheăreadingăsectionďźăThe
studentsăwereăgivenă50ăminutesăfbrătheăreadingăsectionďźăTheătestăwasăproctoredăby
theăteachersăwhoăteachătheărequiredăEnglishăclassesďź
ăăăăăBothăhighăschoolăstudentsăandçżiversityăstudentsăwereăaskedătoăprovideătheir
answersăonămarkďźsheetsďźăTheseămarkďźsheetsăwereăscoredăelectricallyăonăthe
markďźsheetăscaçżerďź
4ďź3DataăAnalysis
4ďź3ďź1ăPredeterminingăAbilityăGroups
58
ćąäşŹĺ¤ĺ˝čŞĺ¤§ĺŚ ĺ壍ĺŚä˝čŤć Doctoral thesis (Tokyo University of Foreign Studies)
ăăăăăPriorătoătheădataăanalysesďźăthreeăgroupsăofădifferentăabilitiesăwereădetermined
basedăonătheăresultsăofătheădataăcollectionăaboveďźăTheăthreeăgroupsăareďźGroup
AďźLowďźăGroupăAďźHighďźăandăGroupăBďź
ăăăăăGroupăAďźLowăandăGroupăBăwereătoărepresentătheăgroupsăofătestătakersăwho
wereărespondingătoătheăitemsăthatăhadăaădifficultyăthatăisăequivalentătoătheirăreading
abilityďźăandăGroupăAďźHighătoărepresentătheătestătakersăwhoăwereărespondingătoăthe
itemsăthatăwereăconsideredătoăhaveăaădifficultyălowerăthanătheirăreadingăabilityďźăIn
thisăwayďźătheăresultsăofăGroupăAďźLowăandăGroupăAďźHighăcouldăbeăcomparedăto
investigateătheădifferencesăexhibitedăbyătestătakersăwithădifferentăreadingăabilities
tacklingătheătestăitemsăofătheăsameădifficultyďźăRčhermoreďźătheăresultsăofăGroup
AďźLowăandăGroupăBăwereătoăbeăcomparedătoăobserveătheădifferencesăpresentedăbyătest
takersăwithădifferentăreadingăabilitiesărespondingătoătheătestăitemsăthatăhadăthe
difficultyăequivalentătoătheirăabilityďź
ăăăăăHereďźăanăexplanationăofăwhatăisămeantăbyââtestătakersăwithădifferentăreading
abilitiesărespondingătoătheătestăitemsăthatăhadătheădifficultyăequivalentătoătheirăabilityâ
forăGroupăAďźLowăandăGroupăBăandââtheăteăstătakersăwhoăwereăreăspondingătoătheăitems
thatăwereăconsideredătoăhaveătheădifficultyălowerăthanătheirăreadingăabilityâfbrăGroup
AďźHighămayăbeănecessaryďźâInăItemăResponseăTheoryďźIRTďźďźătheătheoryăonăwhichăthe
calculationăofăitemădifficultyăwasăbasedăinătheăanalysesăofăSectionă5ďź3ďźătheăideaăisăto
findătheărelationshipăbetweenătheădifficultyăofăaătestăitemďźătheăabilityăofăaătestătakerďź
andătheăprobabilityăofăaătestătakerăansweringăaătestăitemăcorrectlyďźOhtomoă1996ďź69ďźďź
Theădifficultyăofăaătestăitemăisădeterminedăbyăitsâitemăcharacteristicăcurveâďźăaăgraph
whichăisădrawnăafterătheăcalibrationăusingălogisticăfUnctionďźăOnăthisăgraphďźătheăpoint
whereăitămeetsăwhereătheăprobabilityăofăaăpersonărespondingătoăthatăitemăisăOďź50ďź50ďź ďź
indicatesătheăabilityălevelăofăthatăpersonďźătheăpersonăwhoseăprobabilityăofăanswering
thatătestăitemăcorrectlyăisăOďź50ďźăandăthatăabilityăindexăisăemployedăasătheădifficultyăof
theătestăitemďźăTherefbreďźătheăindexăprovidedăasââthetaâinăAppendixăCďź1ďźăDďź1ďźăand
Eďź1ďźindicatesătheăabilityălevelďźfromďź3ďźOătoă3ďź0ďźofăaăpersonăwhoseăprobabilityăof
respondingătoăthatăitemăisăOďź50ăandăthatăalsoărepresentsătheădifficultyăofătheătestăitemďź
Thisărelationshipăbetweenătheăabilityăofăaătestătakerăandătheădifficultyăofăaătestăitem
59
ćąäşŹĺ¤ĺ˝čŞĺ¤§ĺŚ ĺ壍ĺŚä˝čŤć Doctoral thesis (Tokyo University of Foreign Studies)
bringsătheăpresentăreaderătoăcharacterizeăeachăsubjăectăgroupăasăhavingăanăabilityăthatăis
ââ?ćšćľŽĺĽéâ ć?ç ç ¤@toâăorââhigherăthanâtheădifficultyălevelăoftestăitemsďź
ăăăăăOriginallyďźătheăpresentăauthorăhadăchosenătoăgiveăTestăSetăAătoăhighăschool
studentsăandăhalfăofătheăuniversityăstudentsďźăsoăthatăhighăschoolăstudentsăwould
representăGroupăAďźLowăandăuniversityăstudentsďźăGroupăAďźHighďźăTestăSetăBăwas
givenătoătheărestăofătheăuniversityăstudentsătoărepresentăGroupăBďźăAtăthisăpointďźăthe
authorăhadăassumedăthatăuniversityăstudentsăwouldăpossessăhigherăabilityăinăEnglish
readingăcomprehensionăsinceătheyăhadăhadăanăextraăyearăofăEnglishăeducationăalong
withătheirăpreparatoryălearningăexperienceăfbrçżiversityăentranceăexaminationsďź
HoweverďźăthisămethodăofăpredeterminingătheăabilityăgroupsădidănotăfUnctionăforăthe
presentăstudyăbecauseďźăvirtuallyďźănoădifferenceăcouldăbeăfbundăbetweenătheăscoresăof
highăschoolăstudentsăandăuniversityăstudentsăonăTestăSetăAďźtheămeanăscoresăwereă17ďź6
fbrătheăhighăschoolăstudentsăandă17ďź9ăfbrçżiversityăstudentsďźăOneăpossibilityăwhich
couldăhaveăcausedăthisătoăhapPenăisătheăfactăthatçżiversityăstudentsăwereăgivenăthe
readingăcomprehensionătestăafterătheyăhadăworkedăonătheălisteningăcomprehension
sectionăinătheăplacementătestďźăTheăcognitiveăloadăwhichăwasăimposedăonătheătest
takersăwhileăworkingăonătheălisteningăcomprehensionăcouldăhaveăexhaustedăthem
cognitivelyăandăimpededătheirăperformancesăonătheăreadingăsectionďźărenderingăthe
resultăaboveďźăHoweverďźăwhenătheălisteningătestămaterialăwasăevaluatedďźăităwas
determinedăthatăitădidănotăappearătoăexhibitătheădiffricultyăthatăwouldăinfluenceătest
takersâperformanceăinătheălatterăsectionăofătheătestďźăTherefbreďźăităwasăpresumedăthat
thereăindeedăwasălittleădifferenceăinăreadingăabilityăbetweenăhighăschoolăstudentsăand
universityăstudentsăwhoăwereăgivenăTestăSetăAďźăForăthisăreasonďźăatăthisăpointďźăthe
presentăauthorădecidedătoălookăatătheăresultsăofătestătakersăwhoăworkedăonăTestăSetăA
asăaăwholeďźăregardlessăofăwhetherătheyăwereăhighăschoolăstudentsăorăuniversity
studentsďźăandăpredetermineătheăabilityăgroupsăbasedăonătheirătestăscoresăonăTestăSetăAďź
AdetailedădescriptionăofăhowătheseăgroupsăwereădecidedăisăpresentedăinăChapteră5ďź
NoăchangeăwasămadeăinăpredeterminingăGroupăBăsinceătheăuniversityăstudentsăwho
workedăonăTestăSetăBăhadăaveragedă16ďź3ďźăwhichăshowedăthatătheătestătakersăwhoăwere
givenăTestăSetăBăwereăadvancedăleamersăwhoăareăatătheăsameăabilityălevelăasăthe
60
ćąäşŹĺ¤ĺ˝čŞĺ¤§ĺŚ ĺ壍ĺŚä˝čŤć Doctoral thesis (Tokyo University of Foreign Studies)
readingăabilityăexpectedătoăcorrectlyărespondătoătheătestăitemsăinăTestăSetăBďź
4ďź3ďź2StatisticalăProcâŚedures
ăăăăăThreeăstatiăsticalăproceduresăwereătakenăinăorderătoăanalyzeătheădataăcollectedďź
4ďź3ďź2ďź1DescriptiveăStatistics
ăăăăăForăeachătestăsetďźămeanăandăstandardădeviationăwereăcalculatedďźăKR20ăwas
usedătoăestimateătheăintemalăconsistencyăofăeachătestăsetătoăensureăitsăreliabilityăin
measuringăstudentsâreadingăabilityďźăForătheăpurposeăofătestăvalidationďźătheăfacility
valueďźpercentageăcorrectďźandădiscriminationăindexďźpointďźbiserialăcorrelationďź
calculatedăusingăClassicalăTestăTheoryăbyăITEMANăďźAssessmentăSystems
Corporationďźwasăalsoăprovidedďź
4ďź3ďź2ďź2FactorďźlnalyticăStudies
ăăăăăInăanăattemptătoăcomeăupăwithăaătestăitemăspecificationăthatăeffectively
operationalizesădifferentăreadingăperformancesătoăbeătestedďźătheăpresentăstudy
proposesăthatătheââquestionătypeăâofăaătestăitemăcouldăbeăaăprimeăcomponentăto
constituteăsuchăaăframeworkďźăInăorderătoăidentifăˇtheăcomponentsďźăorăfactorsďźăthat
constituteăL2ăreadingăperformancesďźéŁ´ctorăanalysesăareădoneăfbrătheăcollectedădataăin
eachăTestăSetďźăTheănatureăoftheăfactorsăgeneratedăisăconsultedăqualitativelyďź
ăăăFullďźinformationăfactorăanalysisăwasăappliedăinăfactorăanalyticăstudiesăofăbothătest
setsăviaăTESTFACTă2ďźScientificăSoftwareăIntemationalďźďźăAlthoughăsomeăproblems
areăpointedăoutăinăusingătraditionalăfactorăanalysisămethodsăwithăbinaryădataďźiďźeďźăitems
thatăareăscoredădichotomouslyăbyăjudgingărightăorăwrongďźďźăfUllďźinformationăfactor
analysisăhasăbeenăevaluatedătoăaccommodateăsuchăcircumstancesďźNegishiă1996ďźBock
1984ďźďź
4ďź3ďź2ďź2ărtemăAănăalyses
ăăăăăToădiscoverăwhichăfacetsăofăaăreadingătestăitemăwouldăallowătheăwritersăofătest
itemsătoăpredetermineătheădiffricultyăofăaătestăitemďźătheăpresentăstudyăinvestigatesăthe
61
ćąäşŹĺ¤ĺ˝čŞĺ¤§ĺŚ ĺ壍ĺŚä˝čŤć Doctoral thesis (Tokyo University of Foreign Studies)
possibilityăofăaălinkăbetweenătheăitemădifficultyăofăaătestăitemăandăitsăquestionătypeďź
Forăthisăpurposeďźătestăitemsăareăanalyzedăbyăconsultingătheirăitemădifficultyăindices
calculatedăviaăRaschăAnalysisăusingăRASCALďźAssessmentăSystemsăCorporationďźin
relationăwithăquestionătypeďźăOtherăinformationăinătheăfinalăparameterăestimatesăas
wellăasăaărawăscoreăconversionătableďźăanăitemăbyăpersonădistributionămapďźăaătest
characteristicăcurveďźăandăaătestăinformationăcurveăareăprovidedăinăthisăsectionăof
analysisďź
62
ćąäşŹĺ¤ĺ˝čŞĺ¤§ĺŚ ĺ壍ĺŚä˝čŤć Doctoral thesis (Tokyo University of Foreign Studies)