Final Evaluation Report     

Evaluating and Learning from Culturally Responsive Pedagogy and Practice Grantees in the State of Oregon:  

Informing Strategic Investment within the Network for  Quality Teaching & Learning 

   

    

prepared July 30, 2015 

 for the Oregon Department of Education 

 by 

Scott Nine Independent Consultant 

  

  

 

 

   

1  

Table of Contents 

I. Introduction ……….…………………………………………………………………...  3 

II. Acknowledgements …….…………………………………………………………....... 4 

III. Abbreviations and Definitions ………….……………………………………………. 5 

IV. Context ………….………….……………………………………………....……………6 

V. Evaluation Methodology………....………….…………………………………………9 

VI. Outcome Descriptions by Project ...……….…………………………………………13 

A. Communities of Resistance………………………………………………….. 14 

B. Project High Five ……………………………………………………………….19 

C. Teaching With Purpose ……………………………………………………….24 

D.  Equity to Excellence ………………………………………………………….27 

E.  Culturally Responsive Elementary Mathematics Education ……………..31 

F.  Exploring Culturally Responsive Pedagogy & Practice in PPS …………..35 

G. Inquiring to Enact CRPP ……………………………………………………....39  

H.  Center for Culturally Responsive Practices ………………………………..44 

I. Designing, Developing, and Implementing CRPP for Native Students.... 49 

VII. Learning and Knowledge Generated Across Projects ………….…………………54 

VIII. Conclusions on the Strategic Investment in CRPP ………….……………………..61 

 

   

 

    

2  

Introduction  This report documents the outcomes and learning stemming from the State of Oregon’s strategic investment in Culturally Responsive Pedagogy and Practices as set out in HB 3233. An exploratory application of Outcome Mapping methodology was employed in the last eight months of the investment in an effort to capture the complexity these projects represent. The goal was to take a  learning  approach to monitoring and evaluation that, in itself, was culturally responsive.   The primary intended users of this evaluation are the management team overseeing strategic investments. A second vital audience is the grantee change agents and emerging network they helped to create during this project. Ideally, evaluation activities and final products are useful to both audiences, not just to determine the value of strategies and activities pursued, but in generating learning that can be applied across many levels of systemic change, from the state legislature to district policies to improved instructional practice and eventually student outcomes.  The heart of the report are the nine Outcome Descriptions formulated for each CRPP project. Information was gleaned, winnowed, and vetted to capture descriptions, contributions, and the significance of each grant while meeting five qualities : Specific, Measurable, Achieved, 1

Relevant, and Timely.  The network of grantees also generated knowledge about the changes they’d like to see happen in the partners they see as critical to their success in advancing educational equity through CRPP. Included in this report these Outcome Challenges and Progress Markers have significant potential value for each project and state actors.  

The report concludes by identifying the impact, challenges, learning, and recommendations surfaced through this investment in the spirit of “getting findings used.”         

  

1 Taken from “Outcome Harvesting” by Ricardo Wilson-Grau and Heather Britt and published by the Ford Foundation, May 2012. Located online at http://www.outcomemapping.ca/download/wilsongrau_en_Outome%20Harvesting%20Brief_revised%20Nov%202013.pdf 

3  

Acknowledgements  The CRPP projects leaders were generous in trying on a different approach to evaluating grants and this report would not be possible without both their efforts and their patience. ODE grant managers Rudyane Lindstrom and Markisha Smith moved quickly and were supportive of this evaluation effort as they sought to find a way to make visible the impact and learning of the CRPP projects. Kim Feicke and each of the technical assistance coaches with the Oregon Center for Educational Equity - John Lockhart, Julie McCann, and Elaine Rector, were welcoming, highly collaborative, and flexible in adjusting professional development planning to meet training needs related to this evaluation. Outside of Oregon, this report owes a great deal to the Outcome Mapping community including Fred Carden, Simon Hearn, Kaia Ambrose, and Ricardo Grau-Wilson. Their long-time work and transparent sharing of resources and lessons provided a substantial foundation to move from. Finally, the educators and organizers of the Institute for Democratic Education in America are the earliest adopters of this kind of process into educational spaces and this effort benefits greatly from their shared learning. 

     

4  

Abbreviations and Definitions Abbreviations 

AI/AN - American Indian or Alaska Native 

CARE - Collaborative Action Research for Equity 

CRPP - Culturally Responsive Pedagogy and Practice 

CRT - Culturally Responsive Teaching 

CTAG - Closing the Achievement Gap ELD - English Language Development 

ELL - English Language Learners 

EOU - Eastern Oregon University 

ESD - Educational Service District 

HB - House Bill 

MAT - Masters of Art in Teaching 

OCEE - Oregon Center for Educational Equity 

ODE - Oregon Department of Education 

OEA - Oregon Education Association 

OEIB - Oregon Education Investment Board 

OM - Outcome Mapping 

OMAT - Open School Masters of Art in Teaching 

OTP - Oregon Teacher Pathways 

PAT - Portland Association of Teachers 

PD - Professional Development 

PDS - Professional Development School 

PLC - Professional Learning Community 

PPS - Portland Public Schools 

PSU - Portland State University 

RFP - Request for Proposal 

SB - Senate Bill 

SPED - Special Education 

STEM - Science, Technology, Engineering, and Math 

SVP - Social Venture Partners 

TA - Technical Assistance 

TWPLI - Teaching With Purpose Leadership Institute 

WOU - Western Oregon University 

 Essential Definitions Contribution:   Verifiable explanation of how the change agent contributed to the outcome  Outcomes:  Changes in the behavior, relationships, activities, or actions of the people, groups, and organizations with whom a program works directly.  Outcome Challenges:  Outcome challenges are statements phrased so that they capture how the partner group would be behaving and relating to others if the program had achieved its full potential as a facilitator of change.   Partners-in-change:  The individuals, groups, and organizations with whom the program interacts directly and with whom the program anticipates opportunities for influence.  Progress Markers:  Progress markers illuminate the depth and complexity of changes that advance overtime. Moving from early and expected changes towards likely changes and extending all the way toward profound changes desired when a project is engaged with the partner is seeks to influence.       

5  

Context A series of strategic investments were initiated by the Oregon Education Investment Board (OEIB) in 2013 with a focus on “revitalization of the education profession and establishment of a Network of Quality Teaching and Learning.” One aspect of the comprehensive system of supports envisioned by HB 3233 was a series of grants totaling more than 1.3 million dollars to boost, connect, and learn from Culturally Responsive Pedagogy and Practices (CRPP) across the State of Oregon.  A request for proposals  was issued in January 2014 with nine recipients selected and awarded 2

grants ranging in scope, desired impacts, and amount.   

Granted Organization  Project Name  Amount Granted 

Link to Proposal 

Kairos PDX  Community of Resistance  $200,000   

Western Oregon University 

Project High Five  $200,000   

Eastern Oregon University  Center for Culturally Responsive Practices  $198,880.90   

Journey to Freedom  Teaching With Purpose  $182,500   

Lewis & Clark College  Inquiring to Enact Culturally Responsive Pedagogy and Practices 

$179,012   

Portland State University  Exploring Culturally Responsive Pedagogy and Practice in the Intersections of Closing the Achievement Gap and Equity Work in PPS 

$128,094    

Open Meadow  Equity to Excellence  $120,900    

Portland State University  Culturally Responsive Elementary Mathematics Education 

$112,307    

Beaverton School District  Develop, Design, and Implement Culturally Responsive Pedagogy for Native Students 

$78,306.10   

 The Oregon Center for Educational Equity (OCEE) was selected to provide technical assistance, consulting, and evaluation support for the CRPP funded projects in coordination with the Oregon Department of Education (ODE).  One of the important and technical challenges of this investment recognized by ODE staff, OCEE, and grant project leaders was evaluation. The partners engaged, targeted outcomes, theories of change, and locations of engagement within the education system vary widely across each grantee. This complexity presented a difficulty in adequately or meaningfully evaluating the impacts of each grant or the investment overall.  

2 Which includes definitions, research, and additional depth on goals and intentions of this grant not rearticulated or readjudicated here and can be found at  http://www.ode.state.or.us/search/page/?=4106  

6  

The following table captures the transactions and impacts that could be evaluated within the aims and aspirations, including evaluating each grant project itself, of the CRPP investments:  Total Transactions and Impact Chart 

Item  Source  Type 

Expansion of CRPP and support for school districts and postsecondary teacher preparation programs 

HB 3233, RFP  System Impact 

Closing the opportunity gap through culturally responsive pedagogy  HB 3233, RFP  System Impact 

Increase the number of culturally responsive teachers and teaching;  HB 3233  System Impact 

School policies and procedures reflect cultural responsiveness  RFP  System Impact 

Reshape curriculum with SB 103, The Multicultural Education Act, as an input  RFP  System Impact 

Training, mentoring and study of best practices ensure educators are able to provide culturally relevant, effective instruction to support students of color 

HB 3233, RFP  Capacity Building 

Increase the capacity of culturally responsive teaching and practices  HB 3233, RFP  Capacity Building 

Coursework and field experiences for pre-service and in-service teachers focused on CRPP 

RFP  Capacity Building 

Acknowledge the legitimacy of the cultural heritages of different ethnic groups, both as legacies that affect students’ dispositions, attitudes, and approaches to learning and as worthy content to be taught in the formal curriculum. 

Highlights of Geneva Gay research in RFP 

Practice Quality 

Builds bridges of meaningfulness between home and school experiences as well as between academic abstractions and lived sociocultural realities. 

Highlights of Geneva Gay research in RFP 

Practice Quality 

Uses a wide variety of instructional strategies that are connected to different learning styles. 

Highlights of Geneva Gay research in RFP 

Practice Quality 

Teaches students to know and praise their own and each other’s cultural heritages. Incorporates multicultural information, resources, and materials in all subjects and skills routinely taught in schools. 

Highlights of Geneva Gay research in RFP 

Practice Quality 

Creates a community among individuals from diverse cultural, social, and ethnic backgrounds 

Highlights of Geneva Gay research in RFP 

Practice Quality 

Increase student engagement and participation; Developing students’ sense of agency, efficacy, and empowerment 

HB 3233, Highlights of Geneva Gay research in RFP 

Practice Quality 

Strengthen the bond and communication between home, school, and the larger community; 

HB 3233  Practice Quality 

7  

Effectively utilize the local community as an extension of the classroom learning environment; 

HB 3233  Practice Quality 

Communication with families that is regular, uses diverse media and shares student achievement status and goals 

RFP  Practice Quality 

Communication of high expectations  RFP  Practice Quality 

Teacher as facilitator  RFP  Practice Quality 

Positive perspectives on parents and families of culturally and linguistically diverse students 

RFP  Practice Quality 

Student-centered, student-controlled classroom discourse  RFP  Practice Quality 

Establish a collaborative leadership team and process.  RFP  Process Goal  

Participate in a community of practice networking with other awarded grantees 

RFP  Process Goal  

Use research-based best practice and data, as appropriate, to inform pedagogy and practice.  

HB 3233, RFP  Process Goal  

Provide data related to impact of projects on students, teachers, and community partners through progress reports, interviews, and surveys 

RFP  Process Goal 

Host visits for other interested entities seeking to learn about culturally responsive pedagogy and practices 

RFP  Process Goal  

Specific project outcomes and evidence that there will be progress made towards meeting those outcomes 

RFP  Process Goal 

Programs and/or services designed and implemented to continue for at least two years beyond the grant funding 

RFP  Sustainability Goal 

Reflections on successes and areas of needed improvement based on program models shared 

RFP  Collaboration Goal 

 The length, depth, and variety of the items in the chart presented above make visible the complex mix of relationships, partners, and desired outcomes of this initiative at its inception. These important targets might be misjudged if evaluated too simplistically, with too blunt of an evaluation instrument, or out of step with the time horizons they take place within.  

Outcome Mapping , a methodology for evaluation and learning in capacity building efforts, 3

was selected by ODE and OCEE for an exploratory application to the CRPP investments in January 2015. This report is the result.    

3 Outcome Mapping was originally developed by Canada’s International Development Research Center (IDRC), more at www.outcomemapping.ca 

8  

Evaluation Methodology Outcome Mapping and Outcome Harvesting Outcome Mapping (OM) is a  learning  approach to planning, monitoring, and evaluation that: 

● puts people at the center ● defines outcomes as changes in behavior ● helps measure contributions to complex change processes ● supports learning and “getting findings used” 

 OM is being used in economic and community development projects across the globe and has been for fourteen years. In the last five years the methodology has gained additional attention amongst research and evaluation experts looking for a better way to monitor and evaluate complex systems change projects.  Outcome Harvesting  is a complementary approach to OM that is utilization-focused, highly 4

participatory and enables evaluators, grant makers, and managers to identify, formulate, verify, and make sense of outcomes they have influenced when relationships of cause-effect are unknown. Outcome Harvesting does not measure progress towards predetermined outcomes or objectives, but rather collects evidence of what has been achieved, and works backward to determine whether and how the project or intervention contributed to the change.  Managing the Evaluation Given time and cost constraints, the following process was used to generate shared learning and evaluation amongst each CRPP project, OCEE, and ODE staff leads, with the aim of providing state officials and the legislature with a contextualized understanding of the early impacts of their investment in CRPP to date, and lay the groundwork for a more robust application of Outcome Mapping in the following years, if desired.   Initial Engagement:   completed January 2015 

1. Reviewed grant applications and initial progress reports for each CRPP project. 2. Collaborated with OCEE to refine process and approach, while integrating their 

learning from interviews and site visits with CRPP project leads. 3. Gathered tools and approaches currently being used and measured each project’s 

evaluation effort. 4. Met with ODE Staff and key partners to understand key evaluation parameters and 

goals for identifying impact between and across the emerging network of grantees.  Intentional Design and Outcome Harvesting:   completed April 2015 

5. Facilitated a series of meetings and engagements with ODE staff, OCEE, and grantees to establish consensus on macro level changes the network of grantees and ODE is helping bring about and the strategies being used. Focus was on three questions: 

■ Who are the key partners? ■ What are the changes that are being sought? 

4 Wilson-Grau, R. (2015)  Outcome Harvesting . BetterEvaluation. Retrieved from http://betterevaluation.org/plan/approach/outcome_harvesting 

9  

■ How does this network of grantees contribute to the change process intended? 

6. Identified three shared boundary partners - the individuals, groups, and organizations whom the programs interact with directly and are attempting to influence. 

7. Developed initial Progress Markers for the three partner groups. 8. Utilized “Outcome Harvesting” to develop draft Outcome Descriptions articulating what 

was happening with each CRPP project.  9. Trained and facilitated each project in using Outcome Journals (referred to as Story 

Journals) to further capture their contributions to impact.  Strategy Review:         completed May 2015 10. Facilitated “Strategy Journals” with each project identifying their “best wisdom” and key 

lessons to be shared across the network and with the state.  Outcome and Performance Monitoring: completed July 2015 

11. Used OCEE TA leads as “substantiators”, aggregated all data to finalize Outcome Descriptions for each project. 

12. Offered an online assessment of organizational practices as it relates to the grant focus. 

 Learning, Impact, and Evaluation: completed August 2015 

13. Final evaluation document for this grant cycle prepared and presented to all stakeholders across all levels. Attention given to findings across projects and learning that can inform ongoing work by each project, future grant rounds, ODE’s equity efforts, and the Chief Education Office. 

 What did this process require of grantees? One of the core aims of Outcome Mapping is to establish evaluation processes that are mutual, honest, contextual, and useful. As most of the projects engaged in this grant were not previously familiar with OM and there was not time or resources to engage in a full application of OM, success in the exploratory period rested on weaving the current evaluation efforts and expectations of each granted project with structured engagement through already set professional development days led by OCEE. While participating in some form of evaluation was set out as an expectation in the initial grant RFP, the use of OM did ask grantees to take on the task of frequent online documentation capturing their contributions to impact. It also required they deal with new concepts often with more duplication than would be ideal given the lack of prior coordination and use of OM by the ODE grant managers and OCEE team. 

       

10  

Confidentiality In certain cases, making public the ways and means by which change agents influence outcomes could endanger or compromise future work. Thus, confidentiality about who contributes to the change or how they contributed, or both, became necessary. The following  agreements and conditions of confidentiality and discourse were used to navigate this terrain:  

1. Unless otherwise named or made clear, conversations, emails, or other exchanges with the evaluator were considered “on the record.”  

2. Information, reports, and outcome descriptions were shared with each project ahead of being made public to verify and allow for commenting in pursuit of accuracy. 

3. Each project agreed in its grant application to fully participate in program evaluations, continuous improvement processes, and to share strategies, models, evaluation information, and lessons learned with other organizations involved in this work. 

4. In cases where some level of confidentiality is required and agreed upon, efforts were made to share as much vital information as possible without revealing confidential information. 

5. Confidential or not, only outcome descriptions and evaluations that contain solid, plausible evidence and substantiation were used in final public documents. 

 

Limitations Given the context and timing constraints, overall engagement with the evaluation process named above was exceptional. This is marked by the 104 submissions of Outcome Journals and the wide access provided by each project, ODE, and OCEE to prior documentation, reports, and responsive correspondence. Four limitations are noted: 

● There was significant variation amongst the most engaged projects and those least active in sharing and generating documentation. One project alone submitted 51 Outcome Journals. Quantity is not a measure of quality. However the sheer difference in volume of information available to glean in developing and verifying Outcome Descriptions deserves consideration. 

● The political timing and realities of the legislative session taking place and peaking during key moments of this evaluation led both to duplications of some requests to grantees and also, likely, some “data-sharing fatigue.”  

● Decisions of the Strategic Investment Board related to the CRPP grants took place prior to the completion of this evaluation. That creates limits in terms of findings getting used and also may have impacted the level of engagement of some projects in the last two months of this evaluation process. 

● Training on Outcome Mapping terms and methodologies for each project was limited to ten hours. Key definitions and concepts in Outcome Mapping were introduced and generated dialogue and learning but also may not have been understood at enough depth or consistency to focus Outcome Journals on changes in behavior, actions, and policy instead of reporting activities of the project. 

    

11  

Data Collection The following table identifies the scope of information that was reviewed and gleaned in developing Outcome Descriptions for each project and considered in making conclusions on the impact of these CRPP investments.  

Document/Source  Description  Quantity 

Original Grant Proposal by Project 

Full proposals submitted by each grant project articulating their design, goals, rationale, and intended outcomes. 

9 

Project Reports to ODE  Most projects completed reports in October 2014 and May 2015. Reports asked for updates on project activities, demographic reach, and progress towards the outcomes identified in their original proposals. 

15 

OCEE TA Reports  Fall, Winter, Spring  27 

Outcome Journals/Story Journals 

Tracks progress over time. It includes a place to record who exhibited the change taking place, information explaining the reasons for the change, the people and circumstances that contributed to the change, and evidence of the change. It also seeks lessons for the program in order to keep a running track of the context for future analysis or evaluation. 

104 

Strategy Reviews  The strategy journal records data on the strategies being employed to encourage changes sought, the activities undertaken, a judgement on their effectiveness, the outputs, and any required follow-up. 

9 

Organizational Practices  An assessment of organizational practices common to learning organizations. 

5 

Tools each project used for evaluation 

Wide array of research-based and organic tool and surveys used by each project to capture feedback and impact 

12 

Other  Newsletters, videos, photos, emails, materials, or other documentation shared by the project 

64 

       

 

12  

Outcome Descriptions by Project An outcome description was formulated for each CRPP project. Information was gleaned from the sources identified above and moved through a winnowing process during which it is validated or substantiated. Outcome descriptions are formulated to meet five qualities : 5

 1. Specific:  Formulated in sufficient detail so that a primary intended user without 

specialized subject or contextual knowledge will be able to understand and appreciate who changed what, when and where it changed, and how the change agent contributed.  

 2. Measurable:  The description of the outcome contains objective, verifiable quantitative 

and qualitative information, independent of who is collecting data. How much? How many? When and where did the change happen?   

 3. Achieved:  The description establishes a plausible relationship and logical link between 

the outcome and the change agent’s actions that influenced it. In other words, how did the change agent contribute to the outcome, in whole or part, indirectly or indirectly, intentionally or unexpectedly?   

 4. Relevant:  Description represents a significant step towards the impact that the change 

agent seeks. Those who identify and formulate the outcome and the contribution must be well placed to assess both. They should have a special position or experience that gives them the requisite knowledge to describe the outcome and how they contributed. Thus, anecdotal data become critical data because of the value of the informants.  

 5. Timely:  While the outcome occurred within the time period being monitored or 

evaluated, the change agent’s contribution may have occurred months, or even years, before. 

         

5 Taken from “Outcome Harvesting” by Ricardo Wilson-Grau and Heather Britt and published by the Ford Foundation, May 2012. Located online at http://www.outcomemapping.ca/download/wilsongrau_en_Outome%20Harvesting%20Brief_revised%20Nov%202013.pdf 

13  

 A. Description KairosPDX  supported a cohort of twenty K-1 teachers and pre-service teachers to learn and develop teaching practices that are culturally responsive and engage with families while building cultural identity and literacy. The extended reach of participating educators to students is estimated at just over 400. Educators working with historically marginalized and underserved students, specifically students of color and low-income students who reside in North Portland were prioritized.   Participating educators incorporated and shared about the use of the following practices and strategies in their classrooms: 

● Incorporation of student voice into the curriculum ● Utilizing knowledge around the foundations of identity and 

belonging ● Using materials and strategies for increased family engagement ● Listening carefully to children and building curriculum around their thinking, ideas and 

passions. ● Validating diverse perspectives and reflecting to children a belief in their power to 

impact their world. ● Co-creating experiences with the children, effectively welcoming 

children’s voices into the dominant discourse of our classrooms.  Participants conducted observations of students looking for: 

● Increased engagement in literacy experiences from the students of color. 

● Student led inquiries. ● Student connection to their cultural and intellectual heritages ● Increased student interaction with their community. ● Students of color exceeding academic standards. ● Development of positive/solid cultural identity 

 B. Significance This project is a practice-based mirror of state aims. The learning, reflections, resources used, and changes in teacher mindsets and practice of a small group of elementary school teachers can and should inform statewide efforts to advance and spread culturally responsive literacy instruction through inquiry-based and collaborative professional development.  C. Contribution KairosPDX staff developed, curated, and shared a series of resources with cohort members. These materials stimulated participant thinking, supported their observation making, and provoked them to make changes in their individual classroom practices. The cohort process led several participants to question their own practice and the attention they’ve previously given 

14  

to the cultural identity of students. The majority of participants were able to examine their classroom environment, curriculum, and the school culture their work takes place in.   D. Key Partners  

PPS Office of Equity Equity TOSAs 

Portland State University Documentation  

Social Venture Partners 

Early Learning Network  Black Parent Initiative  Latino Network 

Portland Children’s Museum  and  Opal Public Charter School 

Warner Pacific University  Families and colleagues of cohort members 

Families of the students touched by this project 

Urban League of Portland Community Health Worker 

 

 E. Reported Demographic Information 

              *Taken from May 2015 Legislative Report 

 F. Representative excerpts and images gleaned from Story Journal submissions 

 

 

15  

  

  

  

  

   

16  

  E. Evaluation Tools Used by the Project 

● A pre-post survey was created for cohort participants that includes self-assessments of their ability to plan and implement culturally relevant instruction, to engage in “realness”, and improvement in their skill to support the cultural growth and family engagement of the children in their classroom. 

● Participating teachers gathered data on their children of color regarding cultural identity. 

● Parents of children in participating classrooms were surveyed to indicate the extent to which their child(ren)’s teachers meaningfully incorporate their family’s culture into the classroom environment. 

● Regular evaluations of each professional development day were offered. ● Participants created reflective presentations for the culminating event. 

 F.  Barriers, Challenges, and Lessons 

1) A budding realization expressed was that even with the information and resources given in the cohort, there were still teachers that remained detached from both their communities and this change effort. 

 2) A key tension worthy of additional exploration is how to hold race-specific (in this case 

African American) and multicultural foci within this kind of project. Project leaders noticed becoming even more conscious of the breadth of multicultural texts and ways they are less African American specific. The learning and interactions between specific cultural practices and broad multi-cultural understanding has been identified as valuable. Zalika Gardner says, “I have my favorite multicultural books, but it has pushed me to recognize where I am at – there are other stories from other perspectives that I need to learn about.”  

 3) KairosPDX sees a need for a manageable assessment tool to ask families about their 

experience with their child’s teachers and classroom experience as it relates to culture and identity. Such a tool could complement or challenge a teacher’s self-report to gather this data which is currently all that is available. 

  4) More time is needed with teachers in the cohort or through another experience to feel 

and understand their practice. For many participants this was a too unique experience. And KairosPDX expressed learning how to prioritize time within offering this experience. 

  

17  

5) The logistics of convening these sessions across the city was logistically challenging. An intake form was created to develop a database of participants and their logistical needs to address. An important aspect of this challenge is the intensity with whicheven motivated participants protect instructional time in their own classrooms. 

  6) Identified improvements by project leaders include:  

○ Work with administrations of participants to begin class observations at the very beginning of the cohort 

○ Develop a peer coaching model amongst participants ○ Increase communication from the project between the professional 

development sessions ○ Reduce content expected to be read - instead just make resources available 

 Key Contacts 

● Zalika Gardner,  zalika@kairospdx.org ● Terry Ann Cabine,  terryann@kairospdx.org 

           

   

    

18  

 A. Description Project High Five developed a Professional Development School (PDS) in partnership with Central School District and Western Oregon University focused on a co-teaching approach, contextualized ELD, and service learning based on principles of culturally responsive pedagogy. High Five was built on earlier work began through another university and school partnership named Project LUISA . Attention was 6

given to institutional, instructional, and personal changes amongst the participants and systems reached. The project directly engaged with 79 inservice and preservice teachers reaching at least 1,950 students. A small group of administrators involved in contextualized ELD instruction were also engaged. Project activities were within the geographic limits of the mid-Willamette Valley, Monmouth, and Independence.  A series of professional development workshops and dialogues on co-teaching and contextualized ELD were offered over the course of the year. These topics were explored through a variety of strategies, including readings, discussions, lesson development, videotaping of own lessons, reflections on own lessons, lesson feedback, and devising plans for personal growth.   A service learning project supporting the College of Education’s annual “Celebration of Giving” in December was intentionally expanded to include the Central School District, Ella Curran Food Bank, and the Oregon Child Development Coalition. All undergraduate teacher candidates received three professional development sessions on service learning and culturally responsive practices.  A capstone project in the clinical teaching seminar was completion of a service learning project that tied together academic learning and community outreach and culturally responsive practices.   B. Significance Project High Five implementation offers learning about the challenges of infusing CRPP, contextualized ELD instruction and co-teaching at elementary, middle, and high-school levels that is valuable for other districts. Faculty leaders of the project were able to spend time in classrooms interacting directly with students and teachers, leading to increased access to participating schools and increased trust in working with WOU. The team is hopeful that the stronger relationships with district leaders built through the project will enable them to consult and advise the Central School District with their future materials adoption process to ensure that teachers have the curriculum and instructional materials that will support culturally responsive teaching and learning. 

6  Language Understanding to Improve Student Achievement (LUISA) was a Title II-A grant initiative that began the relationship between the same institutional partners. 

19  

C. Contribution Documentation and resources from the professional development sessions offered has been catalogued online through the project  website . Courses within the WOU teacher education program were revised to address culturally responsive practices more explicitly. WOU staff have a greater understanding of the need to reduce deficit-based thinking. Teacher candidates who have heard about this year’s activities are eager to be placed in the Central School District in order to benefit from the emphasis on culturally responsive teaching and learning.  D. Key Partners 

Central School District  Teaching Research Institute Center for Educator Preparation and Effectiveness 

Oregon Child Development Coalition 

Monmouth Independence Senior Advisory Board 

Ella Curran Food Bank   

 E. Reported Demographic Information 

 

                     *Taken from May 2015 Legislative Report 

 F. Representative excerpts and images gleaned from Story Journal submissions 

 

  

20  

          

  

  

  

        

21  

E. Evaluation Tools Used by the Project ● A pre-assessment surveying Culturally Responsive Teaching was completed by 67 

respondents.  ● Multicultural Efficacy Scale (Adapted from Guyton and Wesche, 2005) was used for pre 

and post training evaluations.   ● Brief questionnaires called “Exit Tickets” were used to get rapid feedback at training 

and community events. ● Student achievement data (ELPA, ADEPT and other achievement assessments). ● Active Participation in Service Learning opportunities by Teacher Candidates and 

Clinical Teachers. ● Systems change questions: What is going well? What is surprising? What should we do 

differently? ● Theory of Change Questions:  1) How will practitioners know they are utilizing culturally 

relevant practices that assist students in their education?;  2) How will practitioners know they are making learning personally meaningful for every child?; 3) What changes are necessary at the district, university and community level to ensure that every student meets educational outcomes?; 4)What needs to happen to ensure that educational and community leadership is involved and supporting culturally relevant teaching? 

 F.  Barriers, Challenges, and Lessons 

1. Significant limitations were expressed by teachers related to the volume of demands on their time including Common Core implementation, proficiency grading, and potentially competing grant initiatives. 

 2. There was also a 30% turnover in teaching staff within the Central School District which 

led to a slower start-up of the project.  

3. The closure of Henry Hill, an elementary school that housed both a bilingual program and served many diverse students and created new challenges for students, families, and educators within the transition. 

 4. Though the district wants to stress that every teacher is an ELD teacher, that notion is 

not yet widely accepted.  

5. The requirement of co-teaching for Clinical Cooperating Teachers caused some shortages in anticipated placements. 

 6. Navigating what is the right amount of challenge to maintain without pushing so hard 

that participating districts back away from continued work on CRPP.  

7. The project plan did not include enough emphasis on working directly with administrators to ensure the necessary leadership for changing practices.  

 

22  

8. Impact was primarily at the elementary level. Participation of secondary level teachers was not successful beyond the required initial professional development session. 

 9. The value of bringing in experts, like Dr. Monica Brown, to increase awareness and 

understanding of culturally responsive teaching and learning.  

10. School year cycles need to be considered, not just the state’s fiscal year, in arranging the funding timeline. To provide effective professional development teachers must be recruited in the early spring for effective engagement over the summer and going into each fall.  

 Key Contacts 

● Maria Dantas-Whitney,  dantasm@wou.edu ● Chloe Hughes,  hughesc@wou.edu ● Christina Reagle,  reaglec@mail.wou.edu 

             

       

23  

 A. Description This project supported and expanded a network of educators committed to learning, inventing, enacting, and sharing CRPP through the Teaching With Purpose Conference, Town Halls, and Leadership Institute. The conference targeted participation from  educators, administrators, organizers, and community groups along with “system actors” from districts, state government, and the OEA.  Recruitment primarily took place in geographic regions served by the Reynolds, Portland Public, Centennial, Salem-Keizer, Beaverton, and Tigard school districts.  The Teaching With Purpose Conference was held in October 2014 with 350+ participants and more than fifty conference sessions focused on CRPP. Seventy percent of participants were teachers joined by administrators, parents, and other community members. A video recap of the conference is available online at  http://vimeo.com/110211315  One of the key offerings of the conference was a Town Hall session on Equity and Policy. This was attended by almost 300 participants. This offered participants exposure to policy issues and updates as it relates to advancing equity across Oregon. Participants expressed wanting to have more time for the Town Hall and so partnerships with the Oregon Education Association (OEA) and the Portland Association of Teachers (PAT) supported three additional town halls in November, December, and January.  Fifty people participated in the monthly Teaching With Purpose Leadership Institute (TWPLI) featuring Dr. Geneva Gay. Participating teams developed action plans for each policy addressing race and education, including: Senate Bill 103, Senate Bill 739, House Bill 2192, Senate Bill 755, and OEIBs’ State Equity Lens.  B. Significance Teaching With Purpose provides a well utilized “third-space” outside of direct professional development offerings from school districts to support educators across domains and spaces in deepening and spreading CRPP.   C. Contribution Teaching With Purpose is developing a platform for community digestion, input, and mutual accountability between teacher, families, community members, educators, and state decisions makers around educational equity in policy and practice. Participants in the conference, town hall, and institute express increased knowledge in state policy and how policy aligns with practice.   

24  

D. Key Partners 

Lewis and Clark College Graduate School of Education Center for Community Engagement Dr. Sue Feldman 

Dr. Geneva Gay  Education Northwest Joyce Harris 

Former Senator Avel Gordly  Portland Association of Teachers Gwen Sullivan 

Oregon Education Association 

Portland Public Schools  Reynolds School District  Fernridge School District 

Lebanon School District  Springfield School District  Centennial School District 

Portland Parent Union     

 E. Reported Demographic Information 

                     *Taken from May 2015 Legislative Report 

 F. Representative excerpts and images gleaned from Story Journal submissions

  

         

25  

  E. Evaluation Tools Used by the Project 

● Event evaluations are collected after the conference and from institute participants.   F.  Barriers, Challenges, and Lessons 

1) Teachers need more support and follow-up than current capacity of the project allows.  

2) There is an opportunity to support and challenge administrators to be instructional leaders and not just good managers.  

 Key Contacts 

● Karanja Crews,  karanjacrews@journeytofreedomproject.org   

       

26  

 A. Description Grant funds were used to advance three distinct initiatives connected by relationship to the organization’s overall equity agenda and desire to serve as both a model site of practice and an input into supporting larger systemic change.  First, a dedicated coordinator for Open Meadow’s Collaborative Action Research for Equity (CARE) initiative was established. This role provided weekly coaching to 18 staff members and contributed to a developing dropout prevention program focusing on culturally inclusive, relationship-based, extended-day and extended-year school programming while emphasizing cultural identity, restorative justice, student/family engagement and skill-acceleration, particularly for youth of color.  Second, Open Meadow developed and launched the  Open School Masters of Art in Teaching (OMAT) program in partnership with the University of Portland that has a specific series of classes focused on racial equity in teaching in school systems.   Third, an equity certification process was developed for preservice teachers enrolled in the OMAT program as well as for in-service teachers from partnering school districts. The equity certificate program is ready to launch with an August 2015 Institute for 43 participants. The certificate program is intended to help teachers and counselors advance professionally and build a baseline of skills and competencies in educational advocacy and equity-centered practices.  B. Significance The ongoing development of the CARE model offers a method that could be used by other schools and districts to change their instructional practices and school culture. The structured use of protocols and “instructional rounds” while focusing on CRPP has promise. The equity certificate and OMAT program establish potential pathways for people of color into the teaching profession.   C. Contribution There is significant learning taking place at Open Meadow amongst its teachers and leadership about instructional practice, coaching, school culture, and systems change as it relates to advancing CRPP.  Through the CARE initiative they are learning more about what it looks like to implement consistent and effective culturally responsive staff development and what surfaces for teachers when personal discomfort arises.  As it continues to grow, the OMAT program focused on racial equity and equity certification process have the potential to bring more culturally competent teachers of color and white teachers into the entire education system.  The partnerships they are creating with districts are enhancing a focus on effectively 

27  

serving students of color in an area that has a rapidly growing population of students of color. The culturally responsive engagement work with families is creating a culture of authentic engagement which will have an impact on students and the program as a whole.  D. Key Partners  

University of Portland School of Education 

David Douglas School District  

Portland Public Schools Equity TOSAs 

Centennial School District  Gresham-Barlow School District 

Parkrose School District 

Open Meadow The Open School Open Meadow Middle School 

Pacific Educational Group  Reynolds School District 

  E. Reported Demographic Information 

                     *Taken from May 2015 Legislative Report 

 F. Representative excerpts and images gleaned from Story Journal submissions  

 

28  

  

  

  

   

29  

E. Evaluation Tools Used by the Project ● The Marzano Teacher Evaluation Model ● Pacific Educational Group’s adapted version of Bloom’s Taxonomy for Developing 

Proficiency in Understanding ● Internalizing and Applying the Courageous Conversations protocols 

 F.  Barriers, Challenges, and Lessons 

1) Barriers that have been identified are mostly focused around coaching challenges within the CARE model. Ongoing efforts are needed to attend to ego involvements, assumptions that people of color are automatically culturally competent, and creating a climate with the right amount of challenge and support. 

 2) Teaching is more than curriculum. Students and staff need to create a culture within a 

school where they all have the same vision and everyone feels part of the community.  

3) Educators need to be constant learners and become fully aware of their students’ background and how to serve them best. 

 4) Orienting staff as new initiatives begin is important. Getting their buy-in rather than 

mandating participation allows them to locate the value in the work for themselves as it relates to classroom practice and curriculum development and will strengthen the chance of success. Remember to look through the lens of the staff who are implementing projects: What is their communication style? How accessible are you to them? How often are you holding them accountable? Are you acknowledging successes on their part? Can they communicate freely without push back or blow back? Are there spaces where they can see vulnerability and failure on your part? Are you acting as a colleague rather than an enforcer? 

 Key Contacts 

● Andrew Mason,  andrew@openmeadow.org ● Cindy Casama Gerber,  cindy.gerber@openmeadow.org ● Dawnnesha Wilcher,  dawnnesha.wilcher@openmeadow.org  ● Rich Christen,  christen@up.edu ● Hanif Fazal,  hanif@openmeadow.org  

      

30  

 A. Description This project was centered around a yearlong professional development course (project website:  https://crememath.wordpress.com ). Ten teachers at Rosa Parks Elementary School and Trillium Charter School received 66 hours of professional development over 22 meetings in completing an affiliated three-credit course at Portland State University with stipended support. Throughout the course, they shared student work, identified and discussed dilemmas, were exposed to research and provocations from international and national experts in mathematics education, and progressively constructed a community of practice spanning the two schools. The project culminated with a community event led by participating teachers and students at which the work and learning of students and the teachers were showcased.  Many classroom visits, incorporating informal interviews of students, were conducted by the project team. A wide variety of student work was collected by the teachers. Teachers met for intensive discussions with Dr. Geneva Gay from the University of Washington. Participating teachers also skyped with project advisors Dr. Danny Martin and Dr. Marta Civil. They also met with Ms. Patricia Sandoval-Taylor of the Tucson Unified School District in Arizona, who advised on family and community engagement based on her experience as a practicing teacher. Field trips to Portland Art Museum for students and teachers spurred discussion of Ethnomathematics through analysis of the mathematics embedded in Native American artifacts. Colleagues in engineering, architecture, and geology met with students during field trips to Portland State University with an emphasis on laying foundations for college recruitment. Towards the end of the course, participating teachers were interviewed to gain a sense of their developing understanding of culturally relevant mathematics education and to seek their input for continuation of the project.  B. Significance This project could seed similar efforts in other schools, and, eventually, statewide. Working intensively over an extended period with a small cadre of teachers supports their emergence as leaders in this field. Consulting with the foremost national experts in the field provides a solid grounding for learning from theory to practice and back again. Through critiquing the widespread characterization of mathematics as independent of culture, teachers are guided towards an understanding of what it means to teach mathematics in a culturally responsive manner. A position paper based on historical and international analysis, informed by the interactions experienced during this project, is being prepared as a policy white paper for the Oregon Department of Education and Portland Public Schools.  

31  

C. Contribution Participants expressed a change in their conception of mathematics as a school subject and its relevance to the lived experience of diverse students. A deeper understanding of mathematics as cultural construction and the pancultural nature of mathematical activities, mostly clearly articulated through Ethnomathematics as a pedagogical and research program, led to progressive changes in mathematics instruction. Teachers began to engage across the two schools (also students —see, for example, the Pen Pal project described on the website), a promising sign of emergence of the desired “community of practice.”  D. Key Partners  

Rosa Parks Elementary School  Trillium Charter School  National and international networks of scholars in Mathematics Education  

Project Consultants Dr. Geneva Gay Dr. Marta Civil Dr. Danny Martin 

Portland State University Graduate School of Education Graduate Teacher Education Program Department of Geology  School of Architecture College of Engineering 

Advising Scholars Julia Aguirre University of Washington at Tacoma  Patricia Sandoval-Taylor Tucson Unified School District Tucson, AZ.  

Portland Art Museum  SCRAP   

 E. Reported Demographic Information 

                     *Taken from May 2015 Legislative Report 

   

32  

F. Representative excerpts and images gleaned from Story Journal submissions  

           

  

  E. Evaluation Tools Used by the Project 

● A  pre/post test with quantitative data was initially conceived of but then ruled out as unrealistic and unhelpful. Each of the teachers was interviewed at the end of the year. 

 F.  Barriers, Challenges, and Lessons 

1) A significant barrier was the degree to which teachers were constantly diverted by a focus on testing and practice for tests in ways that severely impacted their scope for developing CRPP concepts in their teaching, particularly at Rosa Parks. Project leaders were frustrated and disheartened by the consequent effects on the morale of teachers, both veterans and those beginning in the profession. 

2) A major pervasive difficulty lies in the conception of mathematics generally held, namely that it is ahistorical, acultural, and apolitical. 

  

33  

3)   It takes time to develop rapport and trust with teachers and students. The benefits of a patient approach were seen in the culminating event in which teachers pulled together, students participated with agency, and the community was fully engaged. 

 4) Teachers' morale is also adversely affected by deteriorating working conditions, 

including workload, and by ongoing attacks on their status as professionals and intellectual workers. 

 5) The project team was unable to get the collaboration hoped for within Portland State 

University to get preservice (teacher candidate) student placements in the two project schools. 

  6) A final challenge expressed was in regards to financial management and resources. 

Initial costs were higher than anticipated.  Key Contacts 

● Swapna Mukhopadhyay,  swapna@pdx.edu ● Brian Greer,  brian1060ne@yahoo.com 

  

    

34  

 A. Description Researchers at Portland State University partnered with Portland Public Schools (PPS) and key education stakeholders to develop a continual cycle of formative assessment for the district. In close collaboration with participating schools, the PSU-PPS Equity Research Project is working to identify what culturally responsive practices are particularly effective at closing the achievement gap. The project developed and uses high-quality quantitative data to identify promising schools to study further. Then, a team conducts in-depth qualitative interviews to contextualize and deepen understanding about what changes are taking place for students and how those changes relate to changes in instructional practices. In addition, the team explores the role of Culturally Responsive Practice within these settings.    The Equity Survey of PPS surfaced as an important element within this project and was revised in joint collaboration before being administered to 5,950 PPS school staff and 162 building administrators in Spring 2015. The collection and analysis of this data, in conjunction with longitudinal student-level outcome data, will allow project researchers to identify the schools that are ‘beating the odds’ – schools that are doing better with student achievement, discipline data, etc., given the characteristics of the students, (e.g., large numbers of English language learners, high poverty rates, or significant enrollment of students of color). Once schools are identified, the team will move into the qualitative data collection portion.   Researchers Moti Hara and Esperanza De La Vega previously worked with the Oregon Department of Education to improve their quantitative process to identify schools successfully closing the achievement gap. Part of that improvement was following ODE’s quantitative phase with a qualitative approach to provide a contextualized understanding of each unique school site. This CRPP grant contributes to the development of a multi-year project to apply the lessons and insights of statewide work to Portland Public Schools (PPS).   B. Significance This partnership brings together theory and application in ways that can inform other school districts across the state. At the core of the work, the research team is focused on schools with disproportionately high students in poverty, English language learners, and students who are culturally and linguistically diverse. Work completed on this project can lay groundwork for the development and adoption of a statewide instrument that might serve this need and provide learning opportunities for other schools and academic researchers, illuminating lessons of contextualized practices and the development of continuous improvement mechanisms.    

35  

C. Contribution The research partnership led to direct support for district data management practices and elevated attention to how those practices relate to CRPP. Based on the in-depth statistical analysis of the prior data, a new Equity Survey instrument was developed and implemented for data collection for the 2014/15 academic year. The staff (but not the principal) survey instrument was translated into the five main languages.  Both principal and staff surveys were distributed online and paper copies were made available in the different languages. 1,878 survey responses were collected in total, 240 more staff responded to the survey in 2015 than in 2014.    Additional contributions identified were: 

● Exploratory cross-sectional and longitudinal analysis of PPS Equity and Safe and Civil School Survey Data was completed for preliminary findings. . 

● Researchers and district partners presented their work to date at the Culturally Responsive Evaluation and Assessment Conference in Chicago in September 2014.  

● Four years of data from prior equity surveys were mined for connections between pedagogical practices and schools’ reports of their climate.  

● Identification of nine underlying Equity Factors (constructs) measured by the Equity Survey.  

● An NVivo Server was purchased to facilitate the collaboration and cross-institutional coding and analysis on survey data sets. 

 D. Key Partners  

Portland Public Schools Elise D. Christiansen, Ph.D.  Research, Evaluation & Assessment  April Arevalo  Research, Evaluation & Assessment  Jeanine N. Fukuda  District Equity Initiatives  Cynthia Macleod  Equity Professional Development  Hector R. Roche  Equity & Partnership  Sarah Singer  System Planning & Performance 

    

36  

E. Reported Demographic Information 

                     *Taken from May 2015 Legislative Report 

 F. Representative excerpts and images gleaned from Story Journal submissions  

  

  

  

  

37  

E. Evaluation Tools Used by the Project ● This research focused project is unique amongst the CRPP investments in that it is 

focused on creating evaluative tools.  F.  Barriers, Challenges, and Lessons 

1) Regular group meetings with committed district personnel allowed for thoughtful, non-defensive conversation. 

 2) One challenge was in the quality of data available to the PSU researchers at project 

inception. What’s been learned is that with future district engagements, there needs to be a more conservative timeline and planned attention to developing relationships and support period to get data to level of quality needed for the CTAG process. More time to assess condition of data prior to engagement (to know what we would be dealing with) 

 3) PPS adopted the California Climate Survey and considered ending its use of the Equity 

Survey that was key to this research design. It was preserved for now, but a future adjustment may be needed and researchers on this project are now aware and considering how data from climate survey can be analyzed and connected to their design . 

 4) A key learning of wider system significance is how data do and do not link across time. 

The quantitative analysis is most powerful when linkages exist overtime but district realities often result in data being gathered one year at a time without clear linkages. Much was gained out of partnership to solve for this within this particular project and could be a key source of learning with wider implications. 

 5) Keeping district administrators informed about research being conducted in their 

district was important to establish trust and for laying groundwork for future requests.    

6) A process challenge has been in the ability of the research team to find doctoral students with the desired qualifications for this effort (doctoral level, research focused, time-during school day, and under-represented). Project adjusted with creative use of student workers but attention to this “pipeline” need may be warranted. 

 7) Navigation of district-level political landscape 

 Key Contacts 

● Moti Hara,  mhara@pdx.edu ● Esperanza de la Vega,  delavega@pdx.edu 

     

38  

  A. Description A grant partnership between Lewis & Clark College and three PPS high schools adapted the “strategic inquiry” approach from NYC Schools to focus on identifying, articulating, developing, and enacting culturally responsive pedagogy, policy, and practice.  The project directly engaged with 23 teachers, student-teachers, staff, administrators, and students across three high schools.  Over the course of the year, three distinct teams identified a specific inequity or gap they sought to close; gathered and utilized data to understand who is most affected by the inequity; and articulated ways to implement culturally responsive pedagogy and practices to redress the inequity.  Faculty from the Graduate School of Education and Counseling and school principals met periodically during the spring and summer of 2014 to lay groundwork for the inquiry process. Inquiry teams were started at High Schools 1, 2, and 3  with first meetings taking place in October 2014.  7

 At the heart of the work was a theory of action that to understand and implement CRPP requires educators and community members to inquire together over time to: 

1. Identify pressing disparities in their schools (for example disproportionate discipline rates of Black Males) 

2. Identify a small group of focal students (between 15-30 students). Focal students are those students most affected by the identified disparity (for example, Black males with the most behavioral referrals). These students do not participate on the inquiry teams. Rather, the inquiry teams work to change instructional practices and learn conditions to eliminate the identified disparities for each focal student over the course of the inquiry process. 

3. Develop target indicators and outcomes for these focal students (for example, significantly decreasing or eliminating referrals for  each  student) 

4. Surface instructional and organizational practices and policies that have perpetuated the disparities 

5. Develop and try out new instructional and organizational practices and policies to move indicators and outcomes for each of the focal students 

6. Continue this process until outcomes are changed for each focal student  Taken together, the project team and each respective inquiry team actively worked on: 

● Developing the practice of generating and analyzing valid, reliable and relevant student achievement data in the service of reducing inequities in instructional practices and achievement outcomes 

7 Within this research project, each school completed an IRB that promised de-identification practices. An effort has been made to capture key learning and impact by generic labeling. 

39  

● Reading CRPP literature ● Documenting and sharing changes in practice ● Disseminating learning and findings with the larger school communities ● Eliminating identified institutional obstacles within their sphere of influence ● Continuing to have difficult conversations with each other and sit with discomfort while 

examining their practice ● Observing one another’s classrooms to look for culturally responsive pedagogy and 

practice ● Identifying and articulating pedagogy and practices as they emerge in their own 

contexts  B. Significance This project holds promise in its potential to model teacher-centered action-based inquiry as an avenue to build capacity in schools to generate and use meaningful instructional data to identify gaps in achievement and engagement and then to identify and make changes in instructional practice, school climate, and site-based policies. Teachers are engaged as partners in investigation with the support of coaches and facilitators for support and light accountability. Key to this effort is the ability to create multi-role and multi-racial inquiry teams to broaden expertise, skill-levels, and perspectives.  C. Contribution At each school the inquiry teams used data to define a focal group of students who were not achieving as well as their peers, and then used the meeting time all year to discuss their understandings of the causes of the inequities and strategies that they as educators could develop to reduce this inequitable gap.  Educators describe the importance of time to collaborate within and across roles to understand student needs. With designated team time, teachers and staff members can draw upon each other’s strength and knowledge to identify student needs and organizational and instructional changes to support student growth. Teams got specific about who in the school is experiencing the most significant disparities and target changes in their pedagogy and practice around these students. Teams came to understand the importance of developing and utilizing common assessments to examine student growth over time. Teams have access to notes from inquiry meetings as a historical record for continued practice and future planning .  D. Key Partners  

Portland Public Schools Participating principals Participating teachers District Administrators 

Lewis & Clark College Members of the Collaborative Design Team Preservice Teachers Graduate Students Research Assistants 

 

     

40  

E. Reported Demographic Information  

Total Participants 

  Count    Count 

Total  29  Race/Ethnicity   

Male  10  American Indian or Alaska Native  1 

Female  19  Asian  1 

    Black or African American  8 

    Hispanic/Latino  0 

    Native Hawaiian or Other Pacific Island   

    White  18 

    Two or More Races  1 

    *Taken from July 2015 Self-Report and includes  the facilitators and research assistants. 

 F. Representative excerpts and images gleaned from Story Journal submissions  

  

  

41  

  E. Evaluation Tools Used by the Project 

● Context specific inquiry-based CRPP Interview Protocol was used with each inquiry team. 

● Optional survey of teacher instructional practices through 58 item questionnaire was created and but not administered. 

 F.  Barriers, Challenges, and Lessons 

1) While the strategic inquiry model was developed in New York, where inquiry teams in schools use state-wide data, teams in this project did not have access to data that they saw as helpful in the same way. This was both a surprise and a challenge. Project leaders believe the lack of readily available data, met by a commitment of the facilitators to utilize strategic inquiry, deepened the team members’ appreciation for the potential power of developing and utilizing formative and summative assessment to identify and reach their equity goals. 

 2) There is value in creating multi-disciplinary, multi-role, and diverse teams focused on 

strategies for individual students and their organization.  

3) There is value in including experienced and novice teachers and staff members on the team. Experienced educators can help support the development of new teachers. 

 4) Decision-making and power did not fall to those in traditional roles of authority. When 

done well, this distributed leadership model surfaced voices that traditionally have gone unheard (or been unvalued) and facilitated new strategies that have not been identified or taken up in the past. 

 5) Additional resource people can offer professional development on the focus area of the 

Inquiry team at the same time as the group is attempting new strategies and looking for results with individual students. 

 6) The inquiry process challenges assumptions that  the answer for gaps in student 

resources, opportunities, and outcomes is out there to be “found,” and instead compels educators to to inquire locally, into their own data, to disaggregate it and look for specific subgroups experiencing disparities, and utilize their expertise and networks to make change (see also Bensimon, 2005). 

 7) A degree of complexity is created within the inquiry process when teams take on 

multi-faceted challenges like “engagement.”  

42  

 8) Developing writing assessment raw data for an entire grade level takes focus, time, and 

collaboration of an entire team of teachers. Being able to disaggregate this data to examine demographic trends takes data analysis support not otherwise available to a school.  

 9) School schedules were not structured in ways that support collaboration efforts unless 

classroom time is “bought out”. A change in structure would be needed for an effort like this to be sustained without significant financial constraints. 

 10) There was high value in utilizing current PPS administrators who are also L&C doctoral 

students as research assistants: Four PPS administrators have acted as doctoral student researchers during the inquiry project. Through the process they have learned about the inquiry model and how to systematically study pressing problems of practice. Moreover, they have provided a kind of insider lens to the work, being able to pose and ask questions of the inquiry teams that an outsider would not know to ask.   

  Key Contacts 

● Mollie Galloway,  galloway@lclark.edu ● Janet Bixby,  bixby@lclark.edu 

 

   

    

43  

 A. Description Eastern Oregon University (EOU) designed and launched a Center for Culturally Responsive Practices. The Center began developing a network of K-12 educators committed to culturally responsive practices in the region. Three professional development workshops were used to bring EOU faculty, youth, and educator from the  Umatilla, Milton-Freewater, Hermiston, and Pendleton school districts together. Early into Center development, a decision was made to leverage and share resources and partners with a concurrent state grant developing the  Oregon Teacher Pathways (OTP) program.  Campus visits by Dr. Geneva Gay, Dr. Christine Sleeter, Dr. Marvin Lynn, Dr. Gisela Ernst-Slavit, and Dr. Richard Milner were used to kickstart and sustain regional attention and develop regional relationships.  A center website was established at  www.eou.edu/ccrp  which includes references to relevant articles and books, video clips from the professional development workshops, and identifies current staff, partners, and events in the region.  Best estimates are that 138 educators across K-12 roles were reached through the Center’s actions to date. This includes 50 teachers and administrators from four partnering districts, 40 members of EOU’s faculty and staff, and 48 pre-service educators participating in the OTP program in Umatilla and Milton Freewater. An additional 67 teaching candidates were engaged through the EOU College of Education.  The center collected formal and informal information, including focus groups, surveys, and interviews, about culturally responsive teaching and learning and other school practices from those students, educators and mentors involved in the OTP grant and through collaboration with partnering districts.  Center staff were able to support course redesign at undergraduate and graduate levels to include cultural responsiveness, including influencing the conceptual framework of the teacher education program at EOU.  B. Significance The Center was able to draw information, feedback and participants from targeted sites because of its collaboration with the developing OTP program and Eastern Promise -  a larger regional partnership including EOU, Blue Mountain Community College, Treasure Valley Community College, the InterMountain ESD and PK-12 schools . The linking of these efforts directly within the region is a signal of growing coherence and coordination. On the ground, this coordination resulted in empowered students, teachers and the administrator at Milton 

44  

Freewater High School to embrace the tenets of cultural responsiveness and engage in authentic and honest discussion and implication of supportive practices.  Students were given voice and respect in sharing their perspectives with their teachers and university staff.   The learning stemming from this initiative led to presentations and invitations to center staff to the Teaching With Purpose Conference, American Educational Research Association, National Association of Multicultural Education. Tawnya Lubbes, Director, was invited to the University of Washington to explore their work with fostering cultural responsiveness and to continue professional collaboration between Dr. Gay and the Center for Culturally Responsive Practices at EOU. Additional invitations to consult on similar centers have been issued to center staff by University of Pittsburgh, University of South Dakota, and Indiana University South Bend.  C. Contribution The Center’s external accomplishments combined with their hosting of national speakers on campus raised the profile and attention to culturally responsive practices in Eastern Oregon. Dedicated physical and online spaces have established a regional hub of information and resources. Skilled use of video documentation and website design provide an archive of accessible tools for educators, preservice teachers, and EOU faculty.   D. Key Partners  

Eastern Promise  Eastern Oregon University InterMountain ESD Blue Mountain Community College Treasure Valley Community College 

Regional School Districts Milton Freewater Hermiston Pendleton Umatilla Vale 

Confederated Tribes of the Umatilla Indian Reservation Nixyaawii Community School 

Hermiston Hispanic Advisory Committee 

Oregon Teacher Pathway Collaboration 

Four Rivers Dual Language Community School 

               

45  

 E. Reported Demographic Information 

                     *Taken from May 2015 Legislative Report 

 F. Representative excerpts and images gleaned from Story Journal submissions  

            

 Picture and teacher poetry from Summer 2015 Institute 

46  

  

  

  E. Evaluation Tools Used by the Project 

● Twenty-one workshop registrants were surveyed in Fall 2015 and again in Spring 2016 using an instrument designed by Dr. K.O. Siwatu  for monitoring preservice educator 8

growth in cultural responsiveness. ● Regular evaluations of each professional development day were offered. 

 F.  Barriers, Challenges, and Lessons 

1) The biggest challenges expressed are "buy-in" and financial. There is confidence in the quality of content being offered but information about the workshops were not widely advertised or encouraged amongst partners. Lessons about more strategic engagement and creativity in promoting events are being learned.  

 2) Another related challenge is the felt and expressed sense that a majority of educators 

and administrators in the region believe “we don’t have a problem with diversity” and so the Center’s activities and efforts are not pursued as priorities. Current mindsets are more focused on poverty than race and for many CRPP  is a new concept. 

 

8 Siwatu, K. O. (2007). Preservice teachers’ culturally responsive teaching self-efficacy and outcome expectancy beliefs. Teaching and Teacher Education, 23, 1086-1101.   

47  

3) Concerns have been raised about the protection of intellectual property and trademarking which could impact maintaining the integrity of the work and require a viable long-term fee for services and/or subscription-based website. 

 4) Additional learning has taken place with Center staff regarding the  unique needs of 

rural educators and students in Eastern Oregon. Personal contact is the best way to follow up and close loops. It is difficult, especially at the end of the year, to get formative information via survey etc. 

 5) On financial sustainability, Center leaders recognize they  should have been inquiring 

about funding and resources at the beginning of the project rather than at the end of the funding cycle. 

 6) A missing component in this grant was deliberate engagement of administrators (both 

from partner districts and the university) in focused attention on their roles as leaders for cultural responsiveness. While administrators were invited they did not participate. Future efforts will include personal invitations, the use of administrator testimonials, and increased attention on getting administrative support and leadership. 

  Key Contacts 

● Tawnya Lubbes,  tlubbes@eou.edu ● Vicky Romano,  vromano@eou.edu 

   

      

48  

 A. Description This grant focused on the ‘achievement gap’ primarily by working with teachers in the Beaverton School District to better understand their teaching about Native Americans. It approached that effort from a number of different angles. Five days of supported professional development workshops reached 26 educators. A model of excellent CRPP for Native Students was created over the summer in the offering of the Native American Enrichment Camp in collaboration with the Wisdom of the Elders.The camp used Native science to study the importance of water, salmon, game, roots, and berries - including the use of oral stories from NW Tribes. ( link to press coverage )  Over the course of the academic school year: 

● 10 family event were held. In September 2014  a was survey given to families and students to gain insights into their current understanding, attitudes, and needs. 

● Teachers uploaded 26 culturally specific lessons into BSD’s online lesson repository, TeacherSource.  

● A lesson evaluation rubric was advanced in collaboration with Deb Peterson at Portland State University for teachers to use in evaluating their work. The rubric was presented to the Beaverton Native Cultural Trust.  

● 20 classroom presentations were made. ● A cohort of 20 K-5 ESL and General Ed teachers received a training titled, “Listening to 

Their Story: Responding to Young Writers”. ● A “Paths to Scholarship” workshop was held in November 2014 for 10 American Indian 

and Alaska Native (AI/AN) students. This offered students culturally informed information about college admission and scholarship prep.  

● Work was initiated with one middle school to bring in curriculum that Wisdom of the Elders is developing that looks at environment through Native perspectives. This project involved 8 th  graders in eighteen 65 minute sessions in coordination with a STEM funded effort.  

 B. Significance Attention to and understanding of native wisdom and approaches to teaching and learning across disciplines is widely marginalized. The project offers a real-time glimpse of the challenges of improving CRPP within a large suburban district. The lesson evaluation rubric developed has potential for wider application across the state and in teacher professional development within the Pacific Northwest.   Project efforts supported the development of the Beaverton School District Native Cultural Trust consisting of parents and Native community leaders. Students benefit from their 

49  

guidance and "show of support.” The Trust identified five outcomes to pursue in the years ahead.  C. Contribution The project and it’s key staff member, Louise Wilmes, contributed to teachers to thinking about their world and classroom content, in ways they had not before. Teachers liked talking about the rubric, which distilled critical ideas to consider in planning lessons. These steps seem like they make the rubric more accessible to non-Native teachers. Within the district’s online repository,  Native American Education is now under the curriculum section, no longer relegated to a lower-profile resources section. The various efforts within this project, as well as the mid-stream consideration of the district to cut this project for financial reasons, has significantly impacted the visibility of this project and its goals.   D. Key Partners 

Wisdom of the Elders  Northstar/Painted Sky  Portland State University College of Education Graduate Students 

NARA-NW  Beaverton School District TeacherSource 

Native American Parent Advisory Committee 

BSD Native Cultural Trust  Paths to Scholarship  Tualatin RiverKeepers 

Washington County Museum  April Campbell   

 E. Reported Demographic Information 

                     *Taken from May 2015 Legislative Report 

     

50  

 F. Representative excerpts and images gleaned from Story Journal submissions  

  

    

51  

  

  

  E. Evaluation Tools Used by the Project 

● Customized likert style survey developed for feedback on family night      

52  

F.  Barriers, Challenges, and Lessons 1) The size and distribution of Native students in the district brought learning about 

marketing and outreach. It was difficult for the project to gather evaluation data that reflects the outcomes they are seeing in an adequate fashion.  

 2) Another barrier was successfully getting teachers to complete lessons and post them to 

the TeacherSource repository. This was a challenge both in desired volume and in the quality of submissions. 

 3) The project leader identified that the general distrust of government expressed by 

native people remains a barrier to have native people involved.  

4) Challenges exist in the degree of curiosity and support available. It seemed to disappear the higher the project went up the administrative ladder.  

 5) Native parents are the highest power in this grant. They give their Native children us to 

take the best care of their hearts and minds. We should be honored to do this work with them. The parents have been very enthusiastic about the goals in this grant and now their expectations about future funding is always on their mind.  

 6) The project leader identified the following personal and professional learning and 

wisdom to share: ○ Learned and stopped allowing herself to be utilized for purposes that are not 

culturally responsive and focused. ○ Have your "elevator speech" with you ALL the time. ○ Make friends with your organization's data and IT people. ○ Use your data to illustrate your goals and update the data. ○ Spend more time with your feedback tool than you can imagine. ○ Ask yourself the same questions that you ask of others. ○ The world is very small and we are all connected in one way or the other - 

meeting people in the grocery store and at social functions that encouraged and pointed towards new directions. 

○ Remember to check back. It is more time saving when you personally collect the check-backs. 

○ Thank your idea helpers, resources, and thank the Creator for all the opportunities that unfold. 

 Key Contacts 

● Louise Wilmes,  Louise_Wilmes@beaverton.k12.or.us    

   

53  

Learning and Knowledge Generated Across Projects This evaluation actively sought to surface learning across each CRPP project, the OCEE team providing technical assistance, and the ODE staff related to this investment. This section of the report pulls together the learning and “design side” of the Outcome Mapping process.   Developing a Common Language When project leaders were surveyed in October 2014 about their definition of culturally responsive pedagogy and practices seventeen definitions were gathered:  

● Up to; learning of the culture (human) approach to life. ● To ensure an open and accessible curriculum to all students to ensure success in 

learning and in assessment and in tolerant social growth. ● It's multifaceted- a philosophy to fight against injustice, a practice to be inclusive, an 

approach to teaching and learning for equity. ● Pedagogy and practices that acknowledge cultural diversities and are 

accommodated to them, not just in terms of cognitive learning/teaching process, but- more importantly- in terms of interpersonal relationships. 

● There is not a singular definition... however it is all about relationships: caring, cultural communication, curriculum and instruction.  It is student-entered scaffolded and builds upon what students bring to the classroom from prior learning (inside and outside of school) It is also very constructivist. Language, identity, culture and race. 

● Culturally responsive pedagogy and practices are instructional practices that intentionally engage all students in a classroom. 

● School policies and instructional practices that respect and build upon cultural practices and ways of knowing that students and families bring to school.  Deeply equal access to education is ensured for students of all cultural backgrounds. 

● CRPP is being willing to look and reflect at personal, community and universal interactions of people to determine and discuss equal treatment. 

● An educational practice that takes into account, and builds on, where students are coming from, culturally, linguistically, and socio-economically. 

● CRPP allows for a flow of culturally responsive education/knowledge to be learned and taught by the teachers and students.  How do we teach to children of all cultures? 

● "Pedagogy" I define as how we believe children learn and the way we respond to these beliefs in our classrooms.  Culturally responsive pedagogy considers culture as a mitigating factor in teaching and learning and a powerful component of effective instruction.  CR practice honors the cultures represented, experiences represented, and intentionally incorporates multiple perspectives and social justice context and objectives. 

● Pedagogy and practices that surface and utilize the rich ways of learning, knowing, being, sensing and emoting that each student and family brings to the educational setting. 

● Inclusive, culturally-relevant framework and curriculum/teaching that encompasses student’s racial, ethnic, socio-economic backgrounds and other identity elements. 

● It is a position that treats learners (and their communities) as subjects, not as objects (the typical position). Accessing knowledge of communities for creating a broader understanding of what constitutes "knowledge". (as opposed to Ed Hirsch) 

54  

Empowerment of students (and their communities) since knowledge and identity are complimentary. CRPP potentiates a stronger sense of identity. 

● Culturally responsive pedagogy and practices allow all learners (from different groups) to benefit equitably from the curriculum, instruction and even discipline in the classroom, engaging and empowering all learners (especially those that are traditionally marginalized). 

● My definition is dynamic and evolving, but essentially I consider it to be a pedagogy that takes into consideration the lives, experiences, interests, and desires for the future of students (and families) who are under-represented in schools. These students/families may be underrepresented because they do not have power within the structure of schools (and society in general) and are often marginalized. 

● My definition of CRP is a teaching practice the has a strong component of empowerment and social justice. It’s being intentional about having a lens of equity and implementing equity in practice. 

 

Developing a Common Understanding on Evaluation In the January 2015 professional development session, project leaders generated a list of attributes of a meaningful and desirable evaluation effort. The following list might serve as a starting point for future evaluations of capacity building efforts related to CRPP:  

Robust understanding of context 

Students’, stakeholders’ and partners’ experiences take a front and center role 

Ways of connecting human experiences and stories with data that supports them 

Acknowledges the process and the evaluations as part of the whole system of the work so that the evaluation process is part of the intended intervention – not just a stand-alone activity.   

Key focal questions and feedback are designed to capture multiple experiences and real impact.  Unearthing things that are significant now because they show change that will ultimately have lasting impact. 

Honest, on-going monitoring. Not there just at the end of the year.  A system that exposes what’s really happening not hiding or spinning it because of who the data goes to. Messy is ok. 

Based on an up-front and ongoing exploration of what success might look like  

Space for honest and direct input that can be used now and will inform the future – Not so guided and structured that input is predetermined. Frank is ok. 

Useful and meaningful to the families and constituents with whom we work.  Truly partnering with them in the process.  

Interview-based and captured through videos 

Test scores are not an end all and be all focus 

Provides lots of different ways to document what is happening 

Making sure it is part of the learning process. 

Looking at both big and small changes and nuances in the process. 

Balances confidentiality and honest discourse.  

    

55  

Identifying Common “Partners-in-Change”   Where each project has distinct partners and changes it sought to make, project leaders were engaged in January 2015 to think together about the individuals, groups, and organizations with whom they interact directly and on whose actions their success depends using a facilitated Outcome Mapping exercise. After making an initial list of 28 different groups and organizations, the grantees were able to consolidate to three groups to develop potentially shared Outcome Challenges and Progress Markers.  

1. Administrators  

2. Teachers and Support Staff   

3. Community Partners  

 9

 

 Potentially Shared Outcome Challenges and Progress Markers For each of the identified “Partners-in-Change”, project leaders were engaged in an exercise to brainstorm and then refine the changes they’d like to see happen in the partners they see as critical to their success in advancing educational equity through CRPP. An additional Outcome Challenge and set of Progress Markers were also developed for project participants in an emerging CRPP network. These four documents have significant potential value for each project, OCEE, and ODE as they map out the kinds of changes being sought. The actual contribution of impact in advancing these changes by the trying out of different strategies and activities could begin to be captured if they were adopted, used, and continually adapted through quarterly or semi-annual monitoring.  

9 Taken from www.outcomemapping.ca 

56  

Outcome Challenge and Progress Markers for Administrators  Regardless of their “positioning” within district, regional, or state levels, Administrations and Administrators are key partners-in-change in advancing Culturally Responsive Pedagogy and Practice. From ESDs to Districts to School Leaders, administrative choices reflect a people-driven agenda. Leadership choices reflect a deep understanding of and engagement with community partners and communities of color to nurture changes in educational practice, policy, and narratives.   4   changes we   expect to see   in from early interactions with CRPP projects and interventions: 

1  Early investigation and reflection on CRPP through a variety of channels (i.e. equity lens, survey)  

2  Direct and timely communication (responding to emails, willing to have CRPP discussions, exploring how CRPP plays out in every aspect of schools) 

3  Active listening and participation before, during and after meetings with attention to making use of information and inputs, honoring concerns, and spotlighting where positive changes are being made 

4  Articulating a personal cultural identity 

 8   changes we would   like to see    from sustained engagement with CRPP projects and interventions: 

5  Bringing up equity and diversity issues when they are NOT specifically on an agenda 

6  Following through, keeping promises, high engagement and communication around any limitations 

7  Giving full attention and priority to staff, parents, students while limiting distractions 

8  Asking questions and sharing how they are thinking through their own practices and actions 

9  Analyzing and using data and quality measures with an equity lens (i.e. disaggregating by race) 

10  Hiring and policy implementation reflects an active equity agenda 

11  De-centering and rearticulating curriculum, school culture, administrative practices, and policies through an equity lens.  

12  Communication show awareness of different “levels of discourse” with attention to increasing authenticity and accessibility of language being used 

 3   profound changes we would   love to see   as a result of long-term committed partnership: 

13  Willing to use personal and positional power and privilege to provide opportunities, hear and address concerns, build partnerships across differences,  understand how to build trust and broker relationships particularly with People of Color and those traditionally excluded and marginalized 

14  Advocating and connecting with multiple levels of equity work (ODE, building and district equity teams) while encouraging shared leadership (i.e. not just asking one person to be the Equity leader) 

15  Decisions about who is placed where, allocation of resources, quality of programs, etc. are based on an understanding of institutional racism, CRPP, and necessary systems’ change 

  

57  

Outcome Challenge and Progress Markers for Teachers and Support Staff Teachers and support staff act to create the conditions and to nurture Culturally Responsive Pedagogy and Practices. They are persistent in their efforts to transform educational opportunities for marginalized students and communities. They are diligent in in their efforts to ensure changes in practice are realized. Teachers and support staff demonstrate the knowledge, skill, and moral courage to advance CRPP .  10

4   changes we   expect to see   in from early interactions with CRPP projects and interventions: 

1  Early investigation and reflection on CRPP, including articulating a personal cultural identity 

2  Increased awareness and articulation of school environment, policies, school culture, curriculum, and communication through an equity lens  

3  Partnering with ethnically, racially, and linguistically diverse students and their families 

4  Make use of coaches, peers, CRPP network, community partners and/or site-based facilitators for support and feedback in exploring changes in practice and pedagogy.  

 8   changes we would   like to see    from sustained engagement with CRPP projects and interventions: 

5  Uses a wide variety of instructional strategies based on awareness of cultural diversity and connected to different learning styles. 

6  Teaches students to know and praise their own and each other’s cultural heritages. 

7  Builds bridges of meaningfulness between home and school experiences as well as between academic abstractions and lived sociocultural realities including consistent and culturally responsive communication with parents and families. 

8  Incorporates multicultural information, resources, pedagogy, and materials in all subjects and skills routinely taught in schools. 

9  Builds a community among individuals from diverse cultural, social, and ethnic backgrounds. 

10  Utilizes the local community as an extension of the classroom learning environment. 

11  Identifies shifts in the consciousness self, peers, administrators, and students. 

12  De-privatizes practice that includes the use of informal and formal professional growth practices like instructional rounds and equity focused critical friends groups.  

 3   profound changes we would   love to see   as a result of long-term committed partnership: 

13  Uses research-based best practice and data, as appropriate, to inform pedagogy and practice.  

14  Facilitates student, community, and equity-centered classroom discourse. 

15  Instructional processes and classroom environments are congruent with cultural orientations, experiences, and learning styles. 

 

10 Gay, Geneva. (2010).  Culturally Responsive Teaching 

58  

Outcome Challenge and Progress Markers for Community Partners  Community partners come in a variety of forms (unions, foundations, teacher education programs, elected and state education officials, etc) while sharing a common journey as key partners in advancing CRPP. Each demonstrates a deep accountability to young people and communities of color. They are champions for CRPP and advancing an equity agenda in their spheres of influence.  They contribute in creating the conditions for sustaining promises while taking care in the process of ending commitments they’ve previously made. They regularly identify and highlight promising practices. They advocate for curriculum that is honest, grounded in the lives of students, relevant, and capable of rapidly evolving to meet the changing economic, social, and environmental needs of communities and young people.   

Progress Markers 

4   changes we   expect to see   in from early interactions with CRPP projects and interventions: 

1  Early investigation and reflection on CRPP 

2  Increased awareness and articulation of school environment, policies, school culture, curriculum, and communication through an equity lens  

3  Active listening and participation before, during and after meetings with attention to making use of information and inputs, honoring concerns, and spotlighting where positive changes are being made 

4  Partnering with ethnically, racially, and linguistically diverse students and their families 

 8   changes we would   like to see    from sustained engagement with CRPP projects and interventions: 

5  Articulation of what education is for rooted in personal, cultural and linguistic understanding 

6  Hiring and policy implementation reflects an active equity agenda 

7  Builds bridges of meaningfulness between home and school experiences as well as between academic abstractions and lived sociocultural realities including consistent and culturally responsive communication with parents and families. 

8  Develops relationships that grow a network of CRPP actors and advocates in the community 

9  Facilitates student, community, and equity-centered conversations. 

10  Identifying and highlighting promising practices 

11  Following through, keeping promises, high engagement and communication around any limitations 

12  Provide a well utilized “third-space” outside of direct PD offerings from school districts to support educators across domains and spaces in deepening and spreading CRPP 

 3   profound changes we would   love to see   as a result of long-term committed partnership: 

13  Championing CRPP and advancing an equity agenda in their spheres of influence.  

14  Utilizing their convening power to further collaboration and support the growth of networks that assist schools and communities in solving shared problems of practice and policy. 

15  Demonstrates a deep accountability to young people and communities of color. 

59  

Outcome Challenge and Progress Markers for CRPP grantees and network  An expanding network of educators is committed to learning, inventing, enacting, and sharing CRPP to transform Oregon education policies and practices. The network engages high school teachers, leaders, schools, and education preparation programs in identifying, articulating, developing, and enacting culturally responsive pedagogy, policy, and practice. It develops tools, learning, and a resource library intended to have wider impact across the state (note: this and data needs speak to Equity Unit/Network shared project). 

Progress Markers 4   changes we   expect to see   in from early interactions with CRPP projects and interventions: 

1  Establish a collaborative leadership team and process. 

2  Participate in a community of practice networking with other awarded grantees 

3  Provide data related to impact of projects on students, teachers, and community partners through progress reports, interviews, and surveys 

4  Direct and timely communication (responding to emails, willing to have CRPP discussions, exploring how CRPP plays out in every aspect of schools) 

 8   changes we would   like to see    from sustained engagement with CRPP projects and interventions: 

5  Skillful engagement with district, regional, and EDS administrations to advance CRPP 

6  Use research-based best practice and data, as appropriate, to inform pedagogy and practice. 

7  Following through, keeping promises, high engagement and communication around any limitations 

8  Spurring and supporting educators, administrators, and community partners to provide culturally relevant, effective instruction and to motivate, engage and support students of color. 

9  Increase system capacity to generate useful data that is meaningful to teachers, students, and communities. 

10  Skillful navigation of complex political, education, and community domains to advance CRPP 

11  Develop a rich picture of changes in practice, policy, narratives, and consciousness in ways that can be used by teachers, school leaders, central office staff, and other stakeholders. 

12  Sharing best wisdom, models, challenges, and lessons with other system and capacity building actors. 

 3   profound changes we would   love to see   as a result of long-term committed partnership: 

13  Brings together theory and application in ways that can inform districts, other network actors, ODE, and other state systems. . 

14  Engaging the general public  in understanding the economic and social benefits of CRPP. 

15   

 

60  

Conclusions on the Strategic Investment in CRPP 

Contributions to Impact Each project’s contribution is identified in the outcome descriptions above. What, if any, is the larger impact of these investments when considered collectively? Six impacts are considered:  System Impacts As a result of these investments there is both a statewide increase in awareness of CRPP and an expansion of resources, institutional and community hubs, and geographic reach. The Open Meadow partnership with the University of Portland establishes a new pathway for teacher preparation steeped in CRPP. The PSU-PPS Equity Research Project lays groundwork for the development and adoption of a statewide instrument that might eventually provide important learning opportunities for other schools and academic researchers, illuminating lessons of contextualized practices and the development of continuous improvement mechanisms.   

 11

 Several projects and ODE staff noted state level actors and administrators asking, “What is CRPP?”  and “How do we truly support students who have historically been underserved?” over the duration of these investments.   The geographic reach of investments in Eastern and Western Oregon has led to significant increases  in presentations, documentation, and resources that otherwise would likely not have occurred in those regions.   Capacity Building Three different approaches to building capacity stand out within the CRPP investments. The creation of the Center for Culturally Responsive Practice at EOU utilized  institutional  resources and regional positioning to link with Eastern Promise and an Oregon Teacher Pathway grant to establish a website, resources, and center that signals growing coherence and coordination.  Teaching With Purpose provides a well utilized “third-space” that lives outside of direct professional development offerings from school districts while supporting educators in deepening and spreading CRPP. This  community  space contributes to a platform for community digestion, input, and mutual accountability between teachers, families, community members, educators, and state decisions makers around educational equity in policy and practice.   

11    From January 22, 2015 meeting with ODE and OEIB staff surfacing changes, partners and insights about CRPP investments 

61  

The Lewis & Clark College project featured  teacher-centered action-based inquiry  as an avenue to build capacity in schools to generate and use meaningful instructional data to identify gaps in achievement and engagement and then to support changes in instructional practice, school climate, and site-based policies.  Each project contributed in some way, large or small, to an increase in the likelihood and capacity that pre-service and inservice teachers in Oregon would have the opportunity to be trained, mentored, and study best practices for providing culturally relevant, effective instruction.  Practice Quality  Learning cohorts, designed professional development, small group mentoring, communities of practice (also called professional learning communities), and live-stream video were all used as strategies across the nine CRPP projects to impact instructional practice.  The learning, reflections, resources used by KairosPDX can and should inform statewide efforts to advance and spread culturally responsive literacy instruction in elementary schools through inquiry-based and collaborative professional development. The CR+E=Me project used national experts to provide a small cohort of teacher practitioners with tools to embed mathematics in practical and aesthetic activities of design, art, and construction in the daily lives of historically marginalized students in ways that each participant said would permanently change how they teach.   Whether it is the lesson evaluation rubric Louise Wilmes developed for non-Native teachers with the Beaverton Cultural Trust or the coaching teachers received at Open Meadow, Milton Freewater School, or in the clinical practice program at Western Oregon University, the totality of this investment has contributed to how more than a hundred teachers understand and apply CRPP.  Process Goals The process goals of the investments have been addressed in this  complementary report .  Sustainability Goals The impact desired by the strategic investment in CRPP was that each project would have or develop partnerships that would ensure their efforts continued two years beyond the grant investment. At this time, three of the nine projects are likely to continue in similar form. For each project some legacy of a website or collection of online resources is available.  Collaboration Goals Within the aggregate, there was recognition by the ODE grant managers that these investments and the communities they reached were helpful in keeping them connected to the field. The relationships within the CRPP grant network allowed for authentic and challenging conversations to surface. The use of Outcome Mapping and the sharing of findings across teams also contributed to impact in this area. 

 

62  

Challenges  System Impact The state goal of closing the opportunity gap through culturally responsive pedagogy is important. However the expectation that investments of this size and targeted at university preparation programs and inservice teachers could somehow be measured in valid and known changes in student test scores in direct relationship to the projects funded was misguided.   The demographic makeup, history, and amount of resources and prior engagement with CRPP varies widely across the geographic reach of these investments. This brought some pushback in Eastern Oregon and also creates an important variable to consider when thinking about building networks of support and shared training across regions of the state.  

 12

 Capacity Building “The first requirement for an organization with capacity, the ‘prerequisite’ on which all other capacity is built, is the development of a conceptual framework which reflects the organization’s understanding of its world. ”  13

 The most significant challenge across these investments and for ODE as an actor and administrator of these investments is the limited attention given to developing a shared strategy, of seeing and nurturing these investments as a set of interconnected investments. Far too much attention was put on on activities and not enough focus on what changes are trying to be caused over time.  This is not a unique dilemma for state or institutional actors. It is noted strongly here because the language of “strategic investments” and the legislation pursuing a Network of Quality Teaching and Learning both suggest a genuine interest and effort to build capacity for the use of CRPP through these grants.   Grantees often struggled to focus on outcomes rather than the completion of activities. Again, this is not a unique challenge - but it is a key change in thinking that future efforts would be well served to address from their conception. One comment in a final OCEE TA report is indicative of this challenge, “I am concerned that it is not clear to me, and has not been through the entire process, exactly what their desired outcomes for cultural responsiveness, especially in shifts in educator attitudes 

12    From January 22, 2015 meeting with ODE and OEIB staff surfacing changes, partners and insights about CRPP investments  13 Allan Kaplan, 1999 UN publication “Organizational Capacity” 

63  

and actions, that the work [of the project] was designed to inspire.” While stated about a specific project, there is more work for the state to do in aligning desired outcomes and the structure of grant projects.    Practice Quality  If a group was gathered consisting of each member of each CRPP funded project, each member of ODE’s Equity Team, each member of the Strategic Leadership Investment Team, and each member of the Oregon Center for Educational Equity’s technical assistance team and they all traveled to see the pre-service and inservice teachers they are working with - how much consensus would exist about what constitutes CRPP?  These investments would benefit from a shared theory of action about how much consensus is needed, what instructional precision  looks like with CRPP, and the extent to which a diversity 14

of approaches, experimentation, and contextualization is valued.  This is evidenced in the wide range of investments made in this grant. Funds were used to support service learning of pre-service teachers through a food drive at Western Oregon University, for intensive instruction with eleven teachers in ethnomathematics, and for the CARE model of teacher coaching at Open Meadow.   The original RFP makes clear the goal of promoting CRPP in influencing classroom and school practices but more coherence could improve either the focus of each project or make clear how the investments might fit together as a larger coordinated strategy over time.   Process Goals The process goals of the investments have been addressed in  this complementary report .  Sustainability Goals Six of the nine projects will face significant challenges to continue the work established in this grant if no additional funding is renewed by the state. The larger goal set forth in the RFP that each project be developed in a way that ensures it continues for two years beyond state funding appears unrealistic. Three specific challenges are identified: 

1. The fiscal and legislative calendar of the state is the current driver on the timing of these kinds of investments. That timing does not suit itself to funding smaller CRPP projects that don’t have larger institutional backing. Without any changes, this means it is more likely, rather than less, that investments of this nature will espouse a sustainability goal but have difficulty meeting it. This leads to a repeated cycle of investment and rapid disinvestment that keeps these efforts fragile and disconnected rather than moving them towards stability and coordination. 

2. State officials managing grants or relating with grantees can send confusing or even “double signals” when it comes to sharing updates about the nature of any renewed funding. Because most of these projects are 100% reliant on the funding, every update 

14  “  Capacity Building for Whole System Reform” by Fullan & Quinn, 2010.   

64  

is measured by grantees. Strategic investments of this nature would be well served to have much clearer and consistent lines of communication. 

3. Five of the nine CRPP projects expressed a need to learn about financial and/or project management in their Strategy Reviews. While grantees are experts in their field, they may lack skills in operational areas that would help them meet sustainability goals of this kind.  

 Collaboration Goal Vertical collaboration is another area of significant challenge made visible within the CRPP investments. Few internal structures are in place to support vertical collaboration. Few ODE and OEIB staff in decision-making roles have a working understanding of these investments, what’s being learned amongst them, or incentives to learn. The political realities of the state and leadership changes in the office of the Governor and within ODE during the last five months of this investment also created an instability that could not be predicted but which did impact grantees and communication with them. Grantees experienced shifts in tone and confidence about their work and whether it would continue as a legislative priority.    

 15

 

Learning Outcome Mapping has been developed for use in capacity building and systems change efforts where outcomes are intermeshed and cannot be easily or usefully segregated from each other. It encourages a program to link itself explicitly to the processes of transformation .  16

The CRPP grant did not operate in isolation of other factors and actors; therefore, it is best not to assess as though it did. Rather than separating every actor, including the state department and state decision-makers, and trying to explain change using linear reasoning, these investments and the OM evaluation process offer an opportunity to explore each actor’s full potential as change agents .  17

This section focuses on learning that is available to each actor reached by these investments and considers how the information above might get used to contribute to future changes:  Stronger administrative involvement and prioritization is needed Several grantees noted that their plans and efforts did not include enough emphasis on working directly with administrators to ensure the necessary leadership for changing practices. Where some projects saw administrator attitudes as a barrier (i.e. “we don’t have a problem with diversity”) others named an opportunity to support and challenge administrators to be instructional leaders and not just good managers in future efforts.  

15    From January 22, 2015 meeting with ODE and OEIB staff surfacing changes, partners and insights about CRPP investments  16  Earl ,  Carden , &  Smutylo  in Outcome Mapping Facilitation Manual (2010) 17    Earl and Carden (2001)  Learning from complexity: IDRC's experience with outcome mapping. Development in Practice. 

65  

What   time scale serves deep equity work? Grantees and ODE project leaders articulated the practical challenges and learning about how to manage changing political and legislative realities while seeking to develop and allow for evolving strategies that would eventually create changes reflected in student achievement, school climate, and disproportionate discipline data.  

 18

 Developing Shared Narratives and Strategies The language used in any given school, much less across schools, districts, and regions, can be quite different. While one of the identified impacts of the CRPP investment was contributing to some shared definitions - or at least creating spaces for that to develop - grantees also noted lessons and challenges with how words that have depth or meaning can be co-opted, narrowed, or politicized so as to be less helpful in causing changes in teacher practice and school climates.   Hesitancy, Trust, and Relationships Communities, educators, system actors, and students that have been historically underserved and marginalized possess protective habits and practices based on past experiences. There were often questions posed to grantees and of the ODE project leaders about the extent of the commitment being made. The depth of that conversation and the learning happening within and across the CRPP projects is a valuable source of information for the state to consider if it seeks to seriously pursue long-term systems change.   

 19

 What promise is being made and how will it be kept? Several grantees identified the importance of keeping commitments and the need to check-back on the impact or progress of the work they were engaged in.      

18      From January 22, 2015 meeting with ODE and OEIB staff surfacing changes, partners and insights about CRPP investments  19    From OCEE team debrief 

66  

Assumptions about people of color Learning across the investments elevates questions for equity-centered capacity builders, like these grantees, regarding how often it is assumed that people of color are automatically culturally competent and what creates learning climates with the right amount of challenge and support. It raises a question about how to hold tensions between race-specific interventions and broader multicultural understandings.  Availability and quality of data for use in different project designs Two projects encountered challenges around the availability and quality of data they sought from partnering districts. These challenges were able to be discussed in the CRPP professional development sessions and were shared in strategy reviews. Tentative conclusions were that more conservative timelines, planned attention to key relationships, and opportunities to assess the condition of district data prior to project initiation would lead to both process improvements and increase the ability of projects to implement their designs within the time restraints of any grant.  What is the right amount of challenge and support? CRPP grantees take on many roles within their projects. Several noted questions and challenges around having assigned roles within the system to provide both system support while at the same time needing to challenge systems, leaders, or participants when advocating for under or mis-served populations their projects were designed to address.  How to nurture and challenge systems at the same time?  A third role - that of navigating district-level and political-level relationships was also identified.   

 20

 Recommendations  1. Mandate an informational meeting and evaluate the commitment of school and district administrators as part of future RFPs related to CRPP.   Administrators must juggle many priorities and a well-worn habit is to sign-off on project agreements and grants that seem aligned with district priorities and would bring additional revenue. Across the projects, there were named challenges and opportunities for what having strong administrative ownership of these efforts could unleash. The drafted Outcome Challenge and Progress Markers for Administrators give a sense of the desired behaviors wanted by CRPP grantees. ODE could require administrators to participate in a virtual or in-person information meeting to outline the kind of support needed for these efforts and interrupt the habit of  “signing and moving-on.” Within the evaluation process, discerning the commitment of administrators to own and support capacity building efforts like these CRPP projects would help create improved conditions and opportunities for deeper and wider impact.  

20    Taken from May 2015 Strategy Journal 

67  

 2. Build and use a process and structure for long-term investments with built in pause moments for evaluation and realignment based on real time learnings.   Sustainability planning for each project and the technical supports needed for this group of grantees should be reconsidered and reconceptualized.   In engaging with communities and educators of color, the State has a real opportunity to advance CRPP and build the supports needed to change practices, policies, and school cultures in ways that will eventually have significant positive impacts for students and families. The traditional pattern of short-term state investment with disconnected expectations on return for investment paired with grantee challenges to get real sustained investment from foundations and partnering districts creates the likelihood that these investments will tease and stop (a long-term pattern) rather than sustain and build.  Real attention to this arena of supports could model the work and learning of cycle investments and create a deeper impact towards the intended objectives.   3. If these grants continue to be offered in one year rather than multiple year cycles, better align the timing of the grant award process with the academic school year.   Aligning ODE’s funding cycle with the rhythm of the K-12 academic year would require RFP announcements in late Spring with planning lining up in the summer and natural reporting and reflection cycles in Winter and early Spring.   4. Increase vertical alignment and collaboration within the system.   ODE has a set of indicators related to student achievement they are trying to make progress on. While every project currently undertaken within ODE relates to those indicators, there seems to be little strategy and structure in place to align these projects with each other in order to connect the dots and create larger system-wide impact. Aligning all of these pieces and creating collaborative structures between them to spread learning throughout the system can lead to more effective and sustainable progress on these indicators.   5. Develop an intentional strategy around geographic variance.    The conditions for change vary based on geography, student population, previous work done and levels of understanding within the system and other contexts.  Strategizing around these issues will improve grant outcomes in the future and better ensure statewide progress on student achievement markers.  6. Increase alignment and coordination amongst reporting, evaluation, learning, and prioritization mechanisms.   Whether OM or another monitoring and evaluation system, the knowledge generated by the CRPP grantees and the investment as a whole should serve as a jumping off point for other educational investments pursuing impact on teacher educators to advance educational equity. A guiding question of monitoring efforts should be asked regularly, “How can we get better at what we are doing so as to increase our contributions to outcomes?” Some of the benefits of holding regular meetings to monitor efforts will come from the products of those meetings (information gathered that can be used to meet reporting requirements, feed into evaluations, or develop promotional materials), while other benefits (such as team building and consensus building) will come from the process of meeting to discuss successes and failures. 

68  

7. Consider providing dedicated project management support.   Several of the CRPP grantees identified limitations in their skill sets to do marketing, fundraising, and project management activities. This is a challenge likely to surface when the state is putting focused dollars into smaller community based organizations or content area experts. Rather than seeing this as a deficit, ODE might consider building in skilled support that grantees can make use of in these operational skill areas. To be specific, imagine what additional gains might have been made if ten hours of skilled project management and fundraising support were used each month to advance each project.  8. Develop a shared database making all resources gathered within this investment easily available to the public.    While outside of the scope of this evaluation, there is a treasure trove of tools, books, articles, presentations, and videos available across these nine projects. While several have created dedicated websites or blogs, collecting all of the information and making it available through an easy to use website is low-hanging fruit that could further the value of this investment.   9. Make any subsequent grant designs focus on instruction.   Whether a dedicated investment, like in this grant series, or an embedded target of several grants, the aim to increase the understanding, use, and spread of Culturally Responsive Pedagogy and Practices would be served by focused and sustained attention on the characteristics of what is considered to be “good practice.” The challenges named above under “Practice Quality” can be met through the use of instructional rounds, learning tours, and critical friends groups. There is a need to both honor contextual, cultural, and geographic variation in the state and a need to develop a shared sense of what quality CRPP looks like, feels like, and sounds like.  

   

   

  

  

About the author and leader of this evaluation Scott Nine is an OM fellow and consultant  working on educational and social change projects. He served as the Executive Director of the Institute for Democratic Education in America from 2010 to 2014 as they adapted OM and Outcome Harvesting into educational change work in the U.S. and Puerto Rico. He was recently featured in the American Educational Research Association’s “Lead the Change Series. ”  21

21 Lead the Change interview found at http://www.aera.net/Portals/38/docs/SIGs/SIG155/33%20Scott%20Nine.pdf  

69