1  

Packard Foundation Organizational Effectiveness Program Strategic Review  September 2012 

 

 One core belief has driven the Organizational Effectiveness program since David Packard founded it in 1984: Organizations are more effective at meeting their programmatic goals when they’re equipped with thoughtful strategy, strong leadership, and sound management.  The OE Program supports current grantees to undertake projects that strengthen their organizations in sustained and meaningful ways. Nearly 1,000 grantees have benefitted from OE support since 1997.   In 2012, the Organizational Effectiveness (OE) team conducted a comprehensive review of our program. We found that the OE program remains effective and highly valued by grantees, other Foundation programs, and colleagues in the field. A few relatively modest changes to the program show promise for increasing our reach, impact, and alignment with the work of the Foundation’s other program strategies.   This strategic review lays out a roadmap for continued investment by the Packard Foundation in the OE program, at its current annual budget of $3 million a year or higher, on an ongoing basis. It provides an overview of issues and challenges facing Packard Foundation grantees in the non‐profit sector; how the Organizational Effectiveness program currently addresses those needs; and our key goals and strategies. The plan also assesses risks of the proposed strategy and discusses our approaches to sourcing new ideas and evaluation and learning.  Capacity Building in the NGO Sector: Challenges and Opportunities 

Certain fundamentals apply for non‐governmental organizations (NGOs). Leadership matters. Strategy and sound financial management matter too. Ignore the basics and organizations risk failure. But, along with the constants, non‐profits contend with a landscape that has evolved enormously since 1984, when David Packard launched the Management Assistance Program, which evolved into today’s Organizational Effectiveness Program.   The landscape is a lot more crowded than it used to be.  In 2009, more than 1 million organizations were registered in the United States as 501(c)3 public charities—an increase of nearly 60 percent from a decade earlier.1  That’s not counting thousands more international NGOs, with growth in the sector particularly rapid in South Asia and Africa. As a whole, the NGO sector amounts to a $1.3 trillion industry, employing over 40 million people and serving billions 

                                                       1 "NCCS ‐ Number of Nonprofit Organizations in the United States 1999 ‐ 2009." NCCS ‐ Number of Nonprofit Organizations in the United States 1999 ‐ 2009. Urban Institute, n.d. Web. 15 Aug. 2012. 

Box 1 Opportunities and Trends Facing

the NGO Sector 1) Advancements in technology leading to

increased interconnectedness 2) Recent economic instability 3) Younger and more diverse leadership. 4) Blurring and blending of sector

boundaries between social sector and others

2  

of people worldwide.2 As the sector has grown, so have both the challenges and opportunities it faces.   First, organizational development expert David LaPiana and his colleagues write that the rise of social media “has challenged nonprofits to embrace new ways of connecting and communicating, demanding greater openness and transparency.” 3 With new technologies and means of communication, organizational models and ways of working are shifting, facilitating networks beyond cultural and geographic boundaries.4 The democratization of information has empowered social movements5, encouraged new collective funding and investment models6, and opened doors for new forms of leadership.   Second, economic instability poses an increasing challenge. Reduced government funding in many nations7, at the same time that growing numbers of people are relying on social services for basic needs, places strains on NGOs.  In the U.S., with $2 trillion in federal spending cuts projected in the next 10 years, the impact on nonprofits relying on government funding will be felt from the national to the local level of government.8  According to the Nonprofit Finance Fund’s 2012 State of the Sector survey, many NGOs continue to struggle to keep their doors open and to meet day‐to‐day management challenges.9  Third, as the population ages, younger generations are making up an increasing percentage of the nonprofit workforce.10,11 Couple this with reoccurring challenges NGOs face in recruiting and retaining talent— a recent Chronicle of Philanthropy survey found that nearly 40 percent of non‐profit employees said they are dissatisfied with their work— and there is the potential for massive turnover in nonprofit leadership.12  Tomorrow’s nonprofit leaders, both in the U.S. and abroad, are likely to be younger and from more diverse socioeconomic backgrounds than their predecessors. They also are increasingly likely to embrace more distributed models of leadership than in the past, sharing power throughout their organizations and networks. They feel, as LaPiana points out, a greater need to “lead as part of a team,” to be open to testing new ideas, and to look outside traditional hierarchical structures of the past. 

                                                       2 "Background for Working with NGOs." NGOPedia. N.p., n.d. Web. 13 July 2012.  3 Gowdy H, Hildebrand A, La Piana D and Mendes Campos M. La Piana Consulting. Convergence: How Five Trends Will Reshape the Social Sector. November, 2009. The five trends listed are slightly different from those discussed here. demographic shifts, technological advances, networks, increased engagement and volunteerism, and blurring of sector boundaries 4 Scearce, Diana. Connected Citizens: The Power, Peril and Potential of Networks. Essay. Miami: John S. and James L. Knight Foundation, 2011. Print. 

5  "Arab Spring." Wikipedia. Wikimedia Foundation, 13 July 2012. Web. 13 July 2012.  6 Bromberger, Allen R. "A New Type of Hybrid." Stanford Social Innovation Review Spring 2011: 48‐53. Print. Other examples include: www.kiva.org, www.kickstarter.com and www.donorschoose.org.  

7 "EU Austerity Drive Country by Country." BBC News. BBC, 21 May 2012. Web. 13 July 8 Stid, Daniel, and Vishal Shah. The View from the Cliff: Government‐Funded Nonprofits Are Looking Out on Steep Cuts and an Uncertain Future. Rep. N.p.: Bridgespan Group, 2012. Print. 

9 2012 State of the Sector Report. Survey Brochure. Non‐Profit Finance Fund, 2012. Web. 10 July 2012. 10 Tierney, Thomas J. The Nonprofit Sector’s Leadership Deficit. White Paper. The Bridgespan Group, 2006. Print. 11 Thurman, Rosetta. "Preparing the Next Generation of Nonprofit Leaders." Web blog post. Stanford Social Innovation Review. Stanford University, 19 Dec. 2007. Web. 12 Jan. 2012. 12 Berkshire, Jennifer C. "Charity Workers Report Feeling Extreme Pressure." Bad Economy Has Strained Many Nonprofit Workers. The Chronicle of Philanthropy, 15 Jan. 2012. Web. 15 July 2012. 

3  

 Finally, the boundaries of the NGO sector itself are blurring. Non‐profit organizations are far from the only ones working on social and environmental issues for the common good. Social venture organizations, B corporations, and for‐profit corporations that emphasize the double or triple‐bottom line are re‐defining where social impact happens (and where foundations invest).13 Blurring and blending of sectors, norms for how they function and interact, and opportunities for partnerships and alignments with government and the private sector, are all being explored for their full potential.   These are by no means the only challenges and opportunities facing the NGO sector today, but they are some of the most significant. Today’s NGO capacity‐builders must help NGOs, both in the U.S. and internationally, navigate new challenges while staying focused on the fundamentals of sound strategy, management, and leadership.   Fortunately, in the past 15 years, non‐profit organizational development has become established as a field in the United States and internationally. Dozens of major consulting firms and management service organizations, many of them not‐for‐profit themselves, now serve the sector. Thousands of independent consultants now work across the spectrum of capacity building needs, from communications to fundraising to board development.  And dozens of academic centers now focus on non‐profit management and philanthropy in the United States, notably at Harvard, Stanford, University of Indiana, and Duke University.   Internationally, the professionalization of the NGO sector has also increased.  Many countries now have at least one university with graduate or undergraduate programs that focus on nonprofit management or leadership. Networks focused on capacity building have also surfaced, often times as spin‐offs of bilateral or multilateral aid organizations.  One example is Impact Alliance,14 a global network dedicated to learning and peer exchanges with hundreds of members from dozens of countries.   Unfortunately, capacity building resources are not equally available around the world. In some regions where the Foundation works, significant gaps still exist in the infrastructure available to support and develop non‐profits. In areas such as Sub‐Saharan Africa15, the Western Pacific16, and in low‐income communities and communities of color closer to home, the field of organizational development for non‐profits is limited, and many organizations still cannot find the expertise or support needed to address their particular context and capacity building needs. An illustrative map of key influencers and stakeholders in the nonprofit capacity building field is found on page 5. This map is also available in an interactive version, with links to organizations and capacity building programs, and can be accessed at www.oep.packard.org/map. The map is 

                                                       13 Bromberger, Allen R. "A New Type of Hybrid." Stanford Social Innovation Review Spring 2011: 48‐53. Print. Other examples include: www.kiva.org, www.kickstarter.com and www.donorschoose.org.  

14 http://www.impactalliance.org/ev_en.php 15 "Nurturing Local Capacity Builders: The Future of Local Capacity Building in Africa Lies in Higher Education. After Years of Neglect, the Need to Strengthen Universities Is at Last Moving up the Policy Agenda." Capacity.org. N.p., 29 Oct. 2010. Web. 15 July 2012. 

16 Wood, Terence, and Vijay Naidu. A Slice of Paradise? The Millennium Development Goals in the Pacific. Working 

paper. Fiji: Oceania Development Network, Global Development Network, 2008. Print.

4  

by no means comprehensive, but it gives an idea of the range of resources available to Foundation grantees.   The OE program is a small but critical player in the nonprofit organizational development ecosystem, for our grantees and for the field as a whole. The remainder of this strategic plan focuses on how we propose to focus our limited resources for the maximum benefit of our grantees and the Foundation’s programmatic goals.  The Organizational Effectiveness Program: Background and Basics  The OE program aims to increase the effectiveness of grantee organizations and networks, to enhance their capacity to meet the Foundation’s goals. Since 1997, the Foundation has invested $121.4 million in OE, awarded 2,020 grants, and served 984 grantees.   Approximately 57 percent of the Foundation’s cumulative investment in OE was awarded during 1999‐2002. During this time the Foundation also helped build the field of capacity building for nonprofits, helping launch institutions such as Grantmakers for Effective Organizations, BoardSource, and the Stanford Social Innovation Review.   In 2002, as part of a re‐organization at the Foundation, the Board of Trustees decided to end Organizational Effectiveness and Philanthropy as a major program. However, OE continued as a separate fund within the Foundation.17 Funding remained at a minimum of $3 million annually, and for three years hovered around $5 million. Most importantly, the core of OE’s work continued and OE remained a leader among capacity building funders.  A graph of historical OE giving can be found below:   

 

                                                       17 A small fund also continued for Philanthropy, at $1 million. That fund is not included in the scope of this review.  

0

50

100

150

200

250

300

$0

$5

$10

$15

$20

$25

$30

$35

97 98 99 00 01 02 03 04 05 06 07 08 09 10 11

# o

f O

E G

ran

ts

Gra

nt

Do

llars

Aw

ard

ed (

mill

ion

s)

Year

Total Grant $ Total # of Grants

Historical Investment in OE

5  

  

 

Map of key influencers and stakeholders in nonprofit capacity building

6  

 Today, the OE program awards nearly 100 grants per year. In 2011, OE made grants to approximately 18 

percent of the Foundation’s grantees. The average grant size is around $40,000. A breakdown of OE 

grants awarded in 2011 by subprogram is found above. 

OE characterizes our approach to grantmaking as “strategically responsive.” Although any current grantee can apply for a grant, we work closely with other programs to set priorities for which grantees should receive OE grants. Generally these grantees are critical to achieving program goals, and are at significant growth or inflection points. They also tend to be long‐term Foundation grantees.   Once we determine that a grantee is a high priority for an OE grant, we work hard to be responsive to their needs. We never say, “We think you need a strategic plan, and that’s the only thing we’re going to fund.” We listen to the grantee’s assessment of their strengths and challenges, and serve in a coaching role to help them develop the OE project that best meets their needs.  Box 2 lists projects 

Box 2 Primary Areas of OE Support

1) Individual and team leadership: leadership

development, management training, executive coaching, executive search/succession planning, and board development

2) Organizational planning and development: organizational assessment, strategic planning, business planning, fund development planning, strategic communications, evaluation capacity building, and cultural competency/diversity training

3) Network development: network strategic planning, governance, peer learning communities, and mergers

7  

that OE supports. A general breakdown of OE grants awarded in 2011 by project focus area is found below.  OE grants primarily cover the cost of outside consultants. These consulting engagements provide outside expertise that the organization lacks, but also build capacity within the organization for the future. 

  OE’s Impact on Foundation Grantees and Programs  Evaluation Data The data that we have indicate that OE grants are successful at helping grantees increase their effectiveness.18 Based on our ongoing review of OE final reports, more than 90 percent of grants meet or exceed their project objectives. In independent surveys by the Center for Effective Philanthropy (CEP), OE grantees report that they believe the Packard Foundation has a much greater positive impact on their organizations and on their fields than grantees that only receive program grants.   In 2011, the OE program conducted a detailed survey of 274 grantees whose grants had concluded between 2007 and 2009 regarding the long‐term results of their grants. 169 grantees responded, a response rate of over 60 percent. The respondents were representative of all OE grants awarded during that period, and did not show signs of obvious selection bias.  

                                                       18 Consultants to the OE program evaluate each OE grant final report and assign it a ranking on a scale of 1 to 5 (1 = project failed; 5 = project was a transformative success). Year‐end reports on OE grantmaking are  Available online at http://packard‐foundation‐oe.wikispaces.com/OE+Grantmaking+Reports.  

8  

 The survey results were analyzed by the independent evaluation firm TCC Group.  TCC’s evaluation concluded: “There is clear evidence that OE grants helped organizations improve their capacity to plan, learn more effectively, and develop strategies to garner more resources…There is clear evidence that Packard’s current OE approach is effective in achieving desired outcomes.”  TCC also found:  

Close to 80 percent of the OE grants resulted in new capacity at an organizational‐wide level. 

Two‐thirds of grantees reported that their OE grant had “significant” or “transformational” and measurable impact on program services and outcomes.  

Strategic planning, organizational learning, and leadership succession grants had higher levels of success than fund development grants, though all had high levels. 

  TCC made a number of recommendations for how the Foundation might strengthen its OE program, including more in‐depth, holistic approaches to capacity‐building grants including the use of multi‐year grants, and “better integration of program and OE goals, plans, and activities.” Several of these suggestions are addressed in this review.19  How Grantees Feel about OE Recent interviews with approximately 30 OE grantees found that grantees are very positive about their experiences with OE. Grantees feel that too few funders pay attention to capacity issues, and that the Foundation provides enormous value through its OE grants.    Grantees overwhelmingly appreciate the responsive approach the Foundation takes, allowing them to determine the use of OE funds and select their own consultants. They also value the direct consulting model over other possible approaches to capacity building, though for some circumstances they welcome peer learning as a supplement to traditional OE grants.    How Program Staff Feel about OE OE exists as a tool for achieving program goals, so our key stakeholders include other Foundation program directors and officers.  As part of our strategic review, the OE team held two strategy sessions with program directors and officers throughout the Foundation, and dozens of informal conversations. Two key themes emerged: 

Program staff value having a separate OE program, and feel that it adds value to their program work.  

Overall, programs appreciate the individual grants that OE provides to grantees, but they want OE resources to reach larger numbers of their grantees, in more systematic ways, and in ways that are more closely aligned with the impact that they are seeking to achieve through their program strategies.  

 Goals and Key Strategies   The central goal of the OE program has long been to increase the effectiveness of grantee organizations and networks, to enhance their capacity to meet the Foundation’s goals. Today, we believe that our fundamental theory of change is still valid: Investing in organizational and network capacity leads to increased effectiveness of organizations and networks, which in turn leads to better programmatic outcomes among the Foundation’s grantees.   

                                                       19 The full report can be accessed here: http://packard‐foundation‐oe.wikispaces.com/Goldmine+Final+Results. 

9  

The OE program proposes to continue our core strategy of individual organizational and network development grants. We also propose investing up to a third of our budget in new “OE Partnerships” grants, made jointly with our other Packard Foundation programs. These grants will amplify the impact of the OE program by reaching a larger number of grantees and increasing OE’s alignment with program strategies.  

 Continuing the Core Strategy We propose continuing to allocate the bulk of our budget toward individual, responsive grants to key grantee organizations and networks, to build one or two closely‐linked capacities at a time. Building core strengths will remain the top priority for us, in areas like strategic planning, financial management, board and executive leadership, and communications capacity.   Our core grants will remain in the $30,000‐$40,000 range, and will primarily support the costs of consultants to provide outside expertise to organizations and their leaders, while helping those organizations and leaders build capacity for the long term. In exceptional cases, and in close consultation with programs, we will consider larger grants to select grantees, for multi‐year grants or to include support of staff time.  Currently, all non‐profit grantees are technically eligible for OE grants. However, OE has the budget to serve fewer than 20 percent of the Foundation’s eligible grantees each year; we already turn away a large number of interested grantees due to lack of available funds. Over the past three years, OE has worked on an increasingly close basis with programs to try to ensure that higher priority grantees receive priority for scarce OE resources. We estimate that since 2009, 80 percent of OE grants have gone to “mission critical” grantees as identified by the grantmaking programs. Going forward, we would like to push this figure higher, placing an explicit funding priority on grantees that are critical for the success of program strategies and targeting 90 percent of our funding to this group.   We will continue to work in a “strategically responsive” framework, consulting with our colleagues in programs about which grantees are the highest priority for limited OE funds, but then working collaboratively with those grantees to come up with the OE projects that best meet their organizational development needs.    We continue to believe that we should not recommend consultants to grantees. However, we are considering development of a searchable database that grantees can use to find consultants, which will include detailed information on consultants that OE grantees have already used, and possibly a user reviews function.  OE Partnerships  Although grants to individual organizations remain at the heart of OE’s work, we want to extend the impact of our program to a greater number of grantees, and to the broader fields in which the Foundation works. We think we can accomplish this by investing in capacity building undertaken in partnership with other Foundation programs. These “OE Partnerships” grants will build the capacity of groups of leaders and cohorts of grantees.    The projects will be co‐developed with grantees and programs, and when possible, with other funders as well. Projects will be co‐funded with the Foundation’s other grantmaking programs.   

 10 

11  

OE already has been experimenting with this approach. Over the past three years, we have made 24 such grants, representing 17 percent of our total grantmaking dollars. We propose increasing the proportion of our portfolio that we invest in these types of grants, up to a cap of one‐third of the overall OE grants budget. Examples of the types of projects that OE Partnerships grants could support include:    

Leadership Development: Developing and supporting nonprofit leaders in specific fields. In particular, we will focus on adaptive leadership, the skills needed to help NGO leaders adapt to rapidly changing environments.  One leadership development project that OE has supported, with promising results, is described in box 3.  

Building Capacity across Networks and Fields: Many grantees describe significant and positive “network effects” that come from learning in a group with their peers. OE will continue experimenting with and learning from group capacity building efforts, including peer learning communities, online platforms, network building, and other group‐capacity building efforts for grantees.  Examples of work in this area are described in box 4 and 5. 

 Risks  

Less funding for individual grants. Allocating up to a third of our current budget for Partnerships projects will decrease funds available for individual OE grants, from approximately $2.5 million today to as little as $2 million. The number of OE grants to individual grantees could decline from about 75 per year to as few as 50 per year.   However, the number of grantees served by OE may actually rise, since more grantees will be served by leadership development programs, peer learning cohorts, and other group training experiences. OE also will strive to keep Partnerships projects responsive to grantees by making sure that they are co‐designed by grantees, by carefully tracking numbers of grantees served by such projects, and by evaluating the projects carefully for grantee satisfaction and learning.   

OE lacks budget and staff expertise to fully serve every subprogram at the Foundation particularly in some of the more far‐flung countries where subprograms operate. This may make it challenging to design effective Partnerships projects. To 

Box 3 Unitec New Zealand

OE and the Western Pacific subprogram have collaborated on two grants to Unitec, a New Zealand university, to provide management training to conservation managers in the Western Pacific. Unitec designed a four-week curriculum, spread over one year, that has now trained 40 conservation managers from throughout Melanesia and Micronesia on team leadership, managing direct staff and volunteers, financial management, and organizational development. OE has contributed $100,000 to this project over two years, with the Western Pacific program contributing $400,000.

Box 4 Field-Building in the Gulf of Mexico

The OE and Gulf of California teams are co-developing the Capacity Building Strategy and Action Plan for Northwest Mexico with a working group of grantees and other funders. This five-year plan aims to build a network of civil society organizations to maintain coastal and marine ecosystems in northwest Mexico, through a series of capacity-building workshops, peer exchanges, coaching sessions, and consulting engagements. Approximately 25 NGOs have expressed interest in the program. The total budget is estimated at $2.5 million over five years. OE could invest $125,000/year or more in the project, with funding matched from the Gulf subprogram and additional funding possible from the Walton and Sandler foundations, among others.

12  

mitigate this risk, OE will give preference to Partnerships projects with equal matching funds from programs and a high degree of program support. We will also only use the full one‐third of our budget on Partnerships budget if the quality of proposed projects warrants it. Otherwise, we will spend a greater proportion of OE funds on grants to individual organizations, as we have in the past.  Other Changes to the Program We propose three additional changes to the OE program. First, we propose dropping our current secondary goal, promoting organizational sustainability. This term has not been well‐defined, though many understand it to mean financial sustainability. Most of our grants do not focus directly on financial sustainability, so having this as a stated goal of the program seems a bit misleading and places unrealistic expectations on our grantees.   The other two changes to our program are operational. First, Foundation program officers have expressed a desire for more training and mentorship on topics related to organizational effectiveness and capacity building. This support would complement the closer relationships created by potential Partnerships projects. OE will partner with other foundations to co‐develop organizational development training for our program staff.   Finally, we want to develop stronger partnerships with peer funders. OE is already viewed as a leader in the small world of capacity building funders. We will build upon our existing efforts to encourage and mentor other funders to invest in capacity building; advise other foundations that want to increase their organizational effectiveness efforts; and share learning about OE grantmaking by communicating openly about our successes and failures through our website, social media, print publications, and conference presentations.  

 How We Will Tap Into New Ideas One hallmark of the OE program over the past five years has been its openness to new ideas and new approaches as to how the Foundation can support the growth and development of its grantees. Since 2007, the program has pioneered supporting nonprofits to work in networks, and since 2009 we have partnered with Visiting Scholar Beth Kanter to provide unique resources to Foundation grantees as they explore how to harness the power of social media for social good. In 2011‐12 OE led the way in the practice of “Learning in Public,” engaging key stakeholders in evaluation and strategic planning in real‐time, and through in‐person and virtual interactions.    We will continue to innovate, particularly through the Partnerships projects, with their focus on developing nonprofit leadership and capacity building in groups and across networks. In addition to working with our colleagues in programs and with other foundations to develop Partnerships projects, any Foundation grantee will be able to propose an idea for Partnerships investment through a simple letter of inquiry. We will post LOI guidelines on our website.   

Box 5 Strengthening Networks for Children’s

Health Grantees OE has piloted the “Friending the Finish Line” project, co-designed with the Children’s Health subprogram and its grantees. Through a grant to communications firm Spitfire Strategies and social media expert Beth Kanter, 15 Children’s Health grantees from 10 different states are using social media to engage policymakers, journalists, and parents on issues related to children’s health insurance coverage. The grantees meet for annual in-person training, participate in monthly Webinars, engage with each other through wikis and Facebook, and receive individual coaching. OE has invested $211,000 in this project over the past two years.

13  

We will build upon our Learning in Public efforts, cultivating public websites that we have set up to share learning and source new ideas with other funders, grantees, organizational development professionals, and anyone who is interested. We also will continue to develop an active social media presence on LinkedIn and Twitter to share new ideas, relationships, kudos, critiques, and questions about our work.   Evaluation and Learning  As the OE program implements its revised strategy, we also will develop a revised evaluation and learning strategy. The OE program currently assesses its grantmaking in the following ways:  Grantee Final Reports  At the end of a grant, grantees write a final report answering evaluation questions related to achievement of project objectives, overall organizational outcomes, challenges, learning, and advice for other grantees. An external OE consultant reviews the grantee’s report and assigns each OE grant a rating on a 1‐5 scale, with 1 representing a failure and 5 representing true organizational transformation, far beyond the expectations of the original grant.   We expect that most grants will achieve a 3—that grant objectives are met. Indeed, in most years close to 90 percent of OE grants receive a 3 rating. The individual evaluations are aggregated on an annual basis into Year‐End Learning Reports (YELR) which analyze average grant rankings, the amount of funding awarded to grantees in each program and subprogram, the types of projects grantees have undertaken that year, and lessons learned by OE from the grantee reports.   Grantee Perception Report Every two years, the Center for Effective Philanthropy (CEP) conducts an anonymous survey of grantee perceptions of the Packard Foundation. CEP analyzes whether Foundation grantees who receive OE grants report substantially different experiences than grantees who receive program grants only. For the past three surveys, conducted over the past six years, CEP has found that OE grant recipients rate the Foundation more positively on measures related to impact on and understanding of grantees’ fields, as well as impact on grantees’ organizations, than grantees that did not receive OE support. The next CEP survey will be conducted in Fall 2012.  

 Targeted Evaluation Activities On an as‐needed basis, OE conducts targeted evaluation activities. For example, in 2011 we commissioned the TCC Group evaluation discussed earlier in this strategic plan, and we commissioned Monitor Institute to conduct a review of OE grants to enhance network effectiveness between 2009 and 2011. 20   Plans for Future Evaluation and Learning Activities The main strength of OE’s current approach to evaluation and learning is that learning is ongoing, taking place with every grant and throughout the year. In addition, learning is public, shared with our colleagues through regular meetings, and with grantees and other stakeholders through a public website.   

                                                       20 The full report can be accessed here: http://packard‐foundation‐oe.wikispaces.com/Reflection+on+OE+networks+grantmaking%2C+2009‐2011.  

14  

The main weakness in our approach is that it relies almost entirely on self‐report data from grantees. Partly, the decision to rely on self‐report data has been driven by the budget. Self‐report data is less expensive to collect and analyze, and the OE program has not traditionally invested significant grant or administrative funds in evaluation. We also want to minimize the burden on grantees, who are receiving relatively modest OE grants and are already grantees of other Foundation programs where reporting and evaluation burdens may be higher.   To some extent, the reliance on self‐reported data also is a flaw in the organizational development field. Nevertheless, literally hundreds of tools are now available to evaluate organizational health, and the OE program certainly could employ more rigorous external evaluation approaches. OE has experimented with a more rigorous form of evaluation in the evaluation of the Community Leadership Project, a joint initiative with the Hewlett and Irvine Foundations. That evaluation is employing an external evaluator and multiple methods, including pre‐ and post‐intervention organizational assessments, interviews, site visits, focus groups, and surveys.   The OE team plans to revise and deepen its learning and evaluation strategy over the next six months. For individual OE grants, we will explore adding an external evaluation component to a small random sample of grants each year; an external evaluator would assess the capacity of grantees before and after the OE intervention to determine what, if any, changes can be attributed to the grant itself. For OE Partnerships projects, particularly multi‐year commitments, we would require each grant to have an evaluation and learning component.   Some of the metrics that we might examine through such evaluations might include:  

whether grant objectives were met  

whether grantee capacity improved as a result of OE grant 

whether improvements in grantee capacity had an impact on achievement of programmatic goals 

whether learning and impact from the OE grant have been sustained 1‐2 years after close of OE grant 

 Moving forward, our learning and evaluation efforts also will place special emphasis on grants made to intermediaries such as leadership development and other technical assistance providers. We have made only sporadic efforts to evaluate such grants in the past. In particular, we will seek better answers to questions like:  

Number of grantees served by grants to intermediaries 

Grantee satisfaction with services they receive from intermediaries  

What grantees learn from such experiences 

What impact the services have upon grantee organizations and practices 

Whether learning is sustained 1‐2 years after services 

What practices make for effective network and group learning experiences, and when it makes sense to invest in these experiences as opposed to individual OE grants 

 Conclusion: Why This Strategy is a Good Use of Foundation Resources  OE grants are like the “little engine that could.” They pull above their weight, complementing and amplifying existing Foundation investments across programs. Admittedly, it is difficult if not impossible to quantify the return on investment of an OE grant compared to other program grants, and over the 

15  

years, we have not tried to do this. But grantee self‐reported data and Grantee Perception Report data certainly attest to the high value that grantees place on OE grants.  In addition, the OE strategy is flexible. The refreshed strategy is designed so that it can be executed on the current $3 million per year, or expanded easily if more resources become available. If resources contract, the Partnerships projects can be shelved temporarily or permanently.   Finally, because most of the grants under the OE program are for focused, one‐time capacity‐building projects, the program does not require a complex or lengthy exit strategy. Most grant obligations could be ended within one year, and all obligations could be wound down within a two‐year period.   We hope, though, that Trustees would not want to wind down OE anytime soon. In our meetings with Trustees, grantees, and colleagues in the field throughout this review, we’ve been struck by how often people have referred to OE as a “signature program” of the Foundation. Despite the program’s small size, it appears to have outsize stature and a track record of which the Foundation can truly be proud.   Inputs into this Review, Acknowledgments, and Thanks  The following inputs informed this strategic review:   

TCC Group evaluation of OE grants closed between 2007‐2009 (the “Goldmine”), 2011 

Monitor Institute analysis of grants to networks, Spring 2012 

Interviews with nine capacity building funders, Spring 2012 

Interviews with 30 grantees, Spring/Summer 2012 

Two strategy sessions with Packard Foundation program directors and program officers (May and July 2012)  

We also experimented throughout this review with what we call “Learning in Public,” sharing evaluation data and drafts through our Web site, http://oep.packard.org, blog posts, and list serves. All told, more than 300 people participated in this strategic review.  We benefitted throughout this process from the advice of four external advisors: Barbara Kibbe of the SalesForce Foundation, Stephanie McAuliffe, Jen Ratay of the Hewlett Foundation, and Kaki Rusmore of the Community Foundation of Monterey County. The Foundation’s external OE consultants, Jeff Jackson, Maurice Monette, and Shiree Teng, provided invaluable research support, professional expertise, and institutional memory.   Finally, our Packard Foundation “strategy buddies”—Kai Lee, Meera Mani, and Diana Scearce—have provided valuable guidance.