32
C y 4 ) 2 2 y 3 ) x x x N S O E Business Plan 2018 2021 EDUCATION QUALITY AND ACCOUNTABILITY OFFICE December 6, 2017 (revised April 12, 2018)

EDUCATION QUALITY AND ACCOUNTABILITY OFFICE Business … · student learning. EQAO plays an important role in Ontario education by conducting province‐wide tests at key points in

  • Upload
    others

  • View
    2

  • Download
    0

Embed Size (px)

Citation preview

Page 1: EDUCATION QUALITY AND ACCOUNTABILITY OFFICE Business … · student learning. EQAO plays an important role in Ontario education by conducting province‐wide tests at key points in

C

n0

(y 4 ) 2 (x 2 y 3 ) 4

x

x

xN

S

O E

Business Plan 2018–2021E D U C AT I O N Q U A L I T Y A N D A C C O U N TA B I L I T Y O F F I C E

December 6, 2017(revised April 12, 2018)

Page 2: EDUCATION QUALITY AND ACCOUNTABILITY OFFICE Business … · student learning. EQAO plays an important role in Ontario education by conducting province‐wide tests at key points in

B O A R D O F D I R E C T O R S

D r. B e t t e M . S t e p h e n s o n , D i re c t o r E m e r i t u sA b i r a m i J e y a r a t n a mG e r r y C o n n e l l y P a u l e - A n n y P i e r re

R o l a n d B o u d re a uH é l è n e C h a y e r, V i c e - C h a i r

D a v e C o o k e , C h a i r

EDUCATION QUALITY AND ACCOUNTABILITY OFFICE 2 Carlton Street, Suite 1200, Toronto, Ontario M5B 2M9 | Telephone: 1-888-327-7377 | Web site: www.eqao.com

N o r a h M a r s h , C E O

Page 3: EDUCATION QUALITY AND ACCOUNTABILITY OFFICE Business … · student learning. EQAO plays an important role in Ontario education by conducting province‐wide tests at key points in

EQAO 2018–2021 Business Plan    1 

CONTENTS 

Executive Summary ............................................................................ 2 

Introduction ....................................................................................... 2 

Mission ........................................................................................... 3 

Mandate ......................................................................................... 3 

Values ............................................................................................. 3 

Overview of Current Activities ........................................................... 4 

Provincial Assessments .................................................................. 4 

National and International Assessments ....................................... 4 

Research ......................................................................................... 5 

School Support and Outreach ........................................................ 5 

Overview of Future Programs and Activities ..................................... 5 

Governance Framework..................................................................... 7 

Environmental Scan ........................................................................... 8 

External Factors ............................................................................. 8 

Transferable Life Competencies ................................................ 8 

Well‐Being .................................................................................. 8 

Quebec’s New Policy on Educational Success ........................... 8 

Ontario Election 2018 ................................................................ 8 

Renewed Math Strategy for Ontario ......................................... 8 

Review of Curriculum and Assessment ...................................... 9 

Internal Factors .............................................................................. 9 

Mandate Review ........................................................................ 9 

Business Improvements ............................................................. 9 

Strategic Direction ............................................................................. 9 

2018–2021 Performance Measures ................................................. 11 

Implementation Plan........................................................................ 15 

Information Technology and Electronic Service Delivery Plan ........ 16 

Communications Strategy ................................................................ 17 

Context ......................................................................................... 17 

Strategy ........................................................................................ 17 

Communications Channels ........................................................... 17 

Third‐Party Involvement .................................................................. 18 

Resource Requirements ................................................................... 19 

Human Resources ........................................................................ 19 

Financial Resources ...................................................................... 19 

Operational Expenditure and Budget Requirements ....................... 21 

HISTORIC EXPENDITURES AND PROJECTED BUDGET ($M) ...... 21 

Risk Management ............................................................................ 22 

Page 4: EDUCATION QUALITY AND ACCOUNTABILITY OFFICE Business … · student learning. EQAO plays an important role in Ontario education by conducting province‐wide tests at key points in

EQAO 2018–2021 Business Plan    2 

Executive Summary The assessments and research of the Education Quality and Accountability Office (EQAO) comprise an objective and reliable body of knowledge about student achievement in Ontario. EQAO’s activities support both public accountability of the publicly funded education system and improvement planning at the individual, school, school board and provincial levels.  

The agency’s accountability framework is centred on province‐wide full‐census assessments, which are conducted in both official languages and developed in a variety of formats that accommodate students’ special learning needs.  

During this business cycle, the agency will work on a number of initiatives designed to support the strategic directions set out by its board of directors. EQAO’s activities will also be informed by renewed direction from the Government of Ontario resulting from the agency’s mandate review and the Independent Review of Assessment and Reporting.   

Additionally, the agency will continue to focus on promoting equity and inclusivity by ensuring assessments are inclusive, responsive and culturally relevant.  

EQAO has reduced its operating budget over the past 16 years by over 20%, and operations have continued under a further reduction imposed in 2012. The agency also has a full complement of permanent staff at the assigned cap of 97 full‐time Ontario Public Service employees, which was reduced by 15% since 2010. The agency is currently operating at or 

                                                            1 “Updated Curriculum, New Report Cards Coming to Ontario Schools. Province Modernizing School System to Unleash Full Potential of Every Student,” September 6, 2017, 10:15 a.m. Office of the Premier. 

above capacity in its business operations, leaving a limited amount of organizational capacity for business transformation in support of the ever‐changing needs of students, stakeholders and staff.   

In September 2017, the Government of Ontario announced that it wanted to “update provincial assessment and reporting practices, including EQAO, to make sure they are culturally relevant, measure a wider range of learning, and better reflect student well‐being and equity.”1 The following business plan sets out the agency’s blueprint for the next three years, with a focus on the 2018–2019 fiscal year. Future business plans will reflect government direction based on findings from the Independent Review of Assessment and Reporting. 

Introduction The Education Quality and Accountability Office (EQAO) began its work in 1996 and has distinguished itself as an organization that provides valuable services to the people of Ontario by measuring the effectiveness of the publicly funded education system and improving student learning. EQAO plays an important role in Ontario education by conducting province‐wide tests at key points in every student’s primary, junior and secondary education and by reporting the results to the public and the school system. The tests objectively measure student performance in reading, writing and mathematics in relation to a common provincial standard and provide valuable information on the performance of Ontario’s education system.  

Beyond its assessments, EQAO is committed to engaging with its stakeholders in the use of data through articles, workshops, school stories and programs like the Dr. Bette M. Stephenson Recognition of 

Page 5: EDUCATION QUALITY AND ACCOUNTABILITY OFFICE Business … · student learning. EQAO plays an important role in Ontario education by conducting province‐wide tests at key points in

EQAO 2018–2021 Business Plan    3 

Achievement. EQAO has an active research program that investigates factors that influence student achievement, student well‐being, school effectiveness and assessment best practices. 

In the previous fiscal year, the agency underwent numerous discovery activities aimed at identifying key areas of risk across the organization and built plans to mitigate them. In the current fiscal year, the agency will begin to execute these plans to ensure a solid foundation for future change. EQAO’s work will remain grounded in system accountability and improvement as the agency continues to develop innovative initiatives that support student success. 

Mission EQAO’s mission is to conduct assessments and evaluations and to provide information that supports the accountability and continuous improvement of Ontario’s publicly funded school system.  

Mandate According to the memorandum of understanding between the Ministry of Education and EQAO, the following legislated objects serve as the agency’s mandate: 

1. To evaluate the quality and effectiveness of elementary and secondary school education 

2. To develop tests and require or undertake the administering and marking of tests of pupils in elementary and secondary schools 

3. To develop systems for evaluating the quality and effectiveness of elementary and secondary school education 

4. To research and collect information on assessing academic achievement 

5. To evaluate the public accountability of boards and to collect information on strategies for improving that accountability 

6. To report to the public and to the Minister of Education on the results of tests and generally on the quality and effectiveness of elementary and secondary school education and on the public accountability of boards 

7. To make recommendations, in its reports to the public and to the Minister of Education, on any matter related to the quality or effectiveness of elementary and secondary school education or to the public accountability of boards 

Values  EQAO values giving all students the opportunity to reach their 

highest possible level of achievement and well‐being. 

EQAO values its role as a service to educators, parents, students, government and the public in support of teaching and learning in the classroom. 

EQAO values credible evidence that informs professional practice and focuses attention on interventions that improve student success. 

EQAO values research that informs large‐scale assessment and classroom practice. 

EQAO values the dedication and expertise of Ontario’s educators and their involvement in all aspects of the assessment processes and the positive difference their efforts make in student outcomes. 

EQAO values the delivery of its programs and services by embracing diversity and moving beyond tolerance and celebration to inclusivity.   

Page 6: EDUCATION QUALITY AND ACCOUNTABILITY OFFICE Business … · student learning. EQAO plays an important role in Ontario education by conducting province‐wide tests at key points in

EQAO 2018–2021 Business Plan    4 

Overview of Current Activities Provincial Assessments EQAO’s assessments, evaluations and research produce objective and reliable evidence that add to the body of knowledge about student achievement and attitudes, and they support public accountability and improvement planning at the individual, school, school board and provincial levels. The agency’s accountability framework is centred on province‐wide full‐census assessments, which are conducted in both official languages and developed in a variety of formats that accommodate students’ special learning needs. 

The agency tests all students in reading, writing and mathematics at the end of the primary division (Grade 3) and the junior division (Grade 6), in mathematics in Grade 9 and in literacy in Grade 10. Success on the Grade 10 Ontario Secondary School Literacy Test (OSSLT) satisfies a graduation requirement. 

Assessment  Grade  Subjects Primary division 

Grade 3  

Reading, writing, mathematics 

Junior division  Grade 6  

Reading, writing, mathematics 

Grade 9  Grade 9  Mathematics 

OSSLT  Grade 10  Literacy 

 

National and International Assessments  EQAO administers four large‐scale national and international assessments on behalf of the Government of Ontario every three to five years: Trends in International Mathematics and Science Study (TIMSS), Progress in International Reading Literacy Study (PIRLS), Pan‐Canadian Assessment Program (PCAP) and Programme for International Student Assessment (PISA).  

These assessments provide a general sense of how Ontario students are doing relative to their peers in other jurisdictions or education systems and contribute to the larger picture of student achievement in Ontario in the areas of reading, mathematics and science. Both the public and education policy‐makers benefit from these high‐level indications of how students in Ontario are positioned in relation to their peers across the country and around the world in specific subjects. The results of these assessments are a good complement to the information gained through the full‐census provincial assessments. 

Assessment  Partner Organization  Approximate Age/Grade 

Subjects 

TIMSS & eTIMSS 

International Association for the Evaluation of Educational 

Achievement 

9‐year‐olds/ Grade 4 & 

13‐year‐olds/ Grade 8 

Mathematics, science 

PIRLS International Association for the Evaluation of Educational 

Achievement 

9‐year‐olds/ Grade 4  Reading 

PCAP  Council of Ministers of Education, Canada 

13‐year‐olds/ Grade 8 

Reading, mathematics, 

science 

PISA  Organisation for Economic Co‐operation and Development 

15‐year‐olds Reading, 

mathematics, science 

Page 7: EDUCATION QUALITY AND ACCOUNTABILITY OFFICE Business … · student learning. EQAO plays an important role in Ontario education by conducting province‐wide tests at key points in

EQAO 2018–2021 Business Plan    5 

Research In addition to its large‐scale assessment program, EQAO conducts and contributes to research. The agency prioritizes research that is consistent with its mandate, values, strategic plan and objects under the Education Quality and Accountability Act, 1996 (EQAO Act). The research program is designed to achieve two main purposes: 

1. To position EQAO at the forefront of large‐scale assessment  2. To ensure EQAO data are used for their primary purpose—improved 

student learning 

EQAO’s research interests broadly centre on effective, high‐quality educational experiences that support student achievement at the individual, classroom, school and board levels. EQAO seeks to understand student learning through the lenses of diversity, inclusion and equity, special education needs and educational contexts. 

School Support and Outreach EQAO’s School Support and Outreach team works with school boards, educators, teachers in training, qualifying principals, and parents and guardians to support data literacy and improve understanding of the use of EQAO data. Through these engagements and workshops, EQAO encourages continuous improvement in education and supports various members of Ontario’s education community by helping them understand, interpret and use the data to inform teaching and learning strategies, resource distribution and programming. 

Overview of Future Programs and Activities EQAO recognizes the dynamic needs of students across the province. As the agency looks to the future, it is committed to ensure its programs 

reflect more closely today’s pedagogy;   measure skills that EQAO does not currently measure;  ensure that assessment practices are culturally relevant and reflect 

student equity;  facilitate some online customization to accommodate students’ 

diverse learning needs and  reflect our equity and inclusivity strategy and province and support 

educational research. 

During the 2018–2019 fiscal year, the agency will continue to assemble a dedicated transformation team and engage third‐party expertise to implement business improvements across the organization that are aligned to the discovery work previously undertaken. The stabilization program emphasizes the continued need to place the students of Ontario at the centre of program goals and objectives. EQAO is committed to ensuring its large‐scale assessments, research and data analytics are designed in a manner that is more customizable to students’ learning needs and environments. This includes the ability to deliver its mandate, which has students’ safety, security and reliability as its foundation. The stabilization program has the following desired outcomes: 

ensuring the agency has the operational and financial means to continue its enterprise‐wide activities and support its current mandate while building capacity for future initiatives 

proactively mitigating risks that may disrupt EQAO’s delivery of services, such as the retirement of legacy systems and dependency on a limited number of key personnel 

Page 8: EDUCATION QUALITY AND ACCOUNTABILITY OFFICE Business … · student learning. EQAO plays an important role in Ontario education by conducting province‐wide tests at key points in

EQAO 2018–2021 Business Plan    6 

establishing options for the scoring of current and future assessments in light of the aging technology solutions currently in use 

building secure, adaptable and scalable IT solutions that can be leveraged and modified easily to meet future needs 

updating data management systems and processes to facilitate more efficient and effective data collection, analysis, quality assurance, validation, analytics and reporting methodologies 

implementing privacy and security best practices  reinforcing EQAO’s position as a leader in research to support 

improvement in education and best practices in large‐scale assessment 

enhancing the agency’s internal and external communication and outreach capabilities 

increasing efficiency of some time‐consuming business processes by redesigning them 

   

Page 9: EDUCATION QUALITY AND ACCOUNTABILITY OFFICE Business … · student learning. EQAO plays an important role in Ontario education by conducting province‐wide tests at key points in

EQAO 2018–2021 Business Plan    7 

Governance Framework As an independent board‐governed agency established to measure the effectiveness of the publicly funded education system and deliver assessment programs that yield objective and reliable information about student achievement, EQAO is governed by a board of directors appointed by the Lieutenant Governor in Council. As outlined in the EQAO Act, seven to nine directors may be appointed to the board for a term specified by the Lieutenant Governor in Council.   

The agency board is accountable, through the chair, to the Minister of Education and is responsible for setting the goals, objectives, policies and strategic directions of the agency according to its mandate, which is defined by the EQAO Act, the memorandum of understanding and the applicable policies and directives established by the Minister of Education and the Management Board of Cabinet.  

The board of directors is accountable to the people of Ontario by maintaining its arm’s‐length relationship with the provincial government, by setting strategic policy directions for achieving its mandate, by setting priorities for achieving excellence in the delivery of Ontario’s large‐scale assessment program and by communicating with the public and the education community. 

The board chair is accountable to the minister and provides leadership to the agency by keeping the minister informed; by submitting, on behalf of the agency board, a business plan and an annual report; and by carrying out the roles and responsibilities assigned to the chair by the Management Board of Cabinet directives, the EQAO Act, the memorandum of understanding and the board’s governance policies. The chair also ensures the integrity of the board’s processes, represents the board to outside parties and, according to the Public Services of 

Ontario Act (PSOA), serves as the ethics executive of the agency for all appointees. 

The board meets regularly and conducts business according to the EQAO Act, its bylaws, the memorandum of understanding and the PSOA. The Audit and Finance Committee supports the board in ensuring that EQAO exercises due diligence in maintaining an effective financial‐control framework. Other committees are assigned as required to reinforce the board’s role. 

The board’s connection to EQAO operations is through the chief executive officer (CEO). The CEO is accountable to the agency’s board for overseeing the management and operations of the agency and the supervision of the agency’s staff, and for carrying out the roles and responsibilities assigned by the board, the EQAO Act, the memorandum of understanding and the applicable agency directives set out by the Management Board of Cabinet. Under the PSOA, the CEO serves as the ethics executive for all staff. 

Staff members of the agency are accountable to the CEO for carrying out the roles and responsibilities assigned to them by the CEO and articulated in the annual business plan and their performance plans.  

EQAO also has contracts with vendors to support staff in carrying out the agency’s work. The vendors are contracted using a transparent tendering and evaluation process that aligns to the Ontario Public Service directives and is carefully overseen by EQAO management and staff, who are accountable to the CEO and board of directors. 

Page 10: EDUCATION QUALITY AND ACCOUNTABILITY OFFICE Business … · student learning. EQAO plays an important role in Ontario education by conducting province‐wide tests at key points in

EQAO 2018–2021 Business Plan    8 

Environmental Scan External Factors Transferable Life Competencies Jurisdictions around the world are exploring how to prepare their students to lead fulfilling lives, be productive contributors and thrive in an information‐ and technology‐intensive globalized world that is rapidly changing. They are also determining how to measure these transferable competencies. In July 2016, the Council of Ministers of Education, Canada (CMEC) introduced the following six global competencies and their potential application in classrooms: 

critical thinking and problem solving  innovation, creativity and entrepreneurship   collaboration  communication  global citizenship and sustainability   learning to learn/self‐awareness and self‐direction2 

CMEC’s six global competencies are part of a pan‐Canadian effort to prepare students for the rapidly changing social, economic and technological landscapes of the twenty‐first century. At their Charlottetown meeting in July 2017, ministers of education shared information about progress on initiatives to promote these competencies in their respective jurisdictions. They also agreed to begin developing a pan‐Canadian strategy for assessing these global competencies.  

                                                            2 http://www.cmec.ca/278/Press‐Releases/CMEC‐Moves‐Forward‐On‐Pan‐Canadian‐Education‐Initiatives.html?id_article=917 

Well‐Being Globally, there continues to be a shift toward focusing on the whole child to ensure students are successful in school and beyond. In April 2017, PISA examined a comprehensive set of well‐being indicators for adolescents that covers both negative outcomes (e.g., anxiety, low performance) and the positive impulses that promote healthy development (e.g., interest, engagement, motivation to achieve). 

The International Positive Education Network published a guide on how to assess well‐being in adults and younger students. 

Quebec’s New Policy on Educational Success In September 2017, the Quebec Minister of Education, Recreation and Sports released the Policy on Education Success. From now until 2030, this new policy will serve as the guiding framework for all government action relating to educational child care services, the public and private school systems, community organizations and society as a whole. The government aims to make educational child care centres, schools, vocational training centres and adult education centres more inclusive and conducive to development, learning and success. It also intends to bring all education stakeholders and partners on board to ensure success for all. Community action and popular education organizations play a key role in this endeavour by adopting preventive measures, providing services for at‐risk populations and fighting illiteracy.3 

Ontario Election 2018 The 42nd Ontario election is slated for June 7, 2018.   

Renewed Math Strategy for Ontario Building on the goals in Achieving Excellence: A Renewed Vision for Education in Ontario, the Ministry of Education is committed to helping 

3http://www.education.gouv.qc.ca/fileadmin/site_web/documents/PSG/politiques_orientations/politique_reussite_educative_10juillet_A_1.pd 

Page 11: EDUCATION QUALITY AND ACCOUNTABILITY OFFICE Business … · student learning. EQAO plays an important role in Ontario education by conducting province‐wide tests at key points in

EQAO 2018–2021 Business Plan    9 

students gain the math knowledge and skills they will need for the future. 

This technology‐driven world is changing rapidly, and students must have a wide range of skills and knowledge to succeed. Mathematical knowledge is a critical component of success. The ministry’s goal is to have at least 75% of elementary students achieve level 3 or higher on the provincial assessments of reading, writing and mathematics so that they are well‐prepared for success in the next grade. 

The ministry’s strategy to better position children for lifelong success includes a number of features that will respond to the diverse strengths and needs of learners, schools and district school boards. It will promote greater collaboration between everyone, including educators, students, leaders and parents.4 

Review of Curriculum and Assessment In September 2017, the Government of Ontario announced “a comprehensive overhaul of school curriculum and student assessment tools, aimed at making our schools better at unleashing the full potential of every child.”5 As part of this review, the Ministry of Education is consulting with students, parents, teachers and other partners across Ontario. One of four goals of this consultation is to “update provincial assessment and reporting practices, including EQAO, to make sure they are culturally relevant, measure a wider range of learning, and better reflect student well‐being and equity.”6 After the Independent Review of Assessment and Reporting concludes, EQAO will adapt its activities according to the direction provided by the Government of Ontario. The agency will also maintain an open dialogue 

                                                            4http://www.edu.gov.on.ca/eng/policyfunding/memos/april2016/min_math_strategy.html 5“Updated Curriculum, New Report Cards Coming to Ontario Schools. Province Modernizing School System to Unleash Full Potential of Every Student.” September 6, 2017, 10:15 a.m. Office of the Premier. 

that welcomes all perspectives and reflects the diversity of the province. This collaboration will help ensure that the agency is able to meet the needs of students, the education community and the province of Ontario when it implements the government’s mandate. 

Internal Factors Mandate Review EQAO has recently completed a mandate review. This review is a routine activity that takes place across government agencies every seven years as per the Agencies and Appointments Directive. The process included discussions with senior members of EQAO and the Ministry of Education. A final report is forthcoming. 

Business Improvements EQAO is undergoing a review of its internal processes, systems and IT infrastructure. The review will result in action plans to improve the efficiency, effectiveness and resiliency of agency operations.  

Strategic Direction Ontario’s education community is dedicated to providing students with an education that supports their development so that they gain the tools needed in the twenty‐first century. Parents, teachers, educational support staff, administrators, researchers, advocates and educational leaders across the province want to support children as they develop the skills and acquire the knowledge that will enable them to be successful in both society and the workplace. To support this common 

6“Updated Curriculum, New Report Cards Coming to Ontario Schools. Province Modernizing School System to Unleash Full Potential of Every Student.” September 6, 2017, 10:15 a.m. Office of the Premier. 

 

Page 12: EDUCATION QUALITY AND ACCOUNTABILITY OFFICE Business … · student learning. EQAO plays an important role in Ontario education by conducting province‐wide tests at key points in

EQAO 2018–2021 Business Plan    10 

goal, EQAO is committed to working with partners invested in the quality of public education in Ontario.  

The agency welcomes the chance to modernize so that it can better meet the needs of Ontario students and the broader education community. Due to constant pedagogical and technological advances, educators are relying more on digital tools to teach, and there is a wide array of means available to assess traditional and transferable skills.  

The focus for the 2018–2019 fiscal year will be to conduct assessments with integrity in accordance with the agency mandate and to review internal business processes and information technology infrastructure in preparation for the future transformation of agency operations and programs. 

 

   

Page 13: EDUCATION QUALITY AND ACCOUNTABILITY OFFICE Business … · student learning. EQAO plays an important role in Ontario education by conducting province‐wide tests at key points in

EQAO 2018–2021 Business Plan    11 

2018–2021 Performance Measures With innovation as a driver, EQAO has established the following strategic priorities and related objectives to guide its activities and resources for the upcoming three‐year business cycle. 

Strategic Priority 1: Assessment and Evaluation—assessing and evaluating important aspects of the quality and effectiveness of elementary and secondary school education 

GOALS  OBJECTIVES  2018–2021 PERFORMANCE MEASURES A. Conduct modern assessments with 

quality and integrity, leveraging technology to move the creation, administration and scoring of assessments online. 

Ensure EQAO assessments, processes and results have the highest technical quality and meet national and international standards. 

 

Administer and report on the assessments for the 2017–2018 school year. 

Conduct an updated jurisdictional review and market scan to better understand the assessments and psychometric trends and new offerings in large‐scale assessment by March 2019. 

Research options of alternative assessment models, equating plans and reporting plans by March 2019.  

Explore ministry initiatives that may affect the future of large‐scale assessments, including the Education Equity Action Plan (e.g., culturally responsive and relevant assessment), the broadband initiative and the use of online digital math tools and resources. 

Develop a project plan by March 2020 updating the agency rollout of modernized assessments. This plan should include reflecting on past learnings and experiences and developing key activities, performance indicators, risks and costs. 

Coordinate Ontario’s participation in national and international assessments (PCAP, TIMSS, PIRLS and PISA) and provide support for analyzing and reporting the results as they are released. 

B. Evaluate the public accountability of school boards, particularly how they share their EQAO results with the communities they serve. 

Ensure school boards use and share EQAO data, information and research with parents and community. 

Annually monitor completion of teacher and principal questionnaires by school board. 

Annually monitor school boards’ direct and indirect sharing of EQAO results with the communities they serve. 

 

Page 14: EDUCATION QUALITY AND ACCOUNTABILITY OFFICE Business … · student learning. EQAO plays an important role in Ontario education by conducting province‐wide tests at key points in

EQAO 2018–2021 Business Plan    12 

 Strategic Priority 2: Research—conducting research into the factors affecting student achievement, well‐being, equity and the quality of education 

GOALS  OBJECTIVES  2018–2021 PERFORMANCE MEASURES A. Conduct and 

commission meaningful research studies. 

Facilitate the linking of EQAO assessment data to data from other sources in the broader education sector. 

Collaborate with education partners (e.g., People for Education; Council of Ministers of Education, Canada; Modernization in Measurement Advisory Panel) to determine measures of transferable competencies. 

Explore the relationship between full‐day kindergarten and academic achievement. 

Conduct research to understand students with special education needs, including their accommodations and drive to succeed. 

By June 2018, undertake a practitioner‐based research project exploring the relationship between socio‐demographic factors and student achievement outcomes. 

 

   

Page 15: EDUCATION QUALITY AND ACCOUNTABILITY OFFICE Business … · student learning. EQAO plays an important role in Ontario education by conducting province‐wide tests at key points in

EQAO 2018–2021 Business Plan    13 

 

Strategic Priority 3: Communication and Engagement—helping Ontarians better understand the role of the agency and the value of the information it provides so they can use that knowledge to improve publicly funded education.

GOALS  OBJECTIVES  2018–2021 PERFORMANCE MEASURES A. Report the results of 

EQAO’s assessments, evaluations and research. 

Provide user‐friendly, interactive, technically supported access to EQAO results. 

Deliver public media campaigns that report on EQAO provincial assessment results, reaching at least 20 million people while earning a campaign quality score of 85% or greater for achieving established campaign success criteria across education stakeholder groups. 

Continue to use the current interactive reporting tool to increase understanding of the effective use of EQAO data. 

Review current business intelligence, analytics, and reporting infrastructure and tools and develop a plan by March 2020. 

B. Engage with Ontarians in using EQAO information, data and research effectively. 

 

Increase public awareness of the role and purpose of EQAO. 

Provide responsive information to specific stakeholder groups to increase their knowledge and effective use of EQAO large‐scale assessment data. 

Use social media to build engaged and informed communities. 

Engage stakeholders in the appropriate use of EQAO data and research to support accountability and evidence‐informed decision making. 

Provide responsive information to specific stakeholder groups to increase their knowledge and effective use of EQAO large‐scale assessment data. 

 

   

Page 16: EDUCATION QUALITY AND ACCOUNTABILITY OFFICE Business … · student learning. EQAO plays an important role in Ontario education by conducting province‐wide tests at key points in

EQAO 2018–2021 Business Plan    14 

Strategic Priority 4: Business and Governance —operating a responsible, effective organization. GOALS  OBJECTIVES  2018–2021 PERFORMANCE MEASURES 

A. Provide effective governance for the agency. 

 

Ensure that the internal governance and operational policy frameworks support the agency’s operation. 

Ensure all administrative policies, protocols and procedures that apply to the board of directors, staff and stakeholder committees consistently align with provincial directives and legislation and are updated within established timelines. 

Develop protocols and practices that comply with the Accessibility for Ontarians with Disabilities Act (AODA) and help the agency make its business operations fully accessible. 

Continuously monitor provincial legislation and directives and ensure all relevant agency submissions are provided to the Ontario Public Service within established timelines. 

B. Ensure effective business practices. 

Ensure financial and acquisition accountability and exceptional service delivery. 

Ensure annual financial accountability for the agency through quarterly reporting and budgetary controls in alignment with Public Sector Accounting Board guidelines. 

Efficiently manage procurement processes by adhering to current applicable directives and operational policies. 

Monitor and evaluate business processes to promote continuous improvement. 

Monitor and annually modify the assessment cycle to improve efficiency, privacy and security. 

Implement recommendations related to the enterprise‐wide Privacy Impact Assessment and Threat and Risk Assessment.  

Enhance internal and external user experiences by improving agency programs, systems and processes. 

C. Foster a strong organizational culture.  

Promote a motivated and engaged team environment that recognizes the unique contributions of all employees. 

By March 2019, maintain, refine and create initiatives that support a positive work environment. 

By March 2019, develop tactics for internal information and knowledge sharing throughout all levels of the agency. 

By March 2019, expand existing employee‐recognition activities and explore new ones to formalize EQAO’s recognition program. 

By March 2019, assemble an EQAO Equity and Inclusivity Committee that includes both internal and external representation. 

Page 17: EDUCATION QUALITY AND ACCOUNTABILITY OFFICE Business … · student learning. EQAO plays an important role in Ontario education by conducting province‐wide tests at key points in

EQAO 2018–2021 Business Plan    15 

Implementation Plan The agency’s focus during the 2018–2019 fiscal year will be to use the current‐state reports and improvement plans created in the previous fiscal year to implement activities that enhance existing operations. Improvement activities will focus on establishing a renewed foundation that ensures operational security, adaptability and resiliency from a people, process, data and technology perspective. These enhancements are fundamental to the agency’s operational readiness for change.  

EQAO is looking to leverage current technology to build a sophisticated assessment program that is focused on the present and future needs of students in Ontario. While the independent review of assessment and reporting unfolds, EQAO is planning research into various aspects of student attitudes and achievement, best practices in large‐scale assessment, and modernization (e.g., capabilities currently offered in the marketplace, other jurisdictions’ experiences) so that the agency is better equipped to move forward with modernization once it receives direction from the Government of Ontario. The following activities highlight the implementation plan for the stabilization program expected to be completed by the end of the fiscal year: 

1. Strengthen the agency’s privacy program through implementing recommendations from the Privacy Impact Assessment conducted in the previous fiscal year. 

2. Mitigate security vulnerabilities as per recommendations from the Threat and Risk Assessment conducted in the previous fiscal year. 

3. Catalogue and consolidate data assets and develop enhanced data management and reporting plans.  

4. Strengthen IT infrastructure as per recommendations from previous audits and the completed infrastructure migration assessment. 

While EQAO implements its stabilization program, it will continue to 

deliver its large‐scale assessment program;  provide the public and other stakeholders with credible data 

and information around student learning;  build the understanding of stakeholders regarding the use of its 

research, data and information;  monitor media campaigns;  undertake national and international assessments;  renew its research program and  follow the applicable legislations and policies of the Ontario 

Public Service. 

The assessment program will continue to be developed and administered by Ontario educators, and technical quality will continue to be the program’s hallmark. The agency’s focus on equity and inclusion will inform every aspect of its future‐state planning. 

   

Page 18: EDUCATION QUALITY AND ACCOUNTABILITY OFFICE Business … · student learning. EQAO plays an important role in Ontario education by conducting province‐wide tests at key points in

EQAO 2018–2021 Business Plan    16 

Information Technology and Electronic Service Delivery Plan  EQAO is increasingly relying on technology to carry out its core business practices, including the collection, processing and storage of its data. There is a need to establish resilient IT infrastructure and systems, such as I&IT controls and privacy and security safeguards. 

These important initiatives and related cost estimates are being captured as part of the stabilization business case that will be submitted to the board of directors and government for approval.  

With digital learning now playing a significant and growing role in Ontario classrooms, EQAO is committed to updating its provincial assessment program by letting students access the new information technology they use in their regular school activities.  

 

Page 19: EDUCATION QUALITY AND ACCOUNTABILITY OFFICE Business … · student learning. EQAO plays an important role in Ontario education by conducting province‐wide tests at key points in

EQAO 2018–2021 Business Plan    17 

Communications Strategy Context  EQAO is the arm’s‐length agency of the Government of Ontario that assesses key aspects of the effectiveness of Ontario’s publicly funded education system. As such, it provides an important service to Ontario taxpayers as the only source of objective, publicly available information about student achievement in each school and school board. In addition to enhancing the accountability of the education system, EQAO supplies reliable information to people responsible for student achievement and well‐being to help them assess and improve their programs and supports. EQAO’s communications program is central to fulfilling the agency’s mandate of providing reliable information.  

Strategy  Through communications, EQAO seeks to increase awareness and understanding of the agency and the information it provides, broadly share the results of its evaluations and engage meaningfully with its stakeholders concerning the appropriate and optimal use of its information to support growth in student achievement and well‐being. EQAO engages with audiences in two‐way information sharing to build understanding and advocate for excellence and the continuous improvement of the publicly funded education system. EQAO’s strategy is based on the concept of integrated communications (i.e., leveraging multiple channels to convey information to key audiences).  

Communications Channels As with most organizations, EQAO uses its Web site as a central source of information for all audiences. EQAO’s Web site is periodically reviewed to ensure it meets applicable policy guidelines and regulations, including the AODA and the Open Government 

initiative. The site provides comprehensive information about the agency and its services. It also contains electronic versions of assessment result reports, sample assessments, assessment administration guides and other resources. EQAO dedicates a section of its Web site to showcasing examples of the positive use of its data and will soon highlight student questionnaire data to help audiences understand how students view themselves as learners.  

EQAO is also active on social media (e.g., Twitter, Facebook and LinkedIn) as a way of engaging directly with audiences. The agency contributes to online conversations and answers queries received through social media, and it has recently produced a series of visually compelling posts to convey key messages more effectively. 

The agency creates guides for students and their parents or guardians. The guides are available on EQAO’s Web site in 21 different languages.  

With each public release of assessment results, EQAO undertakes multi‐faceted province‐wide information campaigns in both official languages for the public and stakeholders. The agency also meets with stakeholders regularly to help them leverage EQAO data and to remain informed of key developments in education. 

The agency also has an information centre dedicated to responding to inquiries received through a toll‐free telephone number and by e‐mail. 

   

Page 20: EDUCATION QUALITY AND ACCOUNTABILITY OFFICE Business … · student learning. EQAO plays an important role in Ontario education by conducting province‐wide tests at key points in

EQAO 2018–2021 Business Plan    18 

Third‐Party Involvement The agency is dedicated to continuing to work with its stakeholders to ensure its assessment data are used to enhance classroom instruction, support improved student achievement and play a role in increasing the quality and effectiveness of Ontario’s public education system.  

EQAO engages Ontario educators in every step of the assessment cycle, from development to administration to scoring. Throughout its work, EQAO collaborates with thousands of French‐ and English‐language educators in various activities. It is open to provincial, national and international partnerships in a manner that is mutually beneficial to both parties. 

EQAO’s Advisory Committee provides advice and recommendations on assessment activities to the agency. Committee members represent the Ministry of Education, directors of education, parents, principals, trustees, supervisory officers, teacher federations and education research organizations. Ad hoc committees will be established for short‐term consultation on specific activities. 

The Sensitivity Committee reviews materials for all EQAO assessments (the primary division and junior division Assessments of Reading, Writing and Mathematics, the Grade 9 Assessment of Mathematics and the OSSLT/TPCL). Its members have knowledge and expertise in the areas of diversity, culture, second‐language acquisition and special education, and they independently review and then discuss all new assessment items to ensure that each is fair, inoffensive and accessible to all students.  

To deliver its provincial large‐scale assessments and follow its mandate, EQAO works with key vendors to provide 

print, distribution and warehousing services, 

data capture services,  recruitment and payroll services for scorers and other 

temporary staff and  data centre services. 

The Equity and Inclusion Committee is an important step for the modernization of the agency’s assessment program. This committee will now take students’ voices and choices into account so that they can see themselves better reflected in the assessments. The work of this group will support the mandate and values of EQAO, including giving all students the opportunity to reach their highest possible level of achievement. The committee will also reflect on large‐scale assessment opportunities that will provide reliable information to the public regarding all students, including those from marginalized groups, and it will consider how EQAO can support Ontario’s Education Equity Action Plan. 

On behalf of Ontario, EQAO also partners with the following national and international organizations: 

The Organisation for Economic Co‐operation and Development—to administer the Programme for International Student Assessment  

Council of Ministers of Education, Canada—to administer the Pan‐Canadian Assessment Program 

International Association for the Evaluation of Educational Achievement—to administer the Progress in International Reading Literacy Study and the Trends in International Mathematics and Science Study 

The agency recognizes the importance of student, parent and educator input and is committed to fostering an effective dialogue within the education sector and with the public. It remains committed to engaging Ontarians through the use of reliable data 

Page 21: EDUCATION QUALITY AND ACCOUNTABILITY OFFICE Business … · student learning. EQAO plays an important role in Ontario education by conducting province‐wide tests at key points in

EQAO 2018–2021 Business Plan    19 

related to the quality of the provinces’ education system. The assessment review process is timely because it will generate discussion and help inform EQAO’s modernization project. Once the assessment review has concluded and the Government of Ontario has provided guidance on the direction of EQAO, the agency will continue its independent consultation to gather broad and diverse input on how it should implement the government’s vision. 

Resource Requirements Human Resources The agency benefits from staff with a high level of functional expertise and knowledge. At the same time, the current state is reliant on aging infrastructure, technologies and data models, as well as many manually intensive processes. Moreover, the agency is operating at or above capacity in its business operations, leaving a limited amount of organizational capacity for business transformation to support the ever‐changing needs of students and stakeholders. There is a need for the agency to establish a renewed foundation that ensures operational security, adaptability and resilience from a people, process and technology perspective. These enhancements are fundamental to the agency’s operational readiness for change.  

The agency’s high‐level organizational chart is as follows: 

  

 

EQAO will be engaging the Ministry of Education to support the agency staffing requirements given the complex and necessary work that lies ahead. The formation of a dedicated, fixed‐term transformation team will be crucial to the success of the modernization initiative. 

In addition to providing for full‐time staff appointed under the Public Service of Ontario Act, the EQAO Act gives the agency authority to engage, including through secondment, additional professional, technical or general assistance as required to develop, administer and report on its assessments. All resources are managed within the agency’s annual allocation. 

Financial Resources Over the past 16 years, EQAO has reduced its operating budget by over 20%, and operations have continued under a further reduction imposed in 2012. Since 2012, the agency has managed to conduct all operations effectively due to operational efficiencies and use of agency‐generated funds. EQAO is now under significant financial 

Page 22: EDUCATION QUALITY AND ACCOUNTABILITY OFFICE Business … · student learning. EQAO plays an important role in Ontario education by conducting province‐wide tests at key points in

EQAO 2018–2021 Business Plan    20 

pressures due to rising costs of business operations and the need for modernization.  

In the 2017–2018 fiscal year, the Ministry of Education agreed to support the agency’s stabilization initiative by providing funding to complete discovery work within that fiscal year. This funding allowed the agency to review internal business operations, identify risks and develop plans for future business improvement initiatives. Implementation of these initiatives during the 2018–2019 fiscal year is integral to the agency’s current operations and future modernization.  

The agency will be putting forth a significant funding and resourcing request in addition to its current allocation in the 2018–2019 fiscal year. This funding will be necessary for its business stabilization in support of its renewed priorities and direction. EQAO looks forward to continued support from the Ministry of Education to adequately fund the agency during this period of change. 

Page 23: EDUCATION QUALITY AND ACCOUNTABILITY OFFICE Business … · student learning. EQAO plays an important role in Ontario education by conducting province‐wide tests at key points in

EQAO 2018–2021 Business Plan    21 

Operational Expenditure and Budget Requirements HISTORIC EXPENDITURES AND PROJECTED BUDGET ($M)   The proposed budget incorporates projected costs associated with the Agency's ongoing operations and the annual commitments identified in this plan. 

    2016–2017  2017–2018  2018–2019  2019–2020  2020–2021 

    Actual  Projected  Projected  Projected  Projected Program Area             Grade 3 & 6 (Reading, Writing & Mathematics)    12.74  12.09  12.37  12.45  12.45 Grade 9 (Mathematics)    6.95  6.33  6.61  6.68  6.68 Ontario Secondary School Literary Test    11.02  10.36  10.82  10.79  10.79 Operating Budget    4.16  3.50  2.50  2.50  2.50 Total EQAO Program Operating Expenses    34.87  32.28  32.30  32.42  32.42 National/International Program (funded separately by ministry)    0.16  0.44  0.44  0.44  0.44 Total Expenses Including National/International    35.03  32.72  32.74  32.86  32.86 

 Ministry Allocation for EQAO Operating Expenses     31.28  31.28   31.28  31.28  31.28 National/International Program (funded separately by ministry)    0.16  0.44  0.44  0.44  0.44 Stabilization Funds       ‐   1.00  1.02*  1.14*  1.14*  Total Funding     31.44  32.72  32.74  32.86  32.86 Capital Assets     0.19    0.30    0.25    0.25    0.25  NOTES/ASSUMPTIONS  Payroll assumptions are based on ratified collective agreements, and the same assumptions apply to future years.  National/international program costs are dependent on ministry decisions regarding Ontario's participation in these assessments and are funded 

separately based on these decisions.  In the 2018–2019 fiscal year, the agency will put forth a significant funding and resourcing request to enable its modernization in support of its 

renewed priorities and direction. The agency will also require a temporary increase of full‐time employees (FTEs) as it modernizes.  

* Dependent on government approval

Page 24: EDUCATION QUALITY AND ACCOUNTABILITY OFFICE Business … · student learning. EQAO plays an important role in Ontario education by conducting province‐wide tests at key points in

EQAO 2018–2021 Business Plan    22 

Risk Management Risk assessment and management provides reasonable assurance that all the key risks are identified and that processes are in place to mitigate them, thereby maintaining the confidence of internal and external stakeholders of the organization. An extensive risk management framework has been developed to document the agency’s risk areas and provide risk response strategies. 

Each risk category has been reviewed to identify the likelihood of occurrence and the impact that each risk might have on the agency. It was determined that although the likelihood of occurrence of many of these risk categories was low, they would have varying levels of impact.   

Risk mitigation has been documented within the framework for each risk category. Existing governance policies, operational protocols and annual technical reports, as well as scoring plans and administration guidelines, have been referenced as supporting documents and contain detailed procedures, guiding principles and key steps that EQAO takes to mitigate any possible risks to the agency. 

EQAO undertakes a risk review process and reports high‐level risks to the Ministry of Education each year. In preparation for modernization and in response to an aging infrastructure, EQAO is currently conducting an in‐depth risk evaluation that will result in a renewed strategy. Ahead of outcomes of the risk evaluation, the following chart summarizes the agency’s risk framework.

Page 25: EDUCATION QUALITY AND ACCOUNTABILITY OFFICE Business … · student learning. EQAO plays an important role in Ontario education by conducting province‐wide tests at key points in

EQAO 2018–2021 Business Plan    23 

ID  Risk Categories  Risk Description   Likeli‐ hood 

Impact  Risk Response 

Strategic 1  Business and Strategic 

Planning The agency does not have a strategic plan or a business plan that sets out its priorities. 

L  M  At the end of the business planning cycle, have the board of directors begin planning for the agency’s upcoming cycle. 

Each year, have the agency’s three‐year rolling business plan reviewed and approved by the board of directors and submitted by the chair to the Minister of Education for approval. 

Develop and document a business planning process, which provides for an annual review and development of the agency's business plan. 

2  Business Continuity  Sudden changes to the agency’s business occur, disrupting its operation. 

M  M  Maintain a business continuity plan for the agency’s operations.  Hold all third‐party vendors accountable for their work through periodic reviews and evaluations of 

their performance.  Use third‐party expertise in managing risks associated with IT infrastructure.  Ensure the appropriate project management principles are followed during the planning and 

execution of improvement initiatives across the enterprise. 3  Stakeholders and 

Reputation Stakeholders have a lack of understanding of the agency’s role. 

M  M  Maintain an updated communication plan that includes strategies to address negative media reporting of student achievement data and to help the media (education reporters) understand the benefits of EQAO data to educators, parents and researchers. Include strategies to effectively communicate with stakeholders before, during and after assessment administration and to solidify the agency’s reputation as a valuable and credible source of information and data.  

Use outreach initiatives to help stakeholders understand the use of data for improvement planning. Ensure the School Support and Outreach team monitors the responses of educators regarding service provision. 

Continue to provide helpful reports to boards and schools in a timely manner, and continue to offer information sessions (e.g., school visits, symposia, workshops) to develop understanding about how to use data. 

Monitor media daily and respond to significant issues, as appropriate.  Use a number of social media platforms to increase engagement with stakeholders and the public.  

Governance and Accountability 4  Governance Framework/ 

Accountability The governance framework—which articulates accountabilities such as roles and responsibilities, board‐CEO links, authorities and delegations—is either inadequate or not adhered to by the board or staff of the agency. 

M  L  Maintain a comprehensive governance framework based on legislative requirements and best practices in board policy governance. 

Maintain solid business practices as documented in governance frameworks, policies, protocols and procedures. 

Ensure the board follows conflict of interest policies and procedures (the responsibility of the EQAO board chair, as ethics officer). 

5  Financial Controls  The agency’s financial resources are disrupted.  

L  H  Undergo external and internal audits annually.  Regularly review and update the procurement and financial protocols to ensure they align with 

Ontario government directives.  Use the annual procurement plan to ensure compliance with tendering and procurement practices 

and proper delegation.  Maintain dialogue with the government to anticipate funding changes. 

Page 26: EDUCATION QUALITY AND ACCOUNTABILITY OFFICE Business … · student learning. EQAO plays an important role in Ontario education by conducting province‐wide tests at key points in

EQAO 2018–2021 Business Plan    24 

ID  Risk Categories  Risk Description   Likeli‐ hood 

Impact  Risk Response 

Rigorously monitor costs and manage contracts. 6  Fraud  Agency staff, board members or 

stakeholders conduct themselves inappropriately, creating a number of risks. 

L  M  Continue to monitor the security of physical assets, access to data and financial instruments.  Continue to maintain the agency’s governance structure to ensure appropriate lines of authority 

and proper authorization of transactions and major decisions.  

7  Reporting Accountability  The agency does not report to the province as required by legislation, the memorandum of understanding and relevant provincial directives. 

L  M  Maintain an internal governance framework designed to monitor all reporting and revision requirements to ensure that key documents are maintained and reported in a timely manner. 

Review the framework regularly, particularly at times of transition or when key personnel change (chair, minister or CEO). Update the memorandum of understanding and present it to the Ministry according to the Agency and Appointments Directive and the memorandum of understanding guide. 

Each fall, submit the agency’s financial reports to the Ministry of Education for approval. These reports align with the agency's business plan and annual report. 

Workforce 8  Human Resources  The agency needs to maintain a full 

complement of qualified staff to deliver its large‐scale assessment programs. The limited human resources available reduces the ability to retain key staff and to adequately cross‐train staff, creating a skills shortage. 

L  M  Maintain staffing plans to mitigate critical staffing gaps.  Offer opportunities for professional development for all employees to ensure there is always 

enough staff to carry out the work of the agency successfully.  Use fee‐for‐service contractors effectively and appropriately as needed. 

9  The agency is unable to fulfill its operational business commitments due to limited human resources. 

M  M  Explore a workforce needs assessment to determine appropriate staffing needs of the agency, and work with the ministry on appropriate solutions. An inability to staff the agency adequately will severely affect the success of the modernization initiative. 

10  Insufficient staffing cannot sustain a large business model shift, resulting in disruption to core business. 

M  H  Have senior management carefully monitor staff through individual and team meetings to ensure that the present business operations are completed with rigour. 

Explore a workforce needs assessment to determine appropriate staffing needs of the agency, and work with the ministry on appropriate solutions. 

11  Inability to Recruit Scorers The agency is unable to recruit an appropriate number of scorers. 

M  M   Communicate with scorers and recruit them early (60–90 days prior to scoring), and provide clear technical information and practice sessions. 

Increase the effort to recruit scorers with the appropriate technical skills.  Enlarge the recruitment window for scorers to ensure an adequate number are selected.  

     

Page 27: EDUCATION QUALITY AND ACCOUNTABILITY OFFICE Business … · student learning. EQAO plays an important role in Ontario education by conducting province‐wide tests at key points in

EQAO 2018–2021 Business Plan    25 

ID  Risk Categories  Risk Description   Likeli‐ hood 

Impact  Risk Response 

Operational 

12  Service Demand  EQAO is unable to provide students with their assessments or report on the test results. 

L  M  Ensure the appropriate resources are available so that schools receive their assessment materials, and collect and analyze data to prepare provincial reports. 

Ensure a communications strategy is in place to announce delays in administration or reporting. 13  Records Management  The agency has not properly 

maintained its records, both paper and electronic, due to lack of a records retention schedule or a failure to adopt common government schedules. 

L  M  Refer to the agency’s records retention schedule and specific government schedules. The agency’s records retention schedule has been formally approved by the Archivist of Ontario and must be followed. 

Refer to the agency’s records retention framework, which involves the storage of paper records on and off site and aligns with the relevant provincial directives. 

Update the agency’s records retention schedule as per the Archives of Ontario’s guidelines. 14  Records/File Security  The security of non‐IT records is 

compromised. L  M  Follow the EQAO privacy program, which specifies how to collect, use and store personal 

information—both paper and electronic records. Refer to agency protocols and procedures governing responses to privacy complaints and breaches. 

Information and Information Technology 15  IT Strategy  I&IT resource use and projects being 

pursued do not align with the agency’s objectives. 

L  M  Evaluate prospective I&IT initiatives for congruence with the business plan and applicable directives before they are approved and initiated. 

Test approved I&IT projects before full implementation, and continuously monitor them for successful achievement of business objectives. 

16  

Information Security and Privacy 

Sensitive and personal information are not handled properly, creating a major privacy breach. 

L  H  Refer to the agency’s privacy program—which includes protocols, procedures and training for staff—to fortify the secure handling of personal and sensitive information by agency employees. 

Consider previous year’s Privacy Impact Assessment, Threat and Risk Assessment and recommendations to strengthen the agency’s privacy and security practice. 

17  Managed IT Services  The server co‐location arrangement needs to be replaced with a new managed services solution (in the interest of managing cost, scheduling, access and security). 

M  H  Verify that any tendering process ensures fairness. Refer to the transition plan in place to avoid unexpected time and cost implications to the agency’s operations. Do a financial feasibility analysis and an operational risk analysis before any contract is awarded. 

Consult the ministry prior to awarding a contract. 

18  IT Equipment/Hardware  Business management practices are not effective or efficient. 

L  M  Have the agency explore the possibility of moving to a managed service for basic infrastructure and network hosting, as EQAO currently performs its own server and infrastructure maintenance at a third‐party data centre. 

Back up electronic data nightly at a secure third‐party data centre. Restore data periodically when it is required or to verify that recovery is possible. 

Large‐Scale Assessment 

19  Alignment to The Ontario Curriculum 

The assessments do not align with The Ontario Curriculum. 

L  H  Continue to engage educators in all aspects of the assessment program. Continue to ensure that each assessment aligns to The Ontario Curriculum. Collaborate with the Ministry of Education on a regular basis to ensure alignment. 

Page 28: EDUCATION QUALITY AND ACCOUNTABILITY OFFICE Business … · student learning. EQAO plays an important role in Ontario education by conducting province‐wide tests at key points in

EQAO 2018–2021 Business Plan    26 

ID  Risk Categories  Risk Description   Likeli‐ hood 

Impact  Risk Response 

20  Data Integrity  The reliability and credibility of the data are compromised. 

L  H  Document and adhere to the technical quality and processes for each assessment.  Publish the annual technical report.  Confer with experts (e.g., EQAO psychometricians and scholars‐in‐residence) who advise on scoring 

issues.  Use a replication process to ensure the accuracy of the psychometric analysis of each assessment.  Print booklets in a secure card‐access printing room.  Bundle student packages by class and assign them a bundle barcode. 

21  Systems in Place in the Event an Assessment is Compromised 

Some or all of the components of a given assessment are compromised prior to or during an administration. 

L  H  Determine the scope, reach and impact of the breach.   Educate EQAO staff, vendors, school boards and school personnel on security protocols, best 

practices and the importance of test security.  Monitor social media and the Internet for exposure of test items. 

22  Unanticipated Disruption to Administration at the School Level 

Issues arising at the school cause testing to be interrupted or postponed (e.g., inclement weather, power outage). 

M  M  Ensure there is a backup version of the Ontario Secondary School Literacy Test, as it is a graduation requirement. 

Develop documentation that sets out guiding principles and procedures in the event of unanticipated disruptions. 

Collaborate with the affected schools and school boards to understand the nature and extent of the emergency and the appropriate action plan. 

23  Late Return of Test Materials 

Schools return materials late, subsequently delaying scanning.  M  L  

Communicate appropriate return deadlines and establish pre‐arranged pickups from schools based on the assessment windows. Monitor weather conditions across the province during test windows and communicate with schools and school boards that could be affected by inclement weather. 

Collaborate with vendors in the creation of an inclement weather action plan. 

24  Delay in Reporting  The agency delays the reporting of results to the ministry and the public. 

M  M  Communicate the delay with the ministry and all stakeholders. Rigorously test all new processes to 

ensure quality. Continuously review and process improvement activities to minimize reoccurrence. 

25  Governance of Key Vendors 

Vendors are not overseen effectively, which impacts the assessment life cycle (item/test creation, administration, scoring and reporting). 

M  H 

Clearly define requirements and standards in all contracts.  Develop an oversight plan to monitor key vendor activities, and actively manage issues and risks 

from a people, process, data and technology perspective.  Hold weekly internal meetings to discuss monitoring of operational activities and issues.  Hold weekly operational meetings with key vendors to address progress and issues.  Hold biweekly Steering Committee meetings with management from key vendors and the agency.  Provide regular reporting on vendors based on key system performance metrics. 

Stabilization 

26  Aging IT Infrastructure 

 

Aging, unsupported IT infrastructure creates risks for business continuity. All locations of EQAO’s IT infrastructure (at 2 

M  H 

Complete remediation of 2 Carlton by spring 2018. This remediation includes the replacement of aging and unsupported switches, as well as the acquisition and installation of a firewall, IPS/IDS system, SD/WAN and related licences. This process has relied on problem‐solving skills, most notably with restoring EQAO access to government information through the recognition of EQAO as 

Page 29: EDUCATION QUALITY AND ACCOUNTABILITY OFFICE Business … · student learning. EQAO plays an important role in Ontario education by conducting province‐wide tests at key points in

EQAO 2018–2021 Business Plan    27 

ID  Risk Categories  Risk Description   Likeli‐ hood 

Impact  Risk Response 

Carlton, Q9, Vipond and scoring centre) are susceptible to this risk. 

 

a client at the Guelph Data Centre (GDC). This remediation requires the collaborative efforts of EQAO, CSC, GDC and a third‐party vendor. 

Continue with remediation of the scoring centre as scoring begins in spring 2018. EQAO has secured an alternative to the use of personal digital assistant (PDA) devices for scoring. In 2018, the agency will be using both PDAs (approximately 1200 units) and notebooks (600 units). The IT team will evaluate this advancement and plan for future replacements of PDAs as appropriate. 

27  IT Business Continuity  Migrating to new IT infrastructure creates risks associated with maintaining normal business operations (business continuity). 

M  H 

Completed key application inventory and ownership.  Completed current‐state network analysis and made urgent enhancements.  Analyze options related to migration in collaboration with I&IT cluster.  Use the phased approach during implementation to minimize disruption to day‐to‐day business 

operations. 

28  The Backup and Restoration of Data Tapes 

Backup tapes of all data hosting environments are not effectively stored. 

M  H  Engage with the vendor that is storing six hundred tapes, which are accessible to EQAO IT staff, to 

support recovery. This agreement includes secure transport from Q9 to Iron Mountain, a change from using public vehicles. 

29  Backups and restores may not work reliably.     

Monitor and reduce risk of unreliable backups and restores. This process provides the EQAO IT team with important experience in testing its capacity to work with backups to restore the agency’s systems. 

30  Single Support Resources 

Reliance on single support resource represents a single point of failure to maintain continuity of the agency’s IT services. 

M  H 

Manage single points of failure (SPOF) across the enterprise, including SPOFs within systems. Also manage the processes and the teams that carry out core functions. EQAO is committed to addressing SPOFs and ensuring multiple means of reducing risk through the effective management of people, processes and systems.  

Address SPOFs during stabilization activities, starting with the development of a staffing strategy followed by organizational design activities. Map future state processes and identify key roles to execute these processes. Roles will be cross‐trained with the identification of backup resources to help mitigate this risk. 

Address SPOFs within the current technical infrastructure.    

31  Data Management  Current processes around data management are manually intensive and could lead to human error. 

M  H 

Assess current data management practices to identify areas of improvement and efficiency.  Consider modern data management solutions to reduce manually intensive and time‐consuming 

processes.  Create remediation plans in the 2018–2019 fiscal year. 

32  Privacy  Current state of privacy practices in the agency may have vulnerabilities related to securing personal information. 

M  H 

Conducted a Privacy Impact Assessment across the agency to identify threats to personal information. 

Scope and implement remediation activities in 2018–2019 fiscal year. 

33  Security  Current security practices in the agency may have vulnerabilities  M  H  Conducted a conceptual Threat and Risk Assessment across the agency to identify threats to 

information assets and systems. 

Page 30: EDUCATION QUALITY AND ACCOUNTABILITY OFFICE Business … · student learning. EQAO plays an important role in Ontario education by conducting province‐wide tests at key points in

EQAO 2018–2021 Business Plan    28 

ID  Risk Categories  Risk Description   Likeli‐ hood 

Impact  Risk Response 

related to securing sensitive information and accessing systems. 

Scope and implement remediation activities in 2018–2019 fiscal year. 

 

Page 31: EDUCATION QUALITY AND ACCOUNTABILITY OFFICE Business … · student learning. EQAO plays an important role in Ontario education by conducting province‐wide tests at key points in
Page 32: EDUCATION QUALITY AND ACCOUNTABILITY OFFICE Business … · student learning. EQAO plays an important role in Ontario education by conducting province‐wide tests at key points in

2 Carlton Street, Suite 1200, Toronto ON M5B 2M9 Telephone: 1-888-327-7377 Web site: www.eqao.com

© 2017 Queen’s Printer for Ontario