23
ANALYSIS OF PARAMETRIC AND DATABASEDRIVEN COST ESTIMATES IN THE TRANSIT INDUSTRY L. Brian Ehrler Project Management Oversight Cost and Risk Manager Burns Engineering, Inc. 4925 Greenville Ave Dallas, TX 75206 Presented at the 2011 ISPA/SCEA Joint Annual Conference and Training Workshop - www.iceaaonline.com

ANALYSIS OF PARAMETRIC AND DATABASE DRIVEN COST … · The PMOC analyzes the project cost submittals, such as, SCC workbook, cost basis, and cost estimating methodology, to determine

  • Upload
    ledat

  • View
    214

  • Download
    0

Embed Size (px)

Citation preview

ANALYSIS OF PARAMETRIC AND DATABASE‐DRIVEN COST ESTIMATES IN THE TRANSIT INDUSTRY 

 

 

 

L. Brian Ehrler 

Project Management Oversight Cost and Risk Manager 

      

Burns Engineering, Inc. 4925 Greenville Ave Dallas, TX 75206 

 

 

Presented at the 2011 ISPA/SCEA Joint Annual Conference and Training Workshop - www.iceaaonline.com

 

Pageii 

 

ABSTRACT 

Most major transit projects require some form of grant, either Federal or State, to be financially viable for a city. For those cities considering a transit project there are billions of dollars available each year from the US Department of Transportation.1 However, to qualify for these dollars the transit agency for the city, must demonstrate that the proposed transit project is cost effective.  

This qualification requires transit agencies to prepare a cost estimate during the conceptual phase of the project. Because of limited budgets in the early phases of these projects, the transit agencies generally rely on parametric and/or unit cost database cost estimating methodologies. For the transit agencies this is an advantage because a cost estimate can be produced efficiently with minimal cost. For the Federal Transit Administration’s Consultant the review and analysis of parametric and unit cost database estimates can sometimes be a challenge. The review and corroboration process for these early phase estimates relies on a number of mechanical tests, mathematical skills, and expert opinions to insure the proposed cost for the project is accurate, comprehensive, and traceable.  

This paper explores the FTA consultant’s challenges of working with the limited output from the transit agency’s proprietary cost database and/or parametric systems. Additionally, this paper will demonstrate a number of the consultant’s means, methods, and outputs through case study examples.  

                                                       1 The US Department of Transportation issues grants to cities and municipalities, each year, for public transit initiatives. The FY 2011 President’s Budget indicates $1.822 billion will be available this year for transit projects.   

Presented at the 2011 ISPA/SCEA Joint Annual Conference and Training Workshop - www.iceaaonline.com

 

Pageiii 

 

Presented at the 2011 ISPA/SCEA Joint Annual Conference and Training Workshop - www.iceaaonline.com

 

Page1 

INTRODUCTION  

Most major transit projects require some form of grant, either Federal or State, to be financially viable for a city. For those cities considering a transit project there are billions of dollars available each year from the US Department of Transportation. However, to qualify for these dollars the city’s transit agency must demonstrate that the proposed transit project is cost effective.   

Once a transit agency requests a grant the Federal Transit Administration begins the project review process.  This process generally involves Project Management Oversight Contractor to perform the technical aspects of the project review. 

BACKGROUND 

FEDERAL  TRANSIT  ADMINISTRATION  (FTA)  PROJECT  COST REVIEW  

The U.S. Congress and the Federal Transit Administration (FTA) enacting good stewardship require that a Grantee cost estimate for a proposed project is reliable. This reliability measurement is achieved through a thorough evaluation of the project scope, project schedule and project cost estimate, at various points in the proposed project’s development (Federal Transit Administration, 2009). 

The FTA developed means and methods, commonly referred to as the Oversight Procedures, to determine cost estimate reliability.  The objectives of the oversight procedures are three fold: 

• Determine the consistency of the project cost estimate information • Understand the cost estimate characteristics  • Confirm that the estimate adequately reflects the overall project scope 

These objectives are achieved by the FTA through the use of contracted technical consultants, commonly known as a Project Management Oversight Contractor (PMOC) (Federal Transit Administration, 2009). 

FTA  TRANSIT  PROJECT  DEVELOPMENT  PROCESS  

The FTA charges the PMOC to perform periodic reviews of selected projects at each major milestones, (1) Start of Preliminary Engineering, (3) Start of Final Design, and (3) Full Funding Grant Agreement application, and (4) Start of Construction. The results of these reviews are used by FTA in its decision making process to determine the grant funding eligibility for the project (see Figure 1).   

Presented at the 2011 ISPA/SCEA Joint Annual Conference and Training Workshop - www.iceaaonline.com

 

Page2 

 

Figure 1 ‐ FTA New Starts Project Process (Federal Transit Administration, 2003) 

At each milestone the PMOC is responsible for analyzing the project cost estimate and reporting findings back to the FTA regarding:  

Presented at the 2011 ISPA/SCEA Joint Annual Conference and Training Workshop - www.iceaaonline.com

 

Page3 

• Soundness of the Grantee’s cost estimating methods and processes compared with proven professional quantity surveying and cost estimating practices for projects of this scale;  

• Congruence of the project cost estimate with the project scope and schedule, i.e. do these three elements fully reflect each other Figure 2;  

• Reliability of the estimate for procurements, contract bids, and contract closeout, i.e. will the project budget prove to be adequate at these milestone events.  

 

 

Figure 2 ‐ Modified Triple Constraint Scope, Cost, Schedule relationship 

 

The constraints between the project cost to the scope and schedule (sometimes referred to as the Triple Constraint) is an important concept for any cost reviewer to understand (Project Management Institute, 2008). The traditional concept of the Triple Constraint indicated that changes to any of the three elements affected the other two. Logically this does not always bear out, as one could, in theory, pay too much for a material element which increases the cost, but does not change the schedule or change the scope. In most cases a change in either scope of schedule will change the cost, but the converse is not always true.  The concept of the Scope 

 Schedule   Cost and the Scope   Cost linkages are the basis for the FTA review process. 

 

DATA INPUTS 

Presented at the 2011 ISPA/SCEA Joint Annual Conference and Training Workshop - www.iceaaonline.com

 

Page4 

FTA project grantees are required to develop and submit several documents to communicate the characteristics of proposed projects.  The project cost estimate information is conveyed primarily by 3 documents: 

• Standard Cost Category (SCC) Workbook • Cost Estimate Data for SCC costs • Basis of Estimate Report / Memo 

These cost estimate documents are compared, by the PMOC, with other project documents such as design reports, specifications and drawings to determine the accuracy and precision of the project costs. 

STANDARD  COST  CATEGORY  WORKBOOK  

The FTA provides a structured format for grantees to submit project cost data known as the Standard Cost Category (SCC) workbook. The SCC format was implemented by FTA in 2005 to provide a consistent format for reporting estimated project costs (Federal Transit Administration, 2010b).  

The SCC format is a basic cost element structure (CES) comprised of ten primary cost categories, which are divided into additional sub‐categories (see Figure 3). 

• Guideway and Track Elements • Stations, Stops, Terminals • Support Facilities  • Sitework and Special Conditions • Systems  • Right of Way (ROW) • Vehicles  • Professional Services • Contingency • Project Finance Cost 

Presented at the 2011 ISPA/SCEA Joint Annual Conference and Training Workshop - www.iceaaonline.com

 

Page5 

 

Figure 3 ‐ SCC Workbook (Federal Transit Administration, 2010b). 

This reporting format has its limitations; however it provides a level of consistency in the cost estimating data submitted to FTA.   

BASIS  OF ESTIMATE    

The FTA suggests that grantees provide a written basis of estimate (BOE), additionally FTA provides a suggested format for this information (See: Appendix C: Grantee’s Memo Regarding Cost Estimating Methods).  The FTA basis of estimate suggestions misses the mark as the suggestions do not require the level of detail needed to analyze the project cost estimate. The BOE document should be a thorough detailed document that communicates the inner working of the cost estimate to such a degree that a third party could recreate the costs.   

Many experienced grantees go beyond the FTA Cost Basis Memo suggestions and provide supplemental information or formal BOE report outlining the cost estimate details. These grantees understand that providing detailed basis documents communicates information to the PMOC to draw conclusions from and leaves little room for assumptions and misinterpretations.  

 

Presented at the 2011 ISPA/SCEA Joint Annual Conference and Training Workshop - www.iceaaonline.com

 

Page6 

 

MEANS AND METHODS 

The means and methods for determining the validity of a cost estimate and providing data to FTA so an informed decision can be made regarding the project are comprised of several discrete steps outlined in Figure 4 below.  

 

Figure 4 ‐ PMOC Estimate Validation Process Map 

ESTIMATE CLASSIFICATION 

The project cost estimate is classified by the PMOC to determine the type of estimate (parametric, unit cost database, analogous, bottom‐up, etc.) and the means and methods used to calculate the costs. The PMOC analyzes the project cost submittals, such as, SCC workbook, cost basis, and cost estimating methodology, to determine the type of the cost estimation techniques employed. 

Many cost estimates developed in the early stages of transit projects are submitted for review, characterized as parametric estimates (i.e. developed using parametric methodologies), by the project grantee. However, during the initial classification of the estimate data, the cost estimates are determined to originate from analogous methodologies.   

Presented at the 2011 ISPA/SCEA Joint Annual Conference and Training Workshop - www.iceaaonline.com

 

Page7 

The result of the classification process yields the estimating methodologies used as one or a combination of the following: (1) Parametric, (2) Unit Cost Database, (3) Analogous, and (4) Bottom‐Up. The information gained from the estimate classification is used by the PMOC to determine the most effective review method and in the development of a sampling plan for the cost estimate elements.  

MECHANICAL CORRECTNESS  

The submitted cost estimates are subjected to several mechanical tests to determine the level of accuracy.  The mechanical check is a basic mathematical review of the dollar figures presented to determine: 

• Mathematical correctness in extended costs (e.g. 4 units at $100 each is totaled to $400). 

• All dollar values are correctly transferred from estimate basis documents to FTA Standard Cost Categories. 

• Electronic cost estimate basis document and SCC workbook are formulaically correct.  

The mechanical correctness check tests the most basic of cost estimation skills, where one would expect to find few if any errors. However, transit project estimates are generally complex and compiled from the work of several estimators of differing disciplines, which increases the opportunity for simple errors to occur.  

RECONCILIATION  OF  COST  DATA  

During the mechanical correctness check the PMOC will reconcile the SCC workbook and the cost estimate basis data to insure traceability.  This reconciliation exercise is important as the FTA recognizes the SCC workbook as the official project cost submittal. Thus the SCC workbook should accurately represent all of the expected costs to complete the project.  

ESTIMATE CHARACTERIZATION 

Once the type of estimate has been determined the estimate is divided into levels [FTA’s terminology] and the individual costs are characterized by sub‐type. This characterization process allows the PMOC to determine the degree of cost estimating effort expended by the grantee and the level of detail in the cost estimate basis.   

The FTA method uses a series of levels which, in essence, creates a matrix of cost sources based on the SCC workbook.  Vertical elements of the matrix are the traced source of the cost such as design drawings, specifications, project schedule, and contingency. The horizontal elements of 

Presented at the 2011 ISPA/SCEA Joint Annual Conference and Training Workshop - www.iceaaonline.com

 

Page8 

the matrix characterize the cost estimate line item calculation methods such as, bottom‐up unit cost, cost database, cost estimating relationship (CER), and allowances. 

Table 1 Primary characterization matrix (cost by source document) 

  Bottom Up Unit Cost 

Unit Cost Database 

CER  Allowance  TOTAL 

Drawings / Specifications 

         

Design Report           Schedule (escalation) 

         

Contingencies           TOTAL            

The estimate characterization matrix elements are purposely sequenced in a specific order both horizontally and vertically.  This ordering facilitates a cursory risk rating for the estimated aggregate costs. The area of highest risk is on the lower‐right, the area of lowest risk is on the upper‐left.  

Table 2 Primary characterization matrix (cost by source document) 

  Bottom Up Unit Cost 

Unit Cost Database 

CER  Allowance 

Drawings / Specifications Lowest Risk       

Design Report         

Schedule (escalation)         

Contingencies        Highest Risk 

Complex estimates are sometimes re‐characterized into a secondary format which indicates the source of costs by type.  This secondary characterization is most often used when comparing a contractor’s cost estimate to an established project budget. 

 

 

 

 

Presented at the 2011 ISPA/SCEA Joint Annual Conference and Training Workshop - www.iceaaonline.com

 

Page9 

Table 3 Secondary characterization matrix (cost by type) 

  Bottom Up Unit Cost 

Unit Cost Database 

CER  Allowance  TOTAL 

Direct Costs           Indirect Costs           Contingencies           Escalation           Inflation           Markups (OH+P) 

         

TOTAL            

Hybrid characterizations of project cost estimates are also common, as estimate submittals, may have complex detailed sections for near‐term activities, and sparsely detailed sections for long‐term activities.  

EXAMPLE  CHARACTERIZATION  

The sample data is from a project in the later phases of alternative analysis, where very few drawings existed and the estimate data was formulated from a unit cost database.  

 

Table 4 Sample Estimate Characterization 

Name  Bottom Up Unit Cost 

Unit Cost Database 

CER  Allowance  TOTAL 

Utility Relocation (UTL)        $6,041,200   $26,100,606  $32,141,806  Drawings / Specifications                Design Report / EIS           $19,178,412  $19,178,412  Indirect Costs           $6,922,194  $6,922,194  Contingencies        $6,041,200     $6,041,200  

Street Construction (STR)     $35,139,373  $8,806,709   $10,035,747  $53,981,828  Drawings / Specifications                Design Report / EIS     $26,096,306     $7,453,062  $33,549,367  Indirect Costs     $9,043,067     $2,582,685  $11,625,752  Contingencies        $8,806,709     $8,806,709  

Track Grade Construction (GRD)     $30,586,940  $6,058,377   $490,264  $37,135,581  Drawings / Specifications                Design Report / EIS     $22,715,435     $364,095  $23,079,530  Indirect Costs     $7,871,505     $126,169  $7,997,674  Contingencies        $6,058,377     $6,058,377  

As individual characterized cost components this data is of limited use beyond cost traceability.  When the data is aggregated into a summary table the level of estimating effort becomes apparent.  

 

Presented at the 2011 ISPA/SCEA Joint Annual Conference and Training Workshop - www.iceaaonline.com

 

Page10 

Name  Bottom Up Unit Cost 

Unit Cost Database 

CER  Allowance  TOTAL 

Totals  $0   $65,726,313  $20,906,286  $36,626,617  $123,259,215  Drawings / Specifications  $0   $0  $0  $0  $0  Design Report / EIS  $0   $48,811,741  $0  $26,995,569  $75,807,309  Indirect Costs  $0   $16,914,572  $0  $9,631,048  $26,545,620  Contingencies  $0   $0  $20,906,286  $0  $20,906,286  

The aggregate data indicates:  

Estimate composition:  

• Unit Cost Database       53.3%  • Cost Estimating Relationship    17.0% • Allowances         29.7% 

 Sources of cost elements: 

• Drawings / Specs       0.0%  • Design Report        61.5% • Indirect Costs        21.5% • Contingencies       17.0% 

Overall the data from the example indicates that the cost estimate was 

• Primarily based on the design report documents;  • drawings and specifications were not used in calculating the cost; • indirect costs were accounted for • the contingencies total less than 20% of the cost • half of the estimated costs by dollars were derived from a database 

The characterization of the cost estimate line items is helpful in determining the level of estimating effort performed and the most effective review methods for the PMOC to employ. For example, when the project in the example was reviewed, the primary analysis focused on the validity of the unit cost database and the cost estimator’s methodologies for applying these costs.  Alternately, if the characterization indicated the majority of the costs were from a definitive cost estimate, the PMOC would focus on the unit cost basis and pricing development. 

SAMPLING PLAN  

The PMOC has to develop an approach to reviewing the project cost data, which takes into account the volume of cost data for the project.  For example if a project has a 30,000 line item estimate with several hundred cost sources the PMOC may propose sampling 1% of the cost line items for review.  The PMOC uses expert judgment to select an optimum sampling method that allows for sufficient cost review.  The PMOC proposes an approach to reviewing the project 

Presented at the 2011 ISPA/SCEA Joint Annual Conference and Training Workshop - www.iceaaonline.com

 

Page11 

cost estimate that, regardless of the level of development of the estimate, will provide FTA with reliable findings and recommendations (Federal Transit Administration, 2009).  

The PMOC develops this plan from the cost estimate classification and characterization data. The plan includes a description of the level of sampling of the estimate line items, and identifies the sources of costs to be reviewed including third parties, market forces, sequencing options, etc. This plan is then communicated to FTA as part of the PMOC reporting procedures and becomes a basis for the PMOC cost review. 

PROJECT COST REVIEW 

The FTA process for validating project cost estimates involves a number of common tasks; regardless of cost estimate type (Parametric, Analogous, Bottom‐up, etc.).  

• Correspondence between the Cost Estimate and Scope  • Comparison to Industry Standard Costs • Comparison of costs to FTA Database  

CORRESPONDENCE WITH  SCOPE  REVIEW  

The project cost estimate is only as valid as the level of congruence to the scope of the project. Projects in the early phases of development may have a limited description of the project scope. However, the cost estimator must insure that each project element is accounted for with an accurate cost.  

The cost estimate data needs to be sampled and then cross checked with drawings and specifications.  Additionally the PMOC needs to review the scope described in the design reports to insure a cost exists for each project scope element.  

COMPARISON  OF  COST  TO  INDUSTRY  STANDARDS  

The sampled costs from the project cost estimate are reviewed against industry standard costs to determine the overall dollar value accuracy. While there are many sources for industry standard costs the most popular sources of information for FTA reviews are:  

• Engineering News Record (ENR)  o ENR publishes both a Construction Cost Index with a complete history of the 20‐

city national average. This index provides both material and labor components (Engineering News‐Record, 2011).  

• Bureau of Labor and Statistics (BLS)  o Bureau of Labor and Statistics gathers more than 9,000 Producer Price Indexes 

(PPI) for individual products and groups of products are released each month. 

Presented at the 2011 ISPA/SCEA Joint Annual Conference and Training Workshop - www.iceaaonline.com

 

Page12 

PPIs are available for the products of virtually every industry in the mining and manufacturing sectors of the U.S. economy (Bureau of Labor Statistics, 2011).  

• RSMeans  o RSMeans models and databases for uniform construction design and corporate‐

wide construction budgeting. Cost modeling accuracy is within 93 percent of actual cost and useful for third party validation, negotiating contractor's bids and monitoring as‐built costs (RS Means, 2011).  

Using these type of data sources the PMOC reviews the cost (based on the sampling plan) to insure the project unit costs are within an acceptable range for the level of design.  Costs that are outside the acceptable range are noted and any potential cost differential is calculated.  The aggregate potential cost differential is extrapolated statistically based on the sample size and population for reporting purposes.  

FTA’S  PROJECT  COST  DATABASE  

The FTA developed a cost database for use in (1) performing cost analysis based on historic costs, and (2) developing order‐of‐magnitude cost estimates in the conceptual project phase.  

Capital Cost Database is a Microsoft Access database of as‐built costs for 35, federally‐funded, Light Rail and Heavy Rail projects. The projects’ costs are tracked in FTA’s Standard Cost Categories (SCC) and the project costs have been validated by the project sponsors (Federal Transit Administration, 2010a). 

The PMOC uses the cost database to assess and evaluate the project cost estimate, specifically identifying variances in unit costs and quantities from database average costs for similar projects. Note: the cost database outputs are in the SCC CES format, thus the comparisons are only made to  aggregate costs in the project SCC workbook (Federal Transit Administration, 2009). 

REVIEW  OF  PARAMETRIC  ESTIMATES  

Reviewing / validating a parametric estimate, according to ISPA (2008), is based on review of three distinct areas 

• Policies and Procedures – which control the estimate development • Data Collection and Analysis – methods for collecting data • Means and Methods – methods used to develop costs 

FTA ACCOMMODATIONS FOR PARAMETRIC ESTIMATES 

Presented at the 2011 ISPA/SCEA Joint Annual Conference and Training Workshop - www.iceaaonline.com

 

Page13 

The FTA recognizes that parametric and unit cost database estimates are widely used for early phase estimates. When the Oversight Procedures (OP) were developed for the 2009 PMOC Services Contract accommodations were formally made for the basic review of parametric cost estimates. However, no accommodations were made for unit cost database or analogous methodology estimates, which are more common than the parametric methodology estimates in the transit industry. 

FTA OPERATING PROCEDURE 33 REVIEW OF PARAMETRIC ESTIMATES 

The PMOC is directed by FTA in the Operating Procedure to review the parametric estimate of project cost and make the following determinations (Federal Transit Administration, 2009):  

• Identifies the key input drivers and explains the relative impact on the estimate;  • [That the estimate] Adequately provides and supports the data and inputs used in 

calibration;  • Demonstrates that the [parametric cost] model utilizes historical costs that are 

calibrated to current conditions within a reasonable degree of accuracy;  • [The estimate basis] Explains any adjustments to the model or to the key inputs, and 

provides adequate rationale for such adjustments;  • Demonstrates that the calibrated [parametric cost] model produces reliable estimates in 

comparison to some other benchmark (e.g., actual costs, comparative estimates).  

The PMOC performs its evaluation through the use of the International Society of Parametric Analysts (ISPA) parametric estimating checklists (International Society of Parametric Analysts [ISPA], 2008). A questionnaire based on an adaptation of this checklist is found in Appendix B. Using the checklists as a guideline the PMOC can determine, through workshops and written correspondence, the methods employed by the grantee’s project cost estimator.  

The information gained from the questionnaire is used in conjunction with other cost estimate findings to substantiate the means and methods employed by the grantees. This information helps the PMOC justify the grantee’s processes for developing cost estimates and, by extension, justify a level of confidence or lack therein of the grantees costs.  

This process can be subjective and relies on the PMOC’s professional judgment and experience to produce findings. The PMOC has to guard against introducing biases during this process to achieve valid results. 

SPECIAL  CONSIDERATIONS    

WORKING WITH LIMITED DATA 

Presented at the 2011 ISPA/SCEA Joint Annual Conference and Training Workshop - www.iceaaonline.com

 

Page14 

In some cases the grantee has a very limited database of costs that the estimators are working from.  When cost databases are assembled from a limited price pool (e.g. using only a few projects) the statistical margin of error is increased.  Having an exhaustive accurate database is the foundation for an accurate parametric or unit cost database estimate (International Society of Parametric Analysts [ISPA], 2008). 

The importance of population size and number of samples is sometimes misunderstood and a group of 3 to 5 projects are used by a grantee to form a database of costs. This leads to a substantial margin of error when parametric methodologies are applied.  In cases such as this the PMOC will recommend the grantee produce a cost estimate by other means such as analogous or bottom‐up estimating methods.  

PROPRIETARY DATA 

Cost estimators are sometimes very protective of their data. A cost estimator that has gathered 15 years worth of data into a unit cost database or parametric cost system, treats the data as if it is their baby and guards the data carefully.  During the estimate validation process this becomes an issue as the PMOC needs to validate certain cost figures and the development of those cost figures, which requires in‐depth analysis.  

This situation can be problematic for the PMOC, however if the database review process is done in a workshop setting the protective grantee cost estimators are fairly receptive. For example the PMOC may hold an onsite workshop which allows the grantee to demonstrate the data validity of the database without having to transmit details of the data to the PMOC. This alleviates much of the stress and anxiety for the owner of the proprietary cost data as the data remains secure.   

Presented at the 2011 ISPA/SCEA Joint Annual Conference and Training Workshop - www.iceaaonline.com

 

Page15 

 

CONCLUSION 

The FTA has evolved its cost estimating review process in recent years to include the recognition of parametric estimating techniques. While analysis of parametric estimates is not a new concept for federal projects, recognition of parametric techniques and review methods have not been universal within the federal agencies. The FTA made several proactive efforts to formalize its cost review process and will likely continue this trend.  

 

Presented at the 2011 ISPA/SCEA Joint Annual Conference and Training Workshop - www.iceaaonline.com

 

Page16 

 

APPENDIX A: ACRONYMS 

 

BLS   Bureau of Labor and Statistics BOE   Basis of Estimate CER  Cost Estimating Relationship CES  Cost Element Structure DOT   Department of Transportation ENR  Engineering News‐Record FAA  Federal Aviation Administration FTA   Federal Transit Administration ISPA  International Society of Parametric Analysts OP   Operating Procedure PMOC  Project Management Oversight Contractor PPI   Producer Price Index ROW  Right of Way SCC  Standard Cost Category WBS  Work Breakdown Structure 

 

Presented at the 2011 ISPA/SCEA Joint Annual Conference and Training Workshop - www.iceaaonline.com

 

Page17 

 

APPENDIX B: ADAPTATION OF THE ISPA ESTIMATE  CHECKLIST 

General Policies and Procedures 

Assessment Criteria  Yes  No Does the Grantee have adequate estimating policies and procedures that address proper implementation of parametric techniques? 

   

Do the established policies and procedures contain guidance for: • Appropriate use of parametric techniques? • Performing internal reviews to assess compliance with estimating 

policies and procedures, as well as consistency in estimating practices?  

• Complying with relevant Government procurement laws and regulations? 

   

Data collection and Analysis 

Assessment Criteria  Yes  No Has the Grantee established a process for collecting and analyzing relevant cost and non‐cost (e.g., technical information) data on a periodic basis? 

   

Does the Grantee use a consistent format (e.g., work breakdown structure) for collecting cost and non‐cost data? 

   

Is data accumulated in a manner consistent with the Grantee’s estimating practices? 

   

Does the Grantee identify and examine any data anomalies?     

Special Considerations Related to Cost Estimating Relationships (CERs) 

Assessment Criteria  Yes  No Does the Grantee demonstrate the ability to establish valid CERs that are reliable and credible predictors of cost? 

   

Presented at the 2011 ISPA/SCEA Joint Annual Conference and Training Workshop - www.iceaaonline.com

 

Page18 

Assessment Criteria  Yes  No Does the Grantee’s procedures for implementing valid CERs include: 

• Ensuring data relationships are logical? • Various alternatives (i.e., cost drivers) are considered • Cost drivers selected are good predictors of cost • Ensuring databases are credible? • Data are current, accurate, and complete • Data are appropriately analyzed and normalized • Any adjustments are logical, reasonable, and verifiable • Demonstration that the data relationships are strong? • Analytical tests are used to evaluate strengths • Evidence that non‐quantitative information was also considered? • Materiality of cost being estimated • Quality of alternate estimating techniques 

   

Does the Grantee maintain documentation that includes mathematical formulas; independent and dependent variables; statistical analysis results (or other analytical test results if appropriate); and other data used to demonstrate the CERs validity? Are updating policies and procedures established that contain guidance related to: 

• Identifying significant data outside the normal update schedule for analysis, to determine if an out‐of‐period update is needed? 

• Identifying and incorporating savings associated with new ways of doing business (e.g., technology changes, single process initiatives, software process improvements)? 

   

Are monitoring processes established to ensure CERs remain reliable predictors? 

   

Are procedures in place to ensure that CERs are used appropriately in proposals? 

   

When Forward Pricing Rate Agreements (FPRAs) are established do they contain definitions of all variables; tracking requirements; and appropriate applications for the CERs? 

   

 

 

Presented at the 2011 ISPA/SCEA Joint Annual Conference and Training Workshop - www.iceaaonline.com

 

Page19 

 

APPENDIX C: GRANTEE’S MEMO REGARDING COST ESTIMATING METHODS  

The PMOC shall review the Grantee’s memo or report regarding its cost estimating approach. The memo should be developed by the Grantee as part of its alternatives analysis work and updated with each subsequent estimating effort. The memo or report outline should be as follows:  

• Introduction to the project  • Estimating Methodology – Describe the general approach to defining and quantifying 

the project capital cost estimate;  • Sources of Cost Data – Define the nature and sources for cost data used in the 

preparation of the estimate;  • Cost Estimating Assumptions –  • Allocated Contingency  • Unallocated Contingency  • Estimating Procedures – If multiple parties are estimating parts of the project, this 

memo should help to ensure consistency of approach. i) Bottom Up and Top Down Approaches (e.g. at Entry to PE, it could be reasonable to use Bottom Up estimating approach for Guideway, Stations, Support Facilities; and Top Down estimating approach for Sitework, Systems, ROW Land Existing Improvements, Vehicles)  

• Facilities (Guideway, Stations, Support Facilities) Costing Procedures for typical vs. non‐typical components  

• Organization and Management of Cost Data (by segment elements; project‐wide elements)  

• Estimate Limitations – Describe perceived or known uncertainties, as well as unknowns that could lead to changes in the estimate due to changes in project scope and design standards, incorrect unit cost or quantity assumptions, and unforeseen problems in implementation.  

• Tracking Costs – Describe how capital costs in the SCC format will be tracked through construction, revenue operations, etc. (e.g. provision in Division 1 requiring contractor to submit SCC update with monthly pay application). FTA requires that costs be tracked in the SCC format through construction, revenue operations and through two years post‐revenue operations to document contract closeout and the “after” point for the Before and After Study.  

 

 

 

 

Presented at the 2011 ISPA/SCEA Joint Annual Conference and Training Workshop - www.iceaaonline.com

 

Page20 

REFERENCES 

Bureau of Labor Statistics. (2011). Producer Price Index.   Retrieved March 9, 2011, from http://www.bls.gov/news.release/ppi.toc.htm 

Engineering News‐Record. (2011). Construction Cost Index.   Retrieved March 9, 2011, from http://enr.construction.com/economics/ 

Federal Transit Administration. (2003). Project & Construction ‐ Management Guidelines. Washington, D.C. : U.S. Department of Transportation. 

Federal Transit Administration. (2009). Project Management Oversight Procedure 33 – Capital Cost Estimate Review. Washington, D.C.: U.S. Department of Transportation. 

Federal Transit Administration. (2010a). Capitol Cost Database.   Retrieved March 11, 2011, from http://www.fta.dot.gov/planning/newstarts/planning_environment_11951.html 

Federal Transit Administration. (2010b, June 10). Standard Cost Categories (SCC) for Capital Projects.   Retrieved March 2, 2011, from http://www.fta.dot.gov/funding/grants_financing_2580.html 

International Society of Parametric Analysts [ISPA]. (2008). Parametric Estimating Handbook (4th ed.). Vienna, VA: International Society of Parametric Analysts. 

Project Management Institute. (2008). A Guide to The Project Management Body of Knowledge (4th ed.). Newtown Square, PA: Project Management Institute. 

RS Means. (2011). Predictive Cost Models.   Retrieved March 9, 2011, from http://www.rsmeans.com/consulting/WP_predictive.asp 

 

 

Presented at the 2011 ISPA/SCEA Joint Annual Conference and Training Workshop - www.iceaaonline.com