AAiT, Mechanical Engineering Department 

Course Objective The course introduces :

Understanding of principles and possibilities of optimization in Engineering and in particular in designUnderstand how to formulate an optimum design problem by identifying critical elementsknowledge of optimization algorithms, ability to choose proper algorithm for given problemPractical experience with optimization algorithmsPractical experience in application of optimization to design problems

Course outlineChapter 1: Introduction to Engineering Optimization of Design

Introduction: Historical background, Definition of terms, Basic concepts, Classification  of optimizations  problems , Applications :  Design optimization,  benefits of optimization, automated design optimization, when to use optimization, examples 

Chapter 2: Optimum Design FormulationDesign models, Mathematical models, Defining optimization problem, Multi objective design problems, applications of optimization in design

Chapter 3 Classical Optimization techniquesSingle variable optimizationMultivariable optimization with equality and inequality constraints

Chapter 4: One dimensional  unconstrained optimization techniquesElimination methods: Exhaustive search, Interval halving method, Fibonacci Method, Golden Section method.Interpolation methods: quadratic interpolation, cubic interpolationDirect root methods:  Newton's method, Quasi ‐Newton method, Secant method

Course outlineChapter  5: Unconstrained Optimization  techniques 

Direct search methods: Random search , Grid search Method, Powell method Indirect search(Descent) methods: Steepest descent (Cauchy) method, Conjugate gradient (Fletcher‐Reeves) method, Newton’s method, Unconstrained optimization using Matlab

Chapter 6: Constrained Optimization techniques Direct search methods: Random search, complex search Method, Quadratic programming Indirect methods: Penalty function method, Lagrange multiplier methodConstrained optimization using Matlab

Chapter 7:  Dynamic Programming Introduction , Multistage decision processes, Applications of dynamic programming .

Chapter 8: Genetic Algorithm based Optimization Introduction to Genetic Algorithm , Applications of GA based optimization techniques , GA based Optimization using Matlab

Reference Materials1. S.S. Rao, Engineering Optimization, 3rd edition, Wiley Eastern, 20092. Papalambros and  Wilde, Principle of optimal Design, modeling and 

computation, Cambridge University press, 2000 3. Kalyanmoy Deb,  Engineering Design for optimization, PHI, 20054. Fred van Keulen and Matthiis Langelaar, Lecture note s in Engineering 

Optimization, Technical University of Delft5. Ravindran, Ragsdell and Rekalaitis, Engineering Optimization Methods and 

application, 2nd edition, Willey,20066. Arora, Introduction to Optimum design, 2nd edition, Elsevier Academic Press, 

20047. Forst and Hoffmann, Optimization theory and practice, Springer , 20108. Haftka and Gurdal, Elements of Structural Optimization, 3rd edition, Kluwer

academic, 19919. Belegundu and Chandrupatla, Optimization concepts and applications in 

Engineering, 2nd edition, Cambridge University press, 201110. Kalyanmoy Deb, Multi‐objective Optimization using Evolutionary 

Algorithms, Wiley, 200211. Bendose, Sigmund, Topology optimization theory and methods and 

applications, Springer, 2003

Prerequisites Mathematical and Computer background needed to understand the course:Familiarity with linear algebra (vector and matrix operations) andbasic calculus is essential and Calculus of functions of single and multiple variables must also be understoodFamiliarity with Matlab and EXCEL  is also essential

Lecture outline IntroductionHistorical perspectiveWhat can be achieved by optimization?Optimization of the design processBasic terminology,  notations, and definitionsEngineering optimization Popularity and pitfalls of optimizationClassification of optimization  problems Design optimization Benefits of design optimization Automated design optimizationExamples

IntroductionOptimization is derived from the Latin word “optimus”, the best.Thus optimization focuses on 

● “Making things better” 

● “Generating more profit”

● “Determining the best”

● “Do more with less ”

The determination of values for design variables which minimize (maximize) the objective, while satisfying all constraints

IntroductionOptimization is defined as a mathematical process of obtaining the set of conditions to produce the maximum or the minimum value of a function

It is ideal to obtain the perfect solution to a design situation. 

Usually all of us must always work within the constraints of the time and funds available, we can only hope for the best solution possible.

Optimization is simply a technique that aids in decision making but does not replace sound judgment and technical know‐how

Historical perspectiveAncient Greek philosophers: geometrical optimization problems

Zenodorus, 200 B.C.:“A sphere encloses the greatestvolume for a given surface area

Newton, Leibniz, Bernoulli, De l’Hospital (1697): “Brachistochrone Problem”:

Historical perspectivePeople have been “optimizing” forever, but the roots for modern day optimization can be traced to the Second World War. Ancient Greek philosophers: geometrical optimization problems

Zenodorus, 200 B.C.:“A sphere encloses the greatestvolume for a given surface area”

Newton, Leibniz, Bernoulli, De l’Hospital (1697): “Brachistochrone Problem”:Lagrange (1750): constrained minimizationCauchy (1847): steepest descentDantzig (1947): Simplex method (LP)Kuhn, Tucker (1951): optimality conditionsKarmakar (1984): interior point method (LP)Bendsoe, Kikuchi (1988): topology optimization

Historical perspectiveOne of the first problems posed in the calculus of variations.Galileo considered the problem in 1638, but his answer wasincorrect.Johann Bernoulli posed the problem in 1696 to a group ofelite mathematicians:

I, Johann Bernoulli... hope to gain the gratitude of the whole scientific community by placing before the finest mathematicians of our time a problem which will test their methods and the strength of their intellect. If someone communicates to me the solution of the proposed problem, I shall publicly declare him worthy of praise.

Newton solved the problem the very next day, but proclaimed I do not love to be dunned [pestered] and teased by foreigners about mathematical things."

What can be achieved by optimization ?

Optimization techniques can be used for:Getting a design/system to workReaching the optimal performanceMaking a design/system reliable and robust

Also provide insight inDesign problemUnderlying physicsModel weaknesses

What can be achieved by optimization ?Engineering design is to create artifacts to perform desired functions under given constraintsCommon goals for engineering designFunctionality

Better performance: More efficient or effective ways to execute tasksMultiple functions: Capabilities to execute two or more tasks simultaneously

ValueHigher perceived value: More features with less priceLower total cost: Same or better ownership and sustainability with lower cost

Basic Terminology, notations and definitionsRn n‐dimensional Euclidean (real) space x column vector of variables, a point in Rn

x=[x1,x2,…..,xn]T

f(x), f objective function x* local optimizerf(x*) optimum function value gj(x), gj jth equality constraint function g(x) vector of inequality constrainthj(x), hj jth equality constraint functionh(h(x) vector of equality constraint function C1 set of continuous differentiable functionsC2 set of continuous and twice differentiable differentiable

continuous functions

Norm/Length of a vectorIf we let x and y be two n‐dimensional vectors, then their dot product is defined as

Thus, the dot product is a sum of the product of  corresponding elements of the vectors x and y. Two vectors are said to be orthogonal (normal) if their dot product is zero, i.e., x and y are orthogonal if x ∙ y =0.If the vectors are not orthogonal, the angle between them can be calculated from the definition of the dot product:

where θ is the angle between vectors x and y, and ||x|| represents the length of the vector x.  This is also called the norm of the vector

Norm/Length of a vectorThe length of a vector x is defined as the square root of the sum of squares of the components, i.e.,

The double sum of Eq. (1.11) can be written in the matrix form as follows

Since Ax represents a vector, the triple product of the above Eq. will be also written as a dot product:

Basic Terminology and notations Design variables

Parameters whose numerical values are to be determined to achieve the optimum design.

They include such values such as; size or weight, or the number of teeth in a gear, coils in a spring, or tubes in a heat exchanger, or etc.

Design parameters represent any number of variables the may be required to quantify or completely describe an engineering system.

The number of variables depends upon the type of design involved. As this number increases, so does the complexity of the solution to the design problems.

Basic Terminology and notations ConstraintsNumerical values of identified conditions that must be satisfied to achieve a feasible solution to a given problem.External constraints

Uncontrolled restrictions or specifications imposed on a system by an outside agency.Ex.: Laws and regulations set by governmental agencies, allowable materials for house construction

Internal constraintsRestrictions imposed by the designer with a keen understanding of the physical system.Ex.: Fundamental laws of conservation of mass, momentum, and energy

What is mathematical/Engineering Optimization ? Mathematical optimization is the process of 1. The formulation and 2. The solution of a constrained optimization problem of the 

general mathematical form Minimize  f(x), x =[x1,x2,…,xn]T  Єsubject to constraints 

gj(x) ≤ 0, j=1,2, … , mhj(x) = 0, j=1, 2, …. ,r

Where f(x), gj(x) and hj(x) are scalar functions of the real column vectorThe continuous components of xi of x =[x1,x2,…, xn]T  are called  the (design) variables f(x) is the objective function, gj(x) denotes the respective inequality constraints, and hj(x) the equality constraint function

What is mathematical/Engineering Optimization ? The optimum vector x that solves the formerly defined problem is denoted by x* with the corresponding optimum function value f(x*). 

If no constraints are specified, the problem is called an unconstrained minimization problem

Other names of Mathematical Optimization 

Mathematical programming Numerical  optimization 

Objective and Constraint functions The values of the functions f(x),  gj(x),  hj(x) at any point x = [x1,x2,…, xn]T gj(x), may in practise be obtained in different ways 

i. From analytically known formulae, e.g., f(x)= x12 + 2x22+Sin x3

ii. As the outcome of some complicated computational process e.g., g1(x) = a(x) –amax, where a(x) is the stress, computed by means of a finite element analysis, at some point in structure, the design of which is specified by x; or 

iii. From measurement taken of a physical process, e.g., h1(x)= T(x)‐To, where T(x) is the temperature measured at some specified point in a reactor, and x is the vector of operational settings.

Elements of optimization•Design space–The total region or domain defined by the design variables in the objective functions–Usually limited by constraints•The use of constraints is especially important in restricting the region where optimal values of the design variables can be searched.

Unbounded design spaceNot limited by constraintsNo acceptable solutions

Optimization in the design process

Conventional design process:

Collect data to describe the system

Estimate initial design

Analyze the system

Check performance criteria

Is design satisfactory?

Change design based on experience / heuristics / 

wild guesses

Done

Optimization‐based design process:

Collect data to describe the system

Estimate initial design

Analyze the system

Check the constraints

Does the design satisfy convergence criteria?

Change the design using an optimization method

Done

Identify:1. Design variables2. Objective function3. Constraints

Optimization in the design processIs there one aircraft which is the fastest, most efficient, quietest, most  inexpensive?

“You can only make one thing best at a time.”

Optimization Methods

Comparison of Conventional and Optimal DesignThe CD  process involves the use of information gathered from one or more trial designs together with the designer’s experience an intuitionIts advantage is that the designer’s experience and intuition can be used in making conceptual changes in the system or to make additional specifications in the procedureThe CD process can lead to uneconomical designs and can involve a lot of calendar time.

The OD process forces the designer to identify explicitly a set of design variables, an objective function to be optimized, and the constraint functions for the system. This rigorous formulation of the design problem helps the designer gain a better understanding of the problem. Proper mathematical formulation of the design problem is a key to good solutions.

Optimization popularityIncreasingly popular:Increasing availability of numerical modeling techniques

Increasing availability of cheap computer power

Increased competition, global markets

Better and more powerful optimization techniques

Increasingly expensive production processes (trial‐and‐error approach too expensive)

More engineers having optimization knowledge

Optimization pitfalls!Proper problem formulation critical!Choosing the right algorithmfor a given problemMany algorithms contain lots of control parameters Optimization tends to exploit weaknesses in modelsOptimization can result in very sensitive designsSome problems are simply too hard / large / expensive

Structural optimizationStructural optimization = optimization techniques applied to structuresDifferent categories:

Sizing optimizationMaterial optimizationShape optimizationTopology optimization

t

E, ν R

r

L

h

Structural optimizationInegrated optimal design of a vehicle roadarm. 

a) Initial Finite ElementModel, b) topology optimized road arm, c) reconstructed solid model, d) Finite Element mesh for shape design e) Von Mises stress of the shape optimized design and f) comparison of the 3D Roadarm before and after shape design 

Sizing optimizationIn a typical sizing problem the goal may be to find the optimal thickness distribution of a linearly elastic plate or the optimal member areas in a truss structure. 

The optimal thickness distribution minimizes (or maximizes) a physical quantity such as the mean compliance (external work), peak stress, deflection, etc. while equilibrium and other constraints on the state and design variables are satisfied. 

The design variable is the thickness of the plate and the state variable may be its deflection.

Shape optimization Shape optimization is part of the field of  optimal control  theory. 

The typical problem is to find the  shape which is optimal in that it minimizes a certain cost functional while satisfying given constraints.

In many cases, the functional being solved depends on the solution of a given partial differential equation defined on the variable domain.

Shape optimization 

Yamaha R1

Topology optimizationTopology optimization is, in addition, concerned with the number of connected components/boundaries belonging to the domain.  Such us determination of features such as the number and location and shape of holes and the connectivity of the domain.

Such methods are needed since typically shape optimization methods work in a subset of allowable shapes which have fixed topological properties, such as having a fixed number of holes in them. 

Topological optimization techniques can then help work around the limitations of pure shape optimization.

Topology optimizationTopology optimizationis a mathematical approach that optimizes material layout within a given design space, for a given set of loads and boundary conditions such that the resulting layout meets a prescribed set of performance targets.

Using topology optimization, engineers can find the best concept design that meets the design requirements

Topology optimization examples

Why Design Optimization ?

Design Complexity

Classifications Problems:

Constrained vs. unconstrainedSingle level vs. multilevelSingle objective vs. multi‐objectiveDeterministic vs. stochastic

Responses:Linear vs. nonlinearConvex vs. nonconvexSmooth vs. nonsmooth

Variables:Continuous vs. discrete (integer, ordered, non‐ordered)

Typical Design Process

Initial Design Concept

Specific Design Candidate

Build Analysis Model(s)

Execute the Analyses

Design Requirements Met?

Final Design

Yes

No

ModifyDesign

(Intuition)

Time

Money

Intellectual Capital

HEEDS

$

HEEDS (Hierarchical Evolutionary Engineering Design System)

A General Optimization Solution

Automotive Civil Infrastructure

Biomedical                       Aerospace

Automated Design Optimization

Create Parameterized Baseline Model

Create HEEDS Design Model

Execute HEEDS Optimization

Plan Design Study

Basic Procedure:

Automated Design Optimization

Identify: Objective(s)ConstraintsDesign VariablesAnalysis Methods

Note: These definitions affect subsequent steps

Create Parameterized Baseline Model

Create HEEDS Design Model

Execute HEEDS Optimization

Plan Design Study

Automated Design Optimization

Input File(s)

Execute Solver(s)

Output File(s)

Validate Model

Create CAD/CAE Models for a Representative Design

Create Parameterized Baseline Model

Create HEEDS Design Model

Execute HEEDS Optimization

Plan Design Study

Automated Design Optimization

Define Input Files and Output Files

Define Design Variables and Responses

Define Objectives, Constraints, and Search 

Method

Tag Variables in Input Files and 

Responses in Output Files

Define Batch Execution Commands for Solvers

Create Parameterized Baseline Model

Create HEEDS Design Model

Execute HEEDS Optimization

Plan Design Study

Automated Design Optimization

Create Parameterized Baseline Model

Create HEEDS Design Model

Execute HEEDS Optimization

Plan Design Study Modify Variables in Input File

Execute Solver in Batch Mode

Extract Results from Output File

Optimized Design(s)

Yes

NewDesign(HEEDS)

NoConverged?

CAE Portals

“When”

“What”

“Where”

Tangible Benefits*Crash rails: 100% increase in energy absorbed

20% reduction in mass

Composite wing: 80% increase in buckling load15% increase in stiffness

Bumper: 20% reduction in masswith equivalent performance

Coronary stent: 50% reduction in strain

* Percentages relative to best designs found by experienced engineers

Return on Investment

• Reduced Design Costs• Time, labor, prototypes, tooling• Reinvest savings in future innovation projects

• Reduced Warranty Costs• Higher quality designs• Greater customer satisfaction

• Increased Competitive Advantage• Innovative designs• Faster to market• Savings on material, manufacturing, mass, etc.

• Suggests material placement or layout based on load path efficiency

• Maximizes stiffness

• Conceptual design tool

• Uses Abaqus Standard FEA solver

Topology Optimization

When to Use Topology Optimization

Early in the design cycle to find shape conceptsTo suggest regions for mass reduction Topology optimization

Design of Experiments

• Determine how variables affect the response of a particular design

Design sensitivities

• Build models relating the response to the variables

Surrogate models,     response surface models

B

A

When to Use Design of Experiments

• Following optimization

• To identify parameters that cause greatest variation in your design

Parameter OptimizationMinimize (or maximize): F(x1,x2,…,xn)

such that: Gi(x1,x2,…,xn) < 0,   i=1,2,…,pHj(x1,x2,…,xn) = 0,  j=1,2,…,q

where: (x1,x2,…,xn) are the n design variablesF(x1,x2,…,xn) is the objective (performance) 

functionGi(x1,x2,…,xn) are the p inequality constraintsHj(x1,x2,…,xn) are the q equality constraints

Parameter OptimizationObjective:Search the performance design landscape to find the highest peak or lowest valley within the feasible range 

• Typically don’t know the nature  of surface before search begins

• Search algorithm choice depends on type of design landscape

• Local searches may yield only incremental improvement

• Number of parameters may be large

Selecting an Optimization Method

Design Space depends on:

• Number, type and range   of variables and responses

• Objectives and constraints

Gradient‐Based

Simplex

Simulated Annealing

Response Surface

Genetic Algorithm

Evolutionary Strategy

Etc.

Design Optimization Procedure Using ANSYSThe optimization module (OPT) is an integral part of the ANSYS program that can be employed to determine the optimum design. 

While working towards an optimum design, the ANSYS optimization routines employ three types of variables that characterize the design process: 

design variables, 

state variables, and

the objective function. 

These variables are represented by scalar parameters in ANSYS Parametric Design Language (APDL). The use of APDL is an essential step in the optimization process. 

The independent variables in an optimization analysis are the design variables. 

Design Optimization Procedure Using ANSYSOrganize ANSYS procedure into two files:Optimization file—describes optimization variables, and trigger the optimization runs.Analysis file—constructs, analyses, and post‐processes the model.Typical Commands in an Optimization File

01020304050607080910111213

/CLEAR ! Clear model database

... ! Initialize design variables/INPUT, ... ! Execute analysis file once

/OPT ! Enter optimization phaseOPCLEAR ! Clear optimization databaseOPVAR, ... ! Declare design variablesOPVAR, ... ! Declare state variablesOPVAR, ... ! Declare objective functionOPTYPE, ... ! Select optimization methodOPANL, ... ! Specify analysis file nameOPEXE ! Execute optimization runOPLIST, ... ! Summarize the results... ! Further examining results

Design Optimization Procedure Using ANSYS

010203040506070809101112

/PREP7

... ! Build the model using the! parameterized design variables

FINISH/SOLUTION

... ! Apply loads and solveFINISH

/POST1 ! or /POST26

*GET, ... ! Retrieve values for state variables*GET, ... ! Retrieve value for objective

function

... FINISH

Typical Commands in an Analysis File

Design Optimization Procedure Using ANSYSANSYS Optimization AlgorithmsTwo built‐in algorithms in ANSYS:First order methodSub problem approximation method (Zero order method)

Other Optimization Tools Provided by ANSYSSingle Iteration Design ToolRandom Design ToolGradient ToolSweep ToolFactorial Tool

Summary

Design variables: variables with which the design problem is parameterized:Objective: quantity that is to be minimized (maximized)Usually denoted by:( “cost function”)Constraint: condition that has to be satisfied

Inequality constraint:Equality constraint:

( ) 0g ≤x( ) 0h =x

( )f x

( )1 2, , , nx x x=x K

SummaryGeneral form of optimization problem:

( )xxx

xxhxg

xx

≤≤

ℜ⊆∈

=≤

nX

f

0)(0)(

)(

:to subject

min

SummaryOptimization problems are typically solved using an iterative algorithm:

Model

Optimizer

Designvariables

Constants Responses

Derivatives ofresponses(design sensi‐tivities)

hgf ,,

iii xh

xg

xf

∂∂

∂∂

∂∂ ,,

x