1 Finite Population Inference for the Mean from a Bayesian Perspective Edward J. Stanek III Department of Public Health University of Massachusetts Amherst,

1

Finite Population Inference for the Mean from

a Bayesian Perspective

Edward J. Stanek IIIDepartment of Public HealthUniversity of Massachusetts

Amherst, MA

2

Collaborators

Parimal Mukhopadhyay, Indian Statistics Institute, Kolkata, IndiaViviana Lencina, Facultad de Ciencias Economicas, Universidad Nacional de Tucumán, CONICET, ArgentinaLuz Mery Gonzalez, Departamentao de Estadística, Universidad Nacional

de Colombia, Bogotá, ColombiaJulio Singer, Departamento de Estatística, Universidade de São Paulo, BrazilWenjun Li, Department of Behavioral Medicine, UMASS Medical School,

Worcester, MARongheng Li, Shuli Yu, Guoshu Yuan, Ruitao Zhang, Faculty and Students

in the Biostatistics Program, UMASS, Amherst

3

Outline

• Guessing the Finite Population Mean using Bayesian Methods: 1. General Idea of Labels and Response2. Notation 3. Example with Continuous Normal Priors

• Exchangeable Prior Distributions1. Example with N=32. Notation3. Geometric Interpretations

• The Data1. Sample space as subspace of prior2. Sample space conditional on the data

• Notation for Prior, Data and Posterior1. Points in the prior and their probability2. Partitioning prior points into the data, and remainder3. Simplifications when data match prior4. Posterior notation and simplification

• Simple Example

4

Finite Population Inference for the Mean from

a Bayesian PerspectivePopulation

Data

3Rose Lily Daisyy y y

Rose y

What is ?Listing Latent Value

Rose

Lily

Daisy

Rosey

Daisyy

Lilyy

0 ; 1,...,j

y j N

y

0 ; 1,...,

, ,

jL j N

Lily Rose Daisy

0

1

L

yN

0 j

Rose

Lily

Daisy

λ 0

Rose

j Lily

Daisy

y

y y

y

y

5

Bayesian Model

Population Notation

Population 0 ; 1,...,j

y j N

0 ; 1,...,j

L j N

0

0

1

L

yN

y

Label Latent Value

Set of Labels

Parameter

0

0

0

L

Population includes N subjects

0λ

Vector

0y

6

Bayesian Model

Prior Populations

h

h

h

h

L

p

Populations

Prior

1 2

1 2

1 2

1 2

H

H

H

H

L L L

p p p

# Prior Parameters: H

Population h

Prior Probability 1

1H

hh

p

LabelsParameters

Prior Prob.

Usually, prior populations have the same number of subjects, N.

7

Bayesian Model

Prior Populations- Equality

andh

h

h

h

L

p

Population h

*

*

*

*

h

h

h

h

L

p

Population h*

Two Prior Populations are equal if and only if

*h hL L The same subjects are in

each population

; 1,...,h jy j N

*

* * ; 1,...,h j

y j N

If hL *y y then

Prior populations are equal if they includethe same subjects, and a subject’s latentvalue in one population is equal to the same subject’s latent value in the other population.

*h h

8

Bayesian Model

Prior Distribution of

ExamplePrior Populations

1 2 3 4 5 6 7 8 9 10

1 2 3 4 5 6 7 8 9 10

1 2 3 4 5 6 7 8 9 10

1 2 3 4 5 6 7 8 9 10

4 8 12 15 16 16 17 20 24 28

1 1 1 4 3 4 4 1 1 1

40 20 20 20 20 20 20 20 20 40

L L L L L L L L L L

p p p p p p p p p p

0 4 8 12 16 20 24 28 32

hp

9

Bayesian Model

General Idea

Populations Populations

# Posterior Populations: H

DataPrior Posterior

# Prior Populations: H

Prior

Probabilities

Posterior

Probabilities

;

1,...,s

x

s n

1 2

1 2

1 2

1 2

H

H

H

H

L L L

p p p

1 2

1 2

1 2* * *1 2

H

H

H

H

L L L

p p p

10

Bayesian Model

General Idea



DataPrior Posterior


Sample Subjects

;

1,...,s

x

s n

1 2

1 2

1 2

1 2

H

H

H

H

L L L

p p p

1 2

1 2

1 2* * *1 2

H

H

H

H

L L L

p p p

; 1,...,s

L s n

1

0I s

n

λ

1

0I s

n

x

x

x

x

11

Bayesian Model

General Idea



DataPrior Posterior

# Prior Populations: HIf

;

1,...,s

x

s n

1 2

1 2

1 2

1 2

H

H

H

H

L L L

p p p

1 2

1 2

1 2* * *1 2

H

H

H

H

L L L

p p p

h

for each , hL L

L x y

Sample subjects must be in the population

Latent Value for the subject in the sample must equal that in the population

* 0hp

for

12

Bayesian Model

General Idea



DataDiscrete Prior

Posterior


Prior

Probabilities

Posterior

Probabilities

;

1,...,s

x

s n

1 2

1 2

1 2

1 2

H

H

H

H

L L L

p p p

1 2

1 2

1 2* * *1 2

H

H

H

H

L L L

p p p

Note: Often, the prior distribution is continuous, as if H

13

Bayesian Model

General Idea-Example


# Posterior Populations:

DataContinuous Prior

Posterior

# Prior Populations: H Prior

ProbabilitiesPosterior Probabilities

;

1,...,s

x

s n

1 2

1 2

1 2

1 2

H

H

H

H

L L L

p p p

1 2

1 2

1 2* * *1 2

H

H

H

H

L L L

p p p

2,hi hY N

2,h N

,NN Y 1 V2 2

N N V I J

iid

221

,N NN N

1 Y

1

1 n

ss

x xn

H

* *2

1

1 1| ,

n

N ii

Y x N vN n

1 Y

2

*2

2

n N n N nx x

N N Nn

14

Bayesian Model

General Idea-ExampleData

Continuous Prior

Posterior

2,hi hY N

2,h N

2 2,N N NN Y 1 I J

iid

21,NY N v

N 1 Y

1

1 n

ss

x xn

i h iY b W Model:

20,N 20,N

* *2| ,IY Y x N v

22 2v

N

where

* n N nx k x

N N

Let us define

1

2I

n

Y

Y

Y

Y

1I n IY

n 1 Y

2

2 2 /k

n

*2 21N n

v k vN

15

Bayesian Model

General Idea-ExampleData

Continuous Prior

Posterior

2,hi hY N

2,h N

2 2,N N NN Y 1 I J

iid

2var

E Y

Y v

1

1 n

ss

x xn

i h iY b W Model:

20,N 20,N

* *2| ,IY Y x N v

* n N nx k x

N N

*2 21N n

v k vN

2

|

var | 1

n N nE Y x x k x

N NN n

Y x k vN

Posterior Mean is Different

Posterior Variance is smaller

16

Bayesian Model

Link between Prior and Data



DataPrior Posterior


;

1,...,s

x

s n

1 2

1 2

1 2

1 2

H

H

H

H

L L L

p p p

1 2

1 2

1 2* * *1 2

H

H

H

H

L L L

p p p

Assume the Potential Response for Subjects in each Prior population is a vector of exchangeable random variables!

Use Likelihood of Parameter, given the data to form the Posterior

17

Bayesian Model

Exchangeable Prior Populations-

Population ; 1,...,j

y j N

; 1,...,j

L j N Labels (subjects)

Let 1

2i

N

Y

YY

Y

Y be a vector of exchangeable random variables

for the population

Exchangeability implies that the joint probability density, pp Y

of response p pYY for 1,...,N associated with each

permutation, p, of subjects in L is identical for all 1,..., !p P N

(Focus on one population, h,but drop the subscript for simplicity)

1

H

h hh

I

Y Y where 1 if with probability

0 otherwise h h

h

pI

Y Y

18

Bayesian Model- Exchangeable Prior Populations

General Idea When N=3

11

1 1 12

13

Y

Y Y

Y

Y

p pYY

1p

Each Permutation p of subjects in L(i.e. each different listing)

1p Y

Joint Probability Density

2 11 1

2 2 2 12 3

2 13 2

Y Y

Y Y Y

Y Y

Y 2p

2p Y

6 11 3

6 6 6 12 2

6 13 1

Y Y

Y Y Y

Y Y

Y

6

!

p

N

6p Y

Must beidentical

1

2

3

i

Y

Y Y

Y

YExchangeableRandomVariables

p YThe commondistribution

GeneralNotation

Assigns (usually) equal probability to eachpermutation of subjectsin the population.

19


General Idea When N=3

1p

2 12Y u Y

2p

6

!

p

N

1

1 0 0

0 1 0

0 0 1

u

2

1 0 0

0 0 1

0 1 0

u

2

0 0 1

0 1 0

1 0 0

u

PermutationMatrices (for Listings)

1 11Y u Y

6 16Y u Y

20

Bayesian Model- Exchangeable Prior Populations N=3

Each Listing of subjects in L

1

12

3

j

Y

Y Y

Y

Y1p

Random VariablesFor Listing

21

2 2 22

23

Y

Y Y

Y

Y 2p

61

6 6 62

63

Y

Y Y

Y

Y

6

!

p

N

Rose

Lily

Daisy

Listing

Lily

Rose

Daisy

Daisy

Lily

Rose

, ,L Rose Lily DaisyLabels

Define the Possible Listings of subjects in L

1

10 2

3

j

Rose

Lily

Daisy

λ λ

1

22 0 3

2

Rose

Daisy

Lily

λ u λ

3

66 0 2

1

Daisy

Lily

Rose

λ u λ

21


Latent Values for Each Listing of subjects in L

1p

2p

6

!

p

N

Rose

Lily

Daisy

Listing

Rose

Daisy

Lily

Daisy

Lily

Rose

Listings

1 11 0

Rose

Lily

Daisy

y

y y

y

y u y 1

1 0 0

0 1 0

0 0 1

u

2 22 0 λ u λ

1 11 0 λ u λ

2

1 0 0

0 0 1

0 1 0

u

6 66 0 λ u λ

2

0 0 1

0 1 0

1 0 0

u

PermutationMatrices

2 22 0

Rose

Daisy

Lily

y

y y

y

y u y

6 66 0

Daisy

Lily

Rose

y

y y

y

y u y

Latent Values for Listing

, ,L Rose Lily Daisy

22


Potential Response for Each Listing of subjects

1p

2p

Listings

11 0

Rose

Lily

Daisy

y

y

y

y u y

22 0

Rose

Daisy

Lily

λ u λ

11 0

Rose

Lily

Daisy

λ u λ

22 0

Rose

Daisy

Lily

y

y

y

y u y


Lilyy

Rosey

Lilyy

Daisyy

Rosey

Rosey

Rosey Rosey

Rosey

Lilyy

Lilyy Lilyy

Lilyy

LilyyDaisyy

Daisyy

Daisyy

Daisyy Daisyy

Latent Values for permutations of listing

11u y

12u y

15u y

13u y

14u y

16u y

23


Population Point (N dimension space)

10

10

5

2

Rose

Lily

Daisy

y

y

y

y y

Rose

Daisy

Lily 1

1 0

Rose

Lily

Daisy

y

y

y

y u y

Listing p=1Example

24

Bayesian Model-Exchangeable Prior Population

Permutations

Lilyy

Rosey

Lilyy

Daisyy

11u y

11Y

12Y

13Y

Rose

Daisy

Lily

11 0

10

5

2

Rose

Lily

Daisy

y

y

y

y u y

Listing p=1

11

1 12

13

Y

Y

Y

Y

11u y

25

Bayesian Model-Exchangeable Prior Population

Permutations

Lilyy

Rosey

Lilyy

Daisyy

Rosey

LilyyDaisyy

11u y

12u y

13Y

Rose

Daisy

Lily

11 0

10

5

2

Rose

Lily

Daisy

y

y

y

y u y

Listing p=1

11Y

12Y

1u

12u y

11

1 12

13

Y

Y

Y

Y

26


Permutations

Lilyy

Rosey

Lilyy

Daisyy

Rosey

Rosey

Rosey Rosey

Rosey

Lilyy

Lilyy Lilyy

Lilyy

LilyyDaisyy

Daisyy

Daisyy

Daisyy Daisyy

11u y

12u y

15u y

13u y

14u y

16u y

11Y

12Y

13Y

1u

2u

3u

4u

5u

6u

Rose

Daisy

Lily

11 0

10

5

2

Rose

Lily

Daisy

y

y

y

y u y

Listing p=1

11

1 12

13

Y

Y

Y

Y

27


Permutations

Lilyy

Rosey

Lilyy

Daisyy

Rosey

Rosey

Rosey Rosey

Rosey

Lilyy

Lilyy Lilyy

Lilyy

LilyyDaisyy

Daisyy

Daisyy

Daisyy Daisyy

11u y

12u y

15u y

13u y

14u y

16u y

Listing p=1

11Y

12Y

13Y

1u

2u

3u

4u

5u

6u

11

1 12

13

Y

Y

Y

Y 11p

12p

13p

14p

15p

16p

* * *

p p p p

p p pE I p P Y u y

1f Y

for p=1 110

5

2

Rose

Lily

Daisy

y

y

y

y

JointProbabilityDensity

Let

*

*

1 if

0 otherwise

p pp ppI

Y u y

28


2

10

2

5

Rose

Daisy

Lily

y

y

y

y

Rose

Daisy

Lily

22 0

Rose

Daisy

Lily

y

y

y

y u y

21u y

22u y

25u y

23u y

24u y

26u y

Daisyy

Lilyy

Rosey Daisyy

Lilyy

RoseyDaisyy

LilyyRosey

Daisyy

Lilyy

Rosey Daisyy

Lilyy

Rosey

Daisyy

LilyyRosey

Listing p=2

21Y

22Y

23Y

1u

2u

3u

4u

5u

6u

21

2 22

23

Y

Y

Y

Y 21p

22p

23p

24p

25p

26p

2f YJointProbabilityDensity

29


Equal Probability Density

Listing p=1

11Y

12Y

13Y

11p

12p

13p

14p

15p

16p

1f YJointProbabilityDensity

21Y

22Y

23Y

21p

22p

23p

24p

25p

26p

2f Y

Listing p=2

30


Permutations

Listing p=1

11Y

12Y

13Y

11p

12p

13p

14p

15p

16p

1f YFor Equality:each point must have equal probability

21Y

22Y

23Y

21p

22p

23p

24p

25p

26p

2f Y

Listing p=2

31

Bayesian Model-Exchangeable Prior Populations N=3

Equal/Unequal Probability

Listing p=1 1f Y 2f Y

Listing p=2

16p

23p

15p

24p

11p

22p

12p

21p

13p

25p

14p

26p

All equalto 1/6

Example 1 Example 2

Each equalto 0.25

Each equalto 0.125

Exchangeable does not mean equal probability for all permutations!

11p

22p

12p

21p

16p

23p

15p

24p

13p

25p

14p

26p

32


The same Points have Equal Probability

Listing p=1

11Y

12Y

13Y

11p

12p

13p

14p

15p

16p

1f YFor Equality:each point must have equal probability

21Y

22Y

23Y

21p

22p

23p

24p

25p

26p

2f Y

Listing p=2

33


Permutations

Lilyy

Rosey

Lilyy

Daisyy

Rosey

Rosey

Rosey Rosey

Rosey

Lilyy

Lilyy Lilyy

Lilyy

LilyyDaisyy

Daisyy

Daisyy

Daisyy Daisyy

11u y

12u y

15u y

13u y

14u y

16u y

Rose

Daisy

Lily

11 0

10

5

2

Rose

Lily

Daisy

y

y

y

y u y

Listing p=1

11Y

12Y

13Y

1u

2u

3u

4u

5u

6u

11

1 12

13

Y

Y

Y

Y

34


2

10

2

5

Rose

Daisy

Lily

y

y

y

y

Rose

Daisy

Lily

22 0

Rose

Daisy

Lily

y

y

y

y u y

21u y

22u y

25u y

23u y

24u y

26u y

Daisyy

Lilyy

Rosey Daisyy

Lilyy

RoseyDaisyy

LilyyRosey

Daisyy

Lilyy

Rosey Daisyy

Lilyy

Rosey

Daisyy

LilyyRosey

Listing p=2

21Y

22Y

23Y

1u

2u

3u

4u

5u

6u

21

2 22

23

Y

Y

Y

Y

35


35

10

2

Lily

Rose

Daisy

y

y

y

y

31Y

32Y

33Y

1u

2u

3u

4u5u

6u

Rose

Daisy

Lily

33 0

Lily

Rose

Daisy

y

y

y

y u y

31u y

32u y

35u y

33u y

34u y

36u y

Daisyy

Daisyy

Daisyy

Daisyy

Daisyy DaisyyLilyy Lilyy

Lilyy

Lilyy

Lilyy

LilyyRosey

Rosey

Rosey Rosey

Rosey

Rosey

Listing p=3

31

3 32

33

Y

Y

Y

Y

36


4

5

2

10

Lily

Daisy

Rose

y

y

y

y

41Y

42Y

43Y

1u

2u

3u

4u

5u

6u

Rose

Daisy

Lily

44 0

Lily

Daisy

Rose

y

y

y

y u y

41u y

42u y

45u y

43u y

44u y

46u y

Daisyy

Lilyy

RoseyDaisyy

Lilyy

Rosey Daisyy

LilyyRosey

Daisyy

Lilyy

RoseyDaisyy

Lilyy

Rosey

Daisyy

LilyyRosey

Listing p=4

41

4 42

43

Y

Y

Y

Y

37


5

2

10

5

Daisy

Rose

Lily

y

y

y

y

51Y

52Y

53Y

1u

2u3u

4u

5u

6u

Rose

Daisy

Lily

55 0

Daisy

Rose

Lily

y

y

y

y u y

51u y

52u y

55u y

53u y

54u y

56u y

Rosey

Rosey

Rosey Rosey

Rosey

Rosey

Daisyy Daisyy

Daisyy

Daisyy

Daisyy

DaisyyLilyy

Lilyy

Lilyy

Lilyy

Lilyy Lilyy

Listing p=5

51

5 52

53

Y

Y

Y

Y

38


6

2

5

10

Daisy

Lily

Rose

y

y

y

y

61Y

62Y

63Y

1u

2u

3u

4u

5u

6u

Rose

Daisy

Lily

66 0

Daisy

Lily

Rose

y

y

y

y u y

61u y

62u y

65u y

63u y

64u y

66u y

Rosey

Daisyy

LilyyRosey

Daisyy

LilyyRosey

Daisyy

Lilyy

Rosey

Daisyy

Lilyy

Rosey

Daisyy

Lilyy

Rosey

Daisyy

Lilyy

Listing p=6

61

6 62

63

Y

Y

Y

Y

39


Permutations of Listings

11Y

12Y

13Y

1u

2u

3u

4u

6u

5u

Listing p=1

Point for Listing

21Y

22Y

23Y

1u

2u

3u

4u

5u

6u

Listing p=2

31Y

32Y

33Y

1u

2u

3u

4u5u

6u

Listing p=3

41Y

42Y

43Y

1u

2u

3u

4u

5u

6u

Listing p=4

51Y

52Y

53Y

1u

2u3u

4u

5u

6u

Listing p=5

61Y

62Y

63Y

1u

2u

3u

4u

5u

6u

Listing p=6

40

Bayesian Model

Exchangeable Prior Populations-

Population ; 1,...,j

y j N

; 1,...,j

L j N Labels (subjects)

Let 1

2i

N

Y

YY

Y

Y be a vector of exchangeable random variables

for the population

Exchangeability implies that the joint probability density, pp Y

of response p pYY for 1,...,N associated with each

permutation, p, of subjects in L is identical for all 1,..., !p P N

When N=3, possible points for Y are given in the previous slide!Comparable points must have equal probability in each listing.

41

Bayesian Model




DataPrior Posterior


;

1,...,s

x

s n

1 2

1 2

1 2

1 2

H

H

H

H

L L L

p p p

1 2

1 2

1 2* * *1 2

H

H

H

H

L L L

p p p

Assume the Potential Response for Subjects in each Prior population is a vector of exchangeable random variables!

Use Likelihood of Parameter, given the data to form the Posterior

N=3

Supposen=2

42

Bayesian Model


Populations

DataPrior


;

1,...,s

x

s n

1 2

1 2

1 2

1 2

H

H

H

H

L L L

p p p

N=3

Supposen=2

1

2

3

i

Y

YY

Y

Y

Realizations of

1 2,Y Y are the Data

43

Bayesian Model


Populations

DataPrior


;

1,...,s

x

s n

1 2

1 2

1 2

1 2

H

H

H

H

L L L

p p p

N=3

Supposen=2

1

2

3

Y

Y

Y

Y

,L Rose Daisy

, 2Daisy x

, 10Rose x

for each , hL L

L x y



44

Bayesian Model Exchangeable Prior Populations N=3

11Y

12Y

1u

2u

3u

4u

5u

6u

10

10

5

5

2

2

Listing p=1Sample Space n=2

Prior

Listing p=1

11Y

12Y

13Y

1u

2u

3u

4u

6u

5u

11

1 12

13

Y

Y

Y

Y

45


21Y

22Y

1u

2u

3u

4u

5u

6u

10

10

5

5

2

2

Listing p=2

21Y

22Y

23Y

1u

2u

3u

4u

5u

6u

21

2 22

23

Y

Y

Y

Y

Sample Space n=2

Prior

Listing p=2

46


31Y

32Y

1u

2u

3u

4u

5u

6u

10

10

5

5

2

2

Listing p=3

31Y

32Y

33Y

1u

2u

3u

4u5u

6u

31

3 32

33

Y

Y

Y

Y

Sample Space n=2

Prior

Listing p=3

47

Bayesian Model Exchangeable Prior Populations N=3: Sample Point n=2

31Y

32Y

1u

2u

3u

4u

5u

6u

10

10

5

5

2

2

Listing p=3

41Y

42Y

1u

2u

3u

4u

5u

6u

10

10

5

5

2

2

Listing p=4

11Y

12Y

1u

2u

3u

4u

5u

6u

10

10

5

5

2

2

Listing p=1

Listing p=2

21Y

22Y

1u

2u

3u

4u

5u

6u

10

10

5

5

2

2

51Y

52Y

1u

2u

3u

4u

5u

6u

10

10

5

5

2

2

Listing p=5

61Y

62Y

1u

2u

3u

4u

5u

6u

10

10

5

5

2

2

Listing p=6

48


Sample Points

Lilyy

Rosey

Lilyy

Daisyy

Rosey

Rosey

Rosey Rosey

Rosey

Lilyy

Lilyy Lilyy

Lilyy

LilyyDaisyy

Daisyy

Daisyy

Daisyy Daisyy

11u y

12u y

15u y

13u y

14u y

16u y

11Y

12Y

13Y

1u

2u

3u

4u

5u

6u

Rose

Daisy

Lily

11 0

10

5

2

Rose

Lily

Daisy

y

y

y

y u y

Listing p=1

11

1 12

13

Y

Y

Y

Y

,L Rose Daisy

49


Sample Points When

11Y

12Y

1u

2u

3u

4u

5u

6u

10

10

5

5

2

2

Listing p=1Sample Space n=2 when

PriorListing p=1

11Y

12Y

13Y

1u

2u

3u

4u

5u

6u

11

1 12

13

Y

Y

Y

Y

,L Rose Daisy

,L Rose Daisy

50


Sample Points When

11Y

12Y

2u

5u

10

10

5

5

2

2

Listing p=1Sample Space n=2 when

Posterior PointsListing p=1

11Y

12Y

13Y

2u

11

1 12

13

Y

Y

Y

Y

,L Rose Daisy

,L Rose Daisy

5u

51

Bayesian ModelExchangeable Prior Populations N=3

Sample Points

Rose

Daisy

Lily

22 0

10

2

5

Rose

Daisy

Lily

y

y

y

y u y

21u y

22u y

25u y

23u y

24u y

26u y

Daisyy

Lilyy

Rosey Daisyy

Lilyy

RoseyDaisyy

LilyyRosey

Daisyy

Lilyy

Rosey Daisyy

Lilyy

Rosey

Daisyy

Lilyy

Rosey

Listing p=2

21Y

22Y

23Y

1u

2u

3u

4u

5u

6u

21

2 22

23

Y

Y

Y

Y

,L Rose Daisy

52


Sample Points when

21Y

22Y

1u

2u

3u

4u

5u

6u

10

10

5

5

2

2

Listing p=2

21Y

22Y

23Y

1u

2u

3u

4u

5u

6u

21

2 22

23

Y

Y

Y

YListing p=2

,L Rose Daisy

Sample Space n=2 when ,L Rose Daisy

Prior

53


Sample Points when

21Y

22Y

1u

3u

10

10

5

5

2

2

Listing p=2

21Y

22Y

23Y

1u

3u

21

2 22

23

Y

Y

Y

YListing p=2

,L Rose Daisy


Posterior

Points

54


Sample Points

31Y

32Y

33Y

1u

2u

3u

4u5u

6u

Rose

Daisy

Lily

33 0

5

10

2

Lily

Rose

Daisy

y

y

y

y u y

31u y

32u y

35u y

33u y

34u y

36u y

Daisyy

Daisyy

Daisyy

Daisyy


Lilyy

Lilyy

Lilyy

Lilyy

Rosey

Rosey

Rosey Rosey

Rosey

RoseyListing p=3

31

3 32

33

Y

Y

Y

Y

,L Rose Daisy

55


Sample Points when

31Y

32Y

1u

2u

3u

4u

5u

6u

10

10

5

5

2

2

Listing p=3

31Y

32Y

33Y

1u

2u

3u

4u5u

6u

31

3 32

33

Y

Y

Y

Y

Prior

Listing p=3

,L Rose Daisy


56


Sample Points when

31Y

32Y

4u

6u

10

10

5

5

2

2

Listing p=3

31Y

32Y

33Y

4u

6u

31

3 32

33

Y

Y

Y

YListing p=3

,L Rose Daisy


Posterior

Points

57


Sample Points

41Y

42Y

43Y

1u

2u

3u

4u

5u

6u

Rose

Daisy

Lily

44 0

5

2

10

Lily

Daisy

Rose

y

y

y

y u y

41u y

42u y

45u y

43u y

44u y

46u y

Daisyy

Lilyy

RoseyDaisyy

Lilyy

Rosey Daisyy

LilyyRosey

Daisyy

Lilyy

RoseyDaisyy

Lilyy

Rosey

Daisyy

Lilyy

RoseyListing p=4

41

4 42

43

Y

Y

Y

Y

,L Rose Daisy

58


Sample Points when

41Y

42Y

1u

2u

3u

4u

5u

6u

Listing p=4

41Y

42Y

1u

2u

3u

4u

5u

6u

10

10

5

5

2

2

41

4 42

43

Y

Y

Y

Y

Prior ,L Rose Daisy


59


Sample Points when

41Y

42Y

4u

6u

Listing p=4

41Y

42Y

4u

6u

10

10

5

5

2

2

41

4 42

43

Y

Y

Y

Y

,L Rose Daisy


Posterior

Points

60


Sample Points

51Y

52Y

53Y

1u

2u3u

4u

5u

6u

Rose

Daisy

Lily

55 0

2

10

5

Daisy

Rose

Lily

y

y

y

y u y

51u y

52u y

55u y

53u y

54u y

56u y

Rosey

Rosey

Rosey Rosey

Rosey

Rosey

Daisyy Daisyy

Daisyy

Daisyy

Daisyy

DaisyyLilyy

Lilyy

Lilyy

Lilyy

Lilyy LilyyListing p=5

51

5 52

53

Y

Y

Y

Y

,L Rose Daisy

61


Sample Points when

51Y

52Y

1u

2u

3u

4u

5u

6u

10

10

5

5

2

2

Listing p=5

51Y

52Y

53Y

1u

2u3u

4u

5u

6u

51

5 52

53

Y

Y

Y

Y

Prior ,L Rose Daisy


62


Sample Points when

51Y

52Y

1u

3u

10

10

5

5

2

2

Listing p=5

51Y

52Y

53Y

1u

3u

51

5 52

53

Y

Y

Y

Y

,L Rose Daisy


Posterior

Points

63


Sample Points

61Y

62Y

63Y

1u

2u

3u

4u

5u

6u

Rose

Daisy

Lily

66 0

2

5

10

Daisy

Lily

Rose

y

y

y

y u y

61u y

62u y

65u y

63u y

64u y

66u y

Rosey

Daisyy

LilyyRosey

Daisyy

LilyyRosey

Daisyy

Lilyy

Rosey

Daisyy

Lilyy

Rosey

Daisyy

Lilyy

Rosey

Daisyy

Lilyy

Listing p=6

61

6 62

63

Y

Y

Y

Y

,L Rose Daisy

64


Sample Points when

61Y

62Y

1u

2u

3u

4u

5u

6u

10

10

5

5

2

2

Listing p=6

61Y

62Y

63Y

1u

2u

3u

4u

5u

6u

61

6 62

63

Y

Y

Y

Y

Prior ,L Rose Daisy


65


Sample Points when

61Y

62Y

2u

5u

10

10

5

5

2

2

Listing p=6

61Y

62Y

63Y

2u

5u

61

6 62

63

Y

Y

Y

Y ,L Rose Daisy


Posterior

Points

66

Bayesian Model Exchangeable Prior Populations N=3: Sample Points n=2

31Y

32Y

1u

2u

3u

4u

5u

6u

10

10

5

5

2

2

Listing p=3

41Y

42Y

1u

2u

3u

4u

5u

6u

10

10

5

5

2

2

Listing p=4

11Y

12Y

1u

2u

3u

4u

5u

6u

10

10

5

5

2

2

Listing p=1

Listing p=2

21Y

22Y

1u

2u

3u

4u

5u

6u

10

10

5

5

2

2

51Y

52Y

1u

2u

3u

4u

5u

6u

10

10

5

5

2

2

Listing p=5

61Y

62Y

1u

2u

3u

4u

5u

6u

10

10

5

5

2

2

Listing p=6

67

Bayesian Model Exchangeable Prior Populations N=3:

Sample Points n=2

31Y

32Y

1u

2u

3u

4u

5u

6u

10

10

5

5

2

2

Listing p=3

41Y

42Y

1u

2u

3u

4u

5u

6u

10

10

5

5

2

2

Listing p=4

11Y

12Y

1u

2u

3u

4u

5u

6u

10

10

5

5

2

2

Listing p=1

Listing p=2

21Y

22Y

1u

2u

3u

4u

5u

6u

10

10

5

5

2

2

51Y

52Y

1u

2u

3u

4u

5u

6u

10

10

5

5

2

2

Listing p=5

61Y

62Y

1u

2u

3u

4u

5u

6u

10

10

5

5

2

2

Listing p=6

Positive Prob.

68

Bayesian Model-- Exchangeable Prior Populations N=3 Prior Distribution and Data: Sample Points with Positive Probability n=2

31Y

32Y

4u

6u

10

10

5

5

2

2

Listing p=3

41Y

42Y

4u

6u

10

10

5

5

2

2

Listing p=4

11Y

12Y

2u

5u

10

10

5

5

2

2

Listing p=1

Listing p=2

21Y

22Y

1u

3u

10

10

5

5

2

2

51Y

52Y

1u

3u

10

10

5

5

2

2

Listing p=5

61Y

62Y

2u

5u

10

10

5

5

2

2

Listing p=6

,L Rose Daisy

69

Bayesian Model-- Exchangeable Prior Populations N=3 Prior Distribution and Data:

Sample Points with Positive Probability n=2

,L Rose Daisy

Conclusions: •For all listings, the same sample points have positive probability •The sample points correspond to a permutation of response for

subjects in the data•For different listings, the permutation that results in the sample

points is different

•We need a way of representing these results in general•First, we’ll define notation for points in the prior distribution.

We call these points “potential response”

70



1p

2p

Listings

11 0

Rose

Lily

Daisy

y

y

y

y u y

22 0

Lily

Rose

Daisy

λ u λ

11 0

Rose

Lily

Daisy

λ u λ

22 0

Lily

Rose

Daisy

y

y

y

y u y


Lilyy

Rosey

Lilyy

Daisyy

Rosey

Rosey

Rosey Rosey

Rosey

Lilyy

Lilyy Lilyy

Lilyy

LilyyDaisyy

Daisyy

Daisyy

Daisyy Daisyy


11u y

12u y

15u y

13u y

14u y

16u y

Daisyy

Daisyy

Daisyy

Daisyy


Lilyy

Lilyy

Lilyy

LilyyRosey

Rosey

Rosey Rosey

Rosey

Rosey

21u y

22u y

25u y

23u y

24u y

26u y

71



1p

2p

Listings

11 0

Rose

Lily

Daisy

y

y

y

y u y

22 0

Lily

Rose

Daisy

λ u λ

11 0

Rose

Lily

Daisy

λ u λ

22 0

Lily

Rose

Daisy

y

y

y

y u y


Lilyy

Rosey

Lilyy

Daisyy

Rosey

Rosey

Rosey Rosey

Rosey

Lilyy

Lilyy Lilyy

Lilyy

LilyyDaisyy

Daisyy

Daisyy

Daisyy Daisyy

Latent Values for permutations of listing 1

1u y 1

2u y 1

5u y 1

3u y 1

4u y 1

6u y

Daisyy

Daisyy

Daisyy

Daisyy


Lilyy

Lilyy

Lilyy

LilyyRosey

Rosey

Rosey Rosey

Rosey

Rosey

61u y

62u y

65u y

63u y

64u y

66u y

66 0

Daisy

Rose

Lily

y

y

y

y u y 66 0

Daisy

Lily

Rose

λ u λ6

!

p

N

Rosey

Rosey

Rosey Rosey

Rosey

Rosey

Daisyy Daisyy

Daisyy

Daisyy

Daisyy

DaisyyLilyy

Lilyy

Lilyy

Lilyy

Lilyy Lilyy

72



1p

Listings

Lilyy

Rosey

Lilyy

Daisyy

Rosey

LilyyDaisyy Rosey

Lilyy

Daisyy Rosey

Lilyy

Daisyy Rosey

Lilyy

Daisyy

Rosey

LilyyDaisyy


6

!

p

N

Rosey

Daisyy

LilyyRosey

Daisyy

LilyyRosey

Daisyy

Lilyy

Rosey

Daisyy

Lilyy

Rosey

Daisyy

Lilyy

Rosey

Daisyy

Lilyy

1 1 0u u y 2 1 0u u y 3 1 0u u y 4 1 0u u y 5 1 0u u y 6 1 0u u y

* 1p * 2p * 3p * 4p * 5p * 6p


Let

*

* 0

pp

ppy u u y

Also, *

* 0

pp

ppλ u u λ

LatentValues

Subjectlabels

73



1p

Listings

Lilyy

Rosey

Lilyy

Daisyy

Rosey

LilyyDaisyy Rosey

Lilyy

Daisyy Rosey

Lilyy

Daisyy Rosey

Lilyy

Daisyy

Rosey

LilyyDaisyy


6

!

p

N

Rosey

Daisyy

LilyyRosey

Daisyy

LilyyRosey

Daisyy

Lilyy

Rosey

Daisyy

Lilyy

Rosey

Daisyy

Lilyy

Rosey

Daisyy

Lilyy


* 1p * 2p * 3p * 4p * 5p * 6p


Let

*

* 0

pp

ppy u u y

Also, *

* 0

pp

ppλ u u λ

LatentValues

Subjectlabels

Same Points

74



Listings

Latent Value Vectors for permutations of listing

*

*

*

*

*

*

*

*

*

* * * * * *

!111 12 13 14 15 16 1 1

1

!221 22 23 24 25 26 2 2

1

!661 62 63 64 65 66 6 6

1

1 2 3 4 5 6

1

2

6

Np

pp

Np

pp

Np

pp

p p p p p p

p I

p I

p I

y y y y y y Y y

y y y y y y Y y

y y y y y y Y y

1

2

3

p p

Y

Y Y

Y

Y

Potential response for Random VariablesFor Listing p

Let us define indicator random variablesfor permutations of subjects in a listing:

*

*

1 if

0 otherwise

pppp

pI

Y y

Then *

*

*

!

1

Nppp p

pp

I

Y y

*

* 0

pp

ppy u u y

* *

p p

p pE I p

*

*

!

1

1N

p

pp

p

75



1

2

3

p p

Y

Y Y

Y

Y


Let us define a permutation matrixof indicator random variables for a listing:

Then

*

*

*

* *

*

* *

*

!

1

!

01

!

1

Nppp p

pp

Np

pp pp

Np p

p pp

I

I

I

Y y

u u y

u y

*

* 0

pp

ppy u u ySince

* *

*

!

1

Np p

p pp

I

U u

p p pY U y

*

* 0

pp

ppλ u u λ

where

76


Distribution of

Listings


*

* * * * * *

1 2 3 4 5 6

1 2 3 4 5 6

1 2 3 4 5 6

p p p p p p

ppp p p p p p p

p p p p p p

p

P p p p p p p

y y y y y y

Y y

*

*

*

1 !

21

3

Nppp p p

pp

Y

Y Y I

Y

Y y

Potential Response

pY

pp YJoint Probability Density

1pY

2pY

3pY

1py

2py

6py

3py

4py

5py

77



1Rose

Lily

Daisy

y

y

y

y

3Lily

Rose

Daisy

y

y

y

y

Lilyy

Rosey

Lilyy

Daisyy

Rosey

Rosey

Rosey Rosey

Rosey

Lilyy

Lilyy Lilyy

Lilyy

LilyyDaisyy

Daisyy

Daisyy

Daisyy Daisyy

Daisyy

Daisyy

Daisyy

Daisyy


Lilyy

Lilyy

Lilyy

LilyyRosey

Rosey

Rosey Rosey

Rosey

Rosey

5Daisy

Rose

Lily

y

y

y

y Rosey

Rosey

Rosey Rosey

Rosey

Rosey

Daisyy Daisyy

Daisyy

Daisyy

Daisyy

DaisyyLilyy

Lilyy

Lilyy

Lilyy

Lilyy Lilyy

2Rose

Daisy

Lily

y

y

y

y

Daisyy

Lilyy

Rosey Daisyy

Lilyy

RoseyDaisyy

LilyyRosey

Daisyy

Lilyy

Rosey Daisyy

Lilyy

Rosey

Daisyy

LilyyRosey

4Lily

Daisy

Rose

y

y

y

y

Daisyy

Lilyy

RoseyDaisyy

Lilyy

Rosey Daisyy

LilyyRosey

Daisyy

Lilyy

RoseyDaisyy

Lilyy

Rosey

Daisyy

LilyyRosey

6Daisy

Lily

Rose

y

y

y

yRosey

Daisyy

LilyyRosey

Daisyy

LilyyRosey

Daisyy

Lilyy

Rosey

Daisyy

Lilyy

Rosey

Daisyy

Lilyy

Rosey

Daisyy

Lilyy

In each listing, the same points occur!

78



Listings


* * * * * *

11 12 13 14 15 16

21 22 23 24 25 26

31 32 33 34 35 36

41 42 43 44 45 46

51 52 53 54 55 56

61 62 63 64 65 66

1 2 3 4 5 6

1

2

3

4

5

6

p p p p p p

p

p

p

p

p

p

y y y y y y

y y y y y y

y y y y y y

y y y y y y

y y y y y y

y y y y y y

1

2

3

p p

Y

Y Y

Y

Y


*

* 0

pp

ppy u u y

Circled points are equal and have equal probability,for different listings.

79



Listings


* * * * * *

11 12 13 14 15 16

21 22 23 24 25 26

31 32 33 34 35 36

41 42 43 44 45 46

51 52 53 54 55 56

61 62 63 64 65 66

1 2 3 4 5 6

1

2

3

4

5

6

p p p p p p

p

p

p

p

p

p

y y y y y y

y y y y y y

y y y y y y

y y y y y y

y y y y y y

y y y y y y

1

2

3

p p

Y

Y Y

Y

Y


*

* 0

pp

ppy u u y

Same Color Circled points have equal probability,for different listings.

80


The Data

, 2Daisy x

, 10Rose x

1 2 H

* * * * * *

11 12 13 14 15 16

21 22 23 24 25 26

31 32 33 34 35 36

41 42 43 44 45 46

51 52 53 54 55 56

61 62 63 64 65 66

1 1 2 3 4 5 6

1

2

3

4

5

6

h p p p p p p

p

p

p

p

p

p

y y y y y y

y y y y y y

y y y y y y

y y y y y y

y y y y y y

y y y y y y

Prior

Data

Posterior

Consider the Data:

; 1,...,s

x s n

A set

Points in the Prior are vectors

81


The Data- Represent as a set of Vectors

; 1,...,s

x s n

Define: 1

2I s

n

x

xx

x

x

1

20I s

n

λ

and

kv n nto be an permutation matrix, k=1,…,n!

and 1 nv I

Also:0Ik k Iλ v λ

Ik k Ix v x

, ; 1,..., !Ik Ik k n λ x

Finally, define1

1 n

x ss

xn

22

1

1

1

n

x s xs

xn

A set

A set of vectors

82


The Data

1 2 H

* * * * * *

11 12 13 14 15 16

21 22 23 24 25 26

31 32 33 34 35 36

41 42 43 44 45 46

51 52 53 54 55 56

61 62 63 64 65 66

1 2 3 4 5 6

1

2

3

4

5

6

p p p p p p

p

p

p

p

p

p

y y y y y y

y y y y y y

y y y y y y

y y y y y y

y y y y y y

y y y y y y

Prior

Data

Posterior , ; 1,..., !Ik Ik k n λ x

if*, 0h hp

for each ,

hh

L L

L x y



For each

Define: 1 if

0 otherwiseh

hd

83


The Data

1 2 H

* * * * * *

11 12 13 14 15 16

21 22 23 24 25 26

31 32 33 34 35 36

41 42 43 44 45 46

51 52 53 54 55 56

61 62 63 64 65 66

1 1 2 3 4 5 6

1

2

3

4

5

6

h p p p p p p

p

p

p

p

p

p

y y y y y y

y y y y y y

y y y y y y

y y y y y y

y y y y y y

y y y y y y

Prior

Data

Posterior

Rosey

Daisyy Rosey

Daisyy

, ; 1,..., !Ik Ik k n λ x

Rosey

Daisyy1 11 ; Rose

I IDaisy

xRosek

xDaisy

λ x

Rosey

Daisyy2 22 ; DaisyI I

Rose

xDaisyk

xRose

λ x

84


The Data

1 2 H

* * * * * *

11 12 13 14 15 16

21 22 23 24 25 26

31 32 33 34 35 36

41 42 43 44 45 46

51 52 53 54 55 56

61 62 63 64 65 66

1 1 2 3 4 5 6

1

2

3

4

5

6

h p p p p p p

p

p

p

p

p

p

y y y y y y

y y y y y y

y y y y y y

y y y y y y

y y y y y y

y y y y y y

Prior

Data

Posterior

Rosey

Daisyy Rosey

Daisyy

, ; 1,..., !Ik Ik k n λ x

Rosey

Daisyy1 11 ; Rose

DaiI

syI

xRose

xDak

isy

λ x

Rosey


Rose

xDaisyk

xRose

λ x

Lilyy

Daisyy Rosey RoseyLilyy LilyyDaisyy

Rosey

LilyyRosey

Lilyy Lilyy

Lilyy

Rosey

Daisyy

DaisyyRosey

Daisyy

Daisyy

85


The Data

1 2 H

* * * * * *

11 12 13 14 15 16

21 22 23 24 25 26

31 32 33 34 35 36

41 42 43 44 45 46

51 52 53 54 55 56

61 62 63 64 65 66

1 1 2 3 4 5 6

1

2

3

4

5

6

h p p p p p p

p

p

p

p

p

p

y y y y y y

y y y y y y

y y y y y y

y y y y y y

y y y y y y

y y y y y y

Prior

Data

Posterior

, Rosey

DaisyyRosey

Daisyy , ; 1,..., !Ik Ik k n λ x

Daisyy RoseyDaisyyLilyy

RoseyLilyy

Lilyy

Rosey Daisyy

Lilyy

LilyyRosey

Daisyy

Rosey

Daisyy

Lilyy

Daisyy

Rosey

* *

* *

* * ;

pp pp

pp pphI hI

h hpp pp

hII hII

λ yλ y

λ y

h When

*

* for some

pp

hI Ik

pp

hI Ik

k

λ λ

y x

86


The Data- Match Orders: Data and Prior ListingPrior Data

, ; 1,..., !Ik Ik k n λ x

*

*

*

pp

pp hI

h pp

hII

yy

y

*

*

*

pp

pp hI

h pp

hII

λλ

λ

Subjects MustMatch

Use this order to determine the Prior listing corresponding to p=1 for h

implying that

Define a data initial order for the subjectsin the data (k=1), and their values as:

0Iλ

where 1 1 0I Iλ v λ

and 1 nv I

11 0

0

1

h h

I

NhII

λ u λ

λI

λ

Note: This is possible since we do this only when h

Ixand

87


The Data- NotationPrior Data

, ; 1,..., !Ik Ik k n λ x

*

*

*

pp

pp hI

h pp

hII

yy

y

*

*

*

pp

pp hI

h pp

hII

λλ

λ

Subjects MustMatch

Since

1 0I Iλ λ

01

1

I

hhII

λλ

λ

1

1

1

hI

h

hII

yy

y

0 p

h p hλ u λ

*

* 0 pp

h p hpy u u y

0 p

h p hy u y

*

* 0 pp

h p hpλ u u λ

If subjects in the data are part of population h, h

and hence

11

I

hhII

xy

y

1

1

1

hI

h

hII

yy

yIx

88



, ; 1,..., !Ik Ik k n λ x

*

*

*

pp

pp hI

h pp

hII

yy

y

*

*

*

pp

pp hI

h pp

hII

λλ

λ

Subjects MustMatch

Initial order for the subjectsin the data:

0Iλ 0

10

I

hhII

λλ

λ

Initial order for the subjectsin the prior for population h:

*

* 0

pp

h p hpλ u u λ

*

*

**

0

1

ppIp IhI

Ip IIppp

IIp hIIhII

u λλu u

u λλ

Now

implying that

n NN n

so that *

* *

10

pp

hI Ip I IIp hIIIp Ip λ u u λ u u λ

Subjects in the data

89



, ; 1,..., !Ik Ik k n λ x

*

*

*

pp

pp hI

h pp

hII

yy

y

*

*

*

pp

pp hI

h pp

hII

λλ

λ

Subjects MustMatch

0Iλ *

* *

10

pp



0Ik k Iλ v λ

For Subjects to match,

Must be equal

* for some 1,..., !Ip kIpk n u u v

Only points in the prior where this is true are in the posterior


90


The Posterior- NotationPrior Data

, ; 1,..., !Ik Ik k n λ x

*

*

*

pp

pp hI

h pp

hII

yy

y

*

*

*

pp

pp hI

h pp

hII

λλ

λ

Subjects MustMatch

*

* *

10

pp


0Ik k Iλ v λ

Requires * for some 1,..., !Ip kIpk n u u v

Let#k correspond to the k where * # IpIp k

u u v

Now *

*

*

* *#

* * *

Ip

p Ip IIppIIp

Ip IIpIp Ip k

Ip IIpIIp IIp k

uu u u u

u

u u u u v 0

u u u u 0 w

Points are in posterior ifand

h

#

*

*

kpp

k

v 0u u

0 w

91


The Posterior- Simplified NotationPoints are in posterior if h *

*

k

ppk

v 0u u

0 wand

Let

**

**

1 if

0 otherwise

kpp pp

kkk

v 0u u

0 w defined over all points

*

* 0

pp

h p hpy u u y

This is an indicator variable for points in the posterior distribution

Consider the Example with N=3

92


Simpler Notation

1 2 H

* * * * * *

11 12 13 14 15 16

21 22 23 24 25 26

31 32 33 34 35 36

41 42 43 44 45 46

51 52 53 54 55 56

61 62 63 64 65 66

1 1 2 3 4 5 6

1

2

3

4

5

6

h p p p p p p

p

p

p

p

p

p

y y y y y y

y y y y y y

y y y y y y

y y y y y y

y y y y y y

y y y y y y

Prior

Data

Posterior

Rosey

Daisyy Rosey

Daisyy

, ; 1,..., !Ik Ik k n λ x

Rosey

Daisyy1 11 ; Rose

I IDaisy

xRosek

xDaisy

λ x

Rosey


Rose

xDaisyk

xRose

λ x

Points are in posterior if

andh

*

*

k

ppk

v 0u u

0 w

93


Notation for Posterior Points (given h)

Listings


* * * * * *

11 12 13 14 15 16

21 22 23 24 25 26

31 32 33 34 35 36

41 42 43 44 45 46

51 52 53 54 55 56

61 62 63 64 65 66

1 2 3 4 5 6

1

2

3

4

5

6

p p p p p p

p

p

p

p

p

p

y y y y y y

y y y y y y

y y y y y y

y y y y y y

y y y y y y

y y y y y y

*

*

*

pp

pp hI

h pp

hII

yy

y

Must Match

Rosey

Daisyy

Rosey

Daisyy

1 1; Rose

I IDaisy

xRose

xDaisy

λ x

2 2; DaisyI I

Rose

xDaisy

xRose

λ x

Data

1k

2k

1 2 H

* * * * * *

11 12 13 14 15 16

21 22 23 24 25 26

31 32 33 34 35 36

41 42 43 44 45 46

51 52 53 54 55 56

61 62 63 64 65 66

1 1 2 3 4 5 6

1

2

3

4

5

6

h p p p p p p

p

p

p

p

p

p

y y y y y y

y y y y y y

y y y y y y

y y y y y y

y y y y y y

y y y y y y

Prior

Data

Rosey

Daisyy Rosey

Daisyy

Prior Points are in posterior if

andh

*

*

k

ppk

v 0u u

0 w

94


Simpler Notation for Posterior Points

Listings

Points in Posterior Distribution

* * * * * *

12 15

21 23

34 36

44 46

51 53

62 65

1 2 3 4 5 6

1

2

3

4

5

6

p p p p p p

p

p

p

p

p

p

y y

y y

y y

y y

y y

y y

Rosey

Daisyy

Rosey

Daisyy

*

*

*

pp

pp hI

h pp

hII

yy

y

DataWe want to definea notation that willmake it easy to represent the pointsin the posterior.

1k

2k

Points are in posterior if

andh

*

*

k

ppk

v 0u u

0 w

95


Notation for Posterior Points

Listings


* * * * * *

11 12 13 14 15 16

21 22 23 24 25 26

31 32 33 34 35 36

41 42 43 44 45 46

51 52 53 54 55 56

61 62 63 64 65 66

1 2 3 4 5 6

1

2

3

4

5

6

p p p p p p

p

p

p

p

p

p

y y y y y y

y y y y y y

y y y y y y

y y y y y y

y y y y y y

y y y y y y

Rosey

Daisyy

Rosey

Daisyy

*

*

*

pp

pp hI

h pp

hII

yy

y

Data

1k

2k

For each point *pp **

**

1 if

0 otherwise

kpp pp

kkk

v 0u u

0 w

Define

32 32 3211 12 1, !

32 32 3221 21 2, !

32 32 32!,1 !,1 !, !

N n

N n

n n n N n

PriorPoints are in posterior if

andh

*

*

k

ppk

v 0u u

0 w

96



Listings


* * * * * *

11 12 13 14 15 16

21 22 23 24 25 26

31 32 33 34 35 36

41 42 43 44 45 46

51 52 53 54 55 56

61 62 63 64 65 66

1 2 3 4 5 6

1

2

3

4

5

6

p p p p p p

p

p

p

p

p

p

y y y y y y

y y y y y y

y y y y y y

y y y y y y

y y y y y y

y y y y y y

Rosey

Daisyy

Rosey

Daisyy

*

*

*

pp

pp hI

h pp

hII

yy

y

Data

1k

2k


**

1 if

0 otherwise

kpp pp

kkk

v 0u u

0 w

1111

1121

0

0

since 2

1

n

N n

When 1p

Prior Points are in posterior if

andh

*

*

k

ppk

v 0u u

0 w

97



Listings


* * * * * *

11 12 13 14 15 16

21 22 23 24 25 26

31 32 33 34 35 36

41 42 43 44 45 46

51 52 53 54 55 56

61 62 63 64 65 66

1 2 3 4 5 6

1

2

3

4

5

6

p p p p p p

p

p

p

p

p

p

y y y y y y

y y y y y y

y y y y y y

y y y y y y

y y y y y y

y y y y y y


**

1 if

0 otherwise

kpp pp

kkk

v 0u u

0 w

*

*

1

11

1

21

p

p

1211

1221

1

0

0

0

when 1p

Rosey

Daisyy

1k

98



Listings


* * * * * *

11 12 13 14 15 16

21 22 23 24 25 26

31 32 33 34 35 36

41 42 43 44 45 46

51 52 53 54 55 56

61 62 63 64 65 66

1 2 3 4 5 6

1

2

3

4

5

6

p p p p p p

p

p

p

p

p

p

y y y y y y

y y y y y y

y y y y y y

y y y y y y

y y y y y y

y y y y y y

1

0

1311

1321

0

0

0

0

*

*

1

11

1

21

p

p

For each point *pp

when 1p

**

**

1 if

0 otherwise

kpp pp

kkk

v 0u u

0 w

99



Listings


* * * * * *

11 12 13 14 15 16

21 22 23 24 25 26

31 32 33 34 35 36

41 42 43 44 45 46

51 52 53 54 55 56

61 62 63 64 65 66

1 2 3 4 5 6

1

2

3

4

5

6

p p p p p p

p

p

p

p

p

p

y y y y y y

y y y y y y

y y y y y y

y y y y y y

y y y y y y

y y y y y y

1511

1521

0

1

1

0

0

0

0

0

0

0

*

*

1

11

1

21

p

p

For each point *pp

when 1p

Rosey

Daisyy2k

**

**

1 if

0 otherwise

kpp pp

kkk

v 0u u

0 w

100



Listings


* * * * * *

11 12 13 14 15 16

21 22 23 24 25 26

31 32 33 34 35 36

41 42 43 44 45 46

51 52 53 54 55 56

61 62 63 64 65 66

1 2 3 4 5 6

1

2

3

4

5

6

p p p p p p

p

p

p

p

p

p

y y y y y y

y y y y y y

y y y y y y

y y y y y y

y y y y y y

y y y y y y

1

0

0

0

0

0

0

0

*

*

1

11

1

21

p

p

0

1

0

0

* *

*

!!1 1

1 1

N nnp p

mtkkm t

For each point *pp

when 1p

**

**

1 if

0 otherwise

kpp pp

kkk

v 0u u

0 w

since 2

1

n

N n

0 1 000 11p

101



Listings


* * * * * *

11 12 13 14 15 16

21 22 23 24 25 26

31 32 33 34 35 36

41 42 43 44 45 46

51 52 53 54 55 56

61 62 63 64 65 66

1 2 3 4 5 6

1

2

3

4

5

6

p p p p p p

p

p

p

p

p

p

y y y y y y

y y y y y y

y y y y y y

y y y y y y

y y y y y y

y y y y y y

1

0

0

0

0

0

0

0

*

*

2

11

2

21

p

p

0

1

0

0

* *

*

!!2 2

1 1

N nnp p

mtkkm t

For each point *pp

when 2p

**

**

1 if

0 otherwise

kpp pp

kkk

v 0u u

0 w

01 00 012p

102



Listings


1

0

0

0

0

0

0

0

*

*

2

11

2

21

p

p

0

1

0

0

* *

*

!!3 3

1 1

N nnp p

mtkkm t

For each point *pp

when 3p

**

**

1 if

0 otherwise

kpp pp

kkk

v 0u u

0 w

0 100 0 13p

* * * * * *

11 12 13 14 15 16

21 22 23 24 25 26

31 32 33 34 35 36

41 42 43 44 45 46

51 52 53 54 55 56

61 62 63 64 65 66

1 2 3 4 5 6

1

2

3

4

5

6

p p p p p p

p

p

p

p

p

p

y y y y y y

y y y y y y

y y y y y y

y y y y y y

y y y y y y

y y y y y y

103



Listings


* *

*

!!

1 1

N nnpp pp

mtkkm t

**

**

1 if

0 otherwise

kpp pp

kkk

v 0u u

0 w

Rosey

Daisyy

1k

Rosey

Daisyy2k

1 2 H

* * * * * *

11 12 13 14 15 16

21 22 23 24 25 26

31 32 33 34 35 36

41 42 43 44 45 46

51 52 53 54 55 56

61 62 63 64 65 66

1 1 2 3 4 5 6

1

2

3

4

5

6

h p p p p p p

p

p

p

p

p

p

y y y y y y

y y y y y y

y y y y y y

y y y y y y

y y y y y y

y y y y y y

Prior

Data

Rosey

Daisyy Rosey

Daisyy

Prior

* * * * * *

11 12 13 14 15 16

21 22 23 24 25 26

31 32 33 34 35 36

41 42 43 44 45 46

51 52 53 54 55 56

61 62 63 64 65 66

1 2 3 4 5 6

1

2

3

4

5

6

p p p p p p

p

p

p

p

p

p

y y y y y y

y y y y y y

y y y y y y

y y y y y y

y y y y y y

y y y y y y

104


Simpler Notation for Posterior Points

Listings


** * * * * *

11

12 1511 21

21 2311 21

34 3611 21

44 4621 11

51 5321 11

62 6521 11

1 1 2 3 4 5 6

1 0 1 0 0 1 0

2 1 0 1 0 0 0

3 0 0 0 1 0 1

4 0 0 0 1 0 1

5 1 0 1 0 0 0

6 0 1 0 0 1 0

ppp p p p p p

p

p

p

p

p

p

* *

*

!!

1 1

N nnpp pp

mtkkm t

**

**

1 if

0 otherwise

kpp pp

kkk

v 0u u

0 w

1 2 H

* * * * * *

11 12 13 14 15 16

21 22 23 24 25 26

31 32 33 34 35 36

41 42 43 44 45 46

51 52 53 54 55 56

61 62 63 64 65 66

1 1 2 3 4 5 6

1

2

3

4

5

6

h p p p p p p

p

p

p

p

p

p

y y y y y y

y y y y y y

y y y y y y

y y y y y y

y y y y y y

y y y y y y

Prior

Data

Rosey

Daisyy Rosey

Daisyy

Prior

105



**

**

1 if

0 otherwise

kpp pp

kkk

v 0u u

0 w

1 2 H

* * * * * *

11 12 13 14 15 16

21 22 23 24 25 26

31 32 33 34 35 36

41 42 43 44 45 46

51 52 53 54 55 56

61 62 63 64 65 66

1 1 2 3 4 5 6

1

2

3

4

5

6

h p p p p p p

p

p

p

p

p

p

y y y y y y

y y y y y y

y y y y y y

y y y y y y

y y y y y y

y y y y y y

Prior

Data

Rosey

Daisyy Rosey

Daisyy

* *

*

!!

1 1

N nn

pp pp

mt hhkkm t

y y

Listings

Latent Value Vectors for permutations of listingPrior

* * * * * *

11 12 13 14 15 16

21 22 23 24 25 26

31 32 33 34 35 36

41 42 43 44 45 46

51 52 53 54 55 56

61 62 63 64 65 66

1 2 3 4 5 6

1

2

3

4

5

6

p p p p p p

p

p

p

p

p

p

y y y y y y

y y y y y y

y y y y y y

y y y y y y

y y y y y y

y y y y y y

106


Notation for Prior Probability given h and p

Listings

Prior Probability of Latent Value Vectors for permutations of listing

* * * * * *

1 1 1 1 1 11 2 3 4 5 6

2 2 2 2 2 21 2 3 4 5 6

3 3 3 3 3 31 2 3 4 5 6

4 4 4 4 4 41 2 3 4 5 6

5 5 5 5 5 51 2 3 4 5 6

6 6 6 6 6 61 2 3 4 5 6

1 2 3 4 5 6

1

2

3

4

5

6

h p p p p p p

p p p p p p p

p p p p p p p

p p p p p p p

p p p p p p p

p p p p p p p

p p p p p p p

**

**

1 if

0 otherwise

kpp pp

kkk

v 0u u

0 w

1 2 H

* * * * * *

11 12 13 14 15 16

21 22 23 24 25 26

31 32 33 34 35 36

41 42 43 44 45 46

51 52 53 54 55 56

61 62 63 64 65 66

1 1 2 3 4 5 6

1

2

3

4

5

6

h p p p p p p

p

p

p

p

p

p

y y y y y y

y y y y y y

y y y y y y

y y y y y y

y y y y y y

y y y y y y

Prior

Data

Rosey

Daisyy Rosey

Daisyy

Prior

Probability

given h

*

*|pp ph p

P h p Y yh

When

107


Notation for Prior Probability for Points in the Posterior given h and p

Listings

Prior Probability of Latent Value Vectors for permutations of listing that will be in Posterior

* * * * * *

* *11 21

* *11 21

* *11 21* *21 11

* *21 11

* *21 11

1 2 3 4 5 6

1 0 0 0 0

2 0 0 0 0

3 0 0 0 0

4 0 0 0 0

5 0 0 0 0

6 0 0 0 0

h p p p p p p

p p p

p p p

p p p

p p p

p p p

p p p

**

**

1 if

0 otherwise

kpp pp

kkk

v 0u u

0 w

1 2 H

* * * * * *

11 12 13 14 15 16

21 22 23 24 25 26

31 32 33 34 35 36

41 42 43 44 45 46

51 52 53 54 55 56

61 62 63 64 65 66

1 1 2 3 4 5 6

1

2

3

4

5

6

h p p p p p p

p

p

p

p

p

p

y y y y y y

y y y y y y

y y y y y y

y y y y y y

y y y y y y

y y y y y y

Prior

Data

Rosey

Daisyy Rosey

Daisyy

*

*

*|pp

h kkP h p Y y

*

* *

!!*

1 1

N nn

pp pmtkk p

m t

p p

Prior

Probability

given h if in

Posterior

h When

Note: Doesn’t depend onp since the probability isequal for the same pointin each p. This is due tothe assumption of exchangeability.

108



**

**

1 if

0 otherwise

kpp pp

kkk

v 0u u

0 w

1 2 H

* * * * * *

11 12 13 14 15 16

21 22 23 24 25 26

31 32 33 34 35 36

41 42 43 44 45 46

51 52 53 54 55 56

61 62 63 64 65 66

1 1 2 3 4 5 6

1

2

3

4

5

6

h p p p p p p

p

p

p

p

p

p

y y y y y y

y y y y y y

y y y y y y

y y y y y y

y y y y y y

y y y y y y

Prior

Data

Rosey

Daisyy Rosey

Daisyy

*

*

*|pp

h kkP h p Y y

*

* *

!!*

1 1

N nn

pp pmtkk p

m t

p p

Prior

Probability

given h if in

Posterior

h When

We assume

*

*1 for all 1,..., !

!p

pp p N

N

Then

*

**

*

*

1 if 1

| !0 otherwise

pppp

kkh kk

P h p N

Y y

109



Listings

1 2 H

* * * * * *

11 12 13 14 15 16

21 22 23 24 25 26

31 32 33 34 35 36

41 42 43 44 45 46

51 52 53 54 55 56

61 62 63 64 65 66

1 1 2 3 4 5 6

1

2

3

4

5

6

h p p p p p p

p

p

p

p

p

p

y y y y y y

y y y y y y

y y y y y y

y y y y y y

y y y y y y

y y y y y y

Prior

Data

Rosey

Daisyy Rosey

Daisyy

Prior

Probability

given h if in

Posterior

h When

*

**

*

*

1 if 1

| !0 otherwise

pppp

kkh kk

P h p N

Y y

Prior Probability of Latent Value Vectors for permutations of listing that will be in Posterior

* * * * * *1 2 3 4 5 6 Total

! !1 11 0 0 0 0

! ! !! !1 1

2 0 0 0 0! ! !

! !1 13 0 0 0 0

! ! !! !1 1

4 0 0 0 0! ! !

! !1 15 0 0 0 0

! ! !! !

1 1 !6 0 0 0 0! ! !

h p p p p p p

n N np

N N Nn N n

pN N N

n N np

N N Nn N n

pN N N

n N np

N N Nn N n

NpN N N

110


Notation for Posterior Probability given h and p

Listings

Posterior Probability of Latent Value Vectors for permutations of listing given h

* * * * * *

11 21

11 21

11 21

21 11

21 11

21 11

1 2 3 4 5 6

1 1

2 1

3 1

4 1

5 1

6 1

h p p p p p p Total

p p p

p p p

p p p

p p p

p p p

p p p

**

**

1 if

0 otherwise

kpp pp

kkk

v 0u u

0 w

1 2 H

* * * * * *

11 12 13 14 15 16

21 22 23 24 25 26

31 32 33 34 35 36

41 42 43 44 45 46

51 52 53 54 55 56

61 62 63 64 65 66

1 1 2 3 4 5 6

1

2

3

4

5

6

h p p p p p p

p

p

p

p

p

p

y y y y y y

y y y y y y

y y y y y y

y y y y y y

y y y y y y

y y y y y y

Prior

Data

Rosey

Daisyy Rosey

Daisyy

*

*

*

*

*

!!*

1 1

kkN nkk n

kkk k

pp

p

Posterior

Probability

given h

*

*

1| ,

! !

pp

h kkP h p

n N n

Y y

h When

111



Listings

Latent Value Vectors for posterior Given h

* * * * * *

11 21

11 21

11 21

21 11

21 11

21 11

1 2 3 4 5 6

1

2

3

4

5

6

h h

h h

h h

h h

h h

h h

h p p p p p p

p

p

p

p

p

p

y y

y y

y y

y y

y y

y y

**

**

1 if

0 otherwise

kpp pp

kkk

v 0u u

0 w

1 2 H

* * * * * *

11 12 13 14 15 16

21 22 23 24 25 26

31 32 33 34 35 36

41 42 43 44 45 46

51 52 53 54 55 56

61 62 63 64 65 66

1 1 2 3 4 5 6

1

2

3

4

5

6

h p p p p p p

p

p

p

p

p

p

y y y y y y

y y y y y y

y y y y y y

y y y y y y

y y y y y y

y y y y y y

Prior

Data

Rosey

Daisyy Rosey

Daisyy

*

* *

!!11

1 1

N nn

pp

mt p hhkk pm t

y u u y

Points in the

Posterior

given h

*

*

*

0

1

0

1

Ik

hkkhIIk

k I

hIIk

xv 0y

0 w y

v x

w y

For Posterior Points:

h When

0111

I

hhII

xy

y

112


Posterior

Points with

Positive Prob

1 2 H

* * * * * *

11 12 13 14 15 16

21 22 23 24 25 26

31 32 33 34 35 36

41 42 43 44 45 46

51 52 53 54 55 56

61 62 63 64 65 66

1 1 2 3 4 5 6

1

2

3

4

5

6

h p p p p p p

p

p

p

p

p

p

y y y y y y

y y y y y y

y y y y y y

y y y y y y

y y y y y y

y y y y y y

Prior

Data

Rosey

Daisyy Rosey

Daisyy

When

Listings

Latent Value Vectors for posterior Given h

* * * * * *

11 21

11 21

11 21

21 11

21 11

21 11

1 2 3 4 5 6

1

2

3

4

5

6

h h

h h

h h

h h

h h

h h

h p p p p p p

p

p

p

p

p

p

y y

y y

y y

y y

y y

y y

h

1

2

3

,

? , ?

ph

pphh

ph

Y

Y

Y

Y

Rosey

Daisyy Rosey

Daisyy

*

*

0

1

k I

hkkhIIk

v xy

w y

113


Posterior

Points with

Positive Prob

1 2 H

* * * * * *

11 12 13 14 15 16

21 22 23 24 25 26

31 32 33 34 35 36

41 42 43 44 45 46

51 52 53 54 55 56

61 62 63 64 65 66

1 1 2 3 4 5 6

1

2

3

4

5

6

h p p p p p p

p

p

p

p

p

p

y y y y y y

y y y y y y

y y y y y y

y y y y y y

y y y y y y

y y y y y y

Prior

Data

Rosey

Daisyy Rosey

Daisyy

h When

* *

* *

11 21

11 21

11 21

11 21

11 21

11 21

1 1 1 1

1

2

3

4

5

6

p ph hhkk hkk

h

Given P P

k kh k k

p p p

p p p

p p p

p p p

p p p

p p p

Y y Y y

Listings

* *

* *

11 21

11 21

11 21

11 21

11 21

11 21

1 2

1 1

1

2

3

4

5

6

p ph hhkk hkk

h h

h h

h h

h h

h h

h h

h k k

k k

p

p

p

p

p

p

Y y Y y

y y

y y

y y

y y

y y

y y

*

*

0

1

k I

hkkhIIk

v xy

w y

1

2

3

,

? , ?

ph

pphh

ph

Y

Y

Y

Y

Rosey

Daisyy Rosey

Daisyy

114


Posterior

Points with

Positive Prob

1 2 H

* * * * * *

11 12 13 14 15 16

21 22 23 24 25 26

31 32 33 34 35 36

41 42 43 44 45 46

51 52 53 54 55 56

61 62 63 64 65 66

1 1 2 3 4 5 6

1

2

3

4

5

6

h p p p p p p

p

p

p

p

p

p

y y y y y y

y y y y y y

y y y y y y

y y y y y y

y y y y y y

y y y y y y

Prior

Data

Rosey

Daisyy Rosey

Daisyy

Any Listing where h *

11 21

|

ph hhkk

h P

p p

Y y

*

*

0

1

k I

hkkhIIk

v xy

w y

1

2

3

,

? , ?

ph

pphh

ph

Y

Y

Y

Y

Rosey

Daisyy Rosey

Daisyy

*

1 0 2 0

1 111 211 1

ph hkk

I I

h hhII hII

h

h

Y y

v x v xy y

w y w y

* *

1| ,

! !p

h hkk kkP h p

n N n

Y y

115


1 2 H

* * * * * *

11 12 13 14 15 16

21 22 23 24 25 26

31 32 33 34 35 36

41 42 43 44 45 46

51 52 53 54 55 56

61 62 63 64 65 66

1 1 2 3 4 5 6

1

2

3

4

5

6

h p p p p p p

p

p

p

p

p

p

y y y y y y

y y y y y y

y y y y y y

y y y y y y

y y y y y y

y y y y y y

Prior

Data

Rosey

Daisyy Rosey

Daisyy

Any Listing where h * *

11 21

|

ph hhkk kk

h P p

p p

Y y

Often, * *kkk kp p p

implying that the probability of a permutation of the data is independentof a permutation of the remainderwhere

Define 0,

1 if with probability

0 otherwise I k I k

I k

pI

Y v x

* *

*

1

,


0 otherwise

hII hIIk kII k

pI

Y w y

*

*

* ** ***

! !!

, 0, 0,11 1

!!!11

, ,,11 1

N n nn

I k k II k k III kkk kI

N nN nnhII

hIII k hII II k kII k kkk k

II I

II I

v xv xY

Yw yw y

*

*

!

1

!

1

1 and

1

n

kk

N n

kk

p

p

,

? , ?

I

ph

hII

Y

Y

Y

Rosey

Daisyy Rosey

Daisyy

*

1 0 2 0

1 111 211 1

ph hkk

I I

h hhII hII

h

h

Y y

v x v xy y

w y w yDoesn’t depend on h

116

Bayesian Model- Exchangeable Prior Populations N=3the Posterior Random Variables

1 2 H

* * * * * *

11 12 13 14 15 16

21 22 23 24 25 26

31 32 33 34 35 36

41 42 43 44 45 46

51 52 53 54 55 56

61 62 63 64 65 66

1 1 2 3 4 5 6

1

2

3

4

5

6

h p p p p p p

p

p

p

p

p

p

y y y y y y

y y y y y y

y y y y y y

y y y y y y

y y y y y y

y y y y y y

Prior

Data

Rosey

Daisyy Rosey

Daisyy

and * *kkk kp p p

* *

*

!

, 01

!1

,1

n

I k k IkI

N nhII

hIIII k kk

I

I

v xY

Yw y

0

1

IIph

hII hII

VxYY

Y Wy

then

* *

*

!

,1

N n

II k kk

I

W w!

,1

n

I k kk

I

V v

Any Listing where h

* *

1| ,

! !p

h hkk kkP h p

n N n

Y y

Recall that

When, 1

!kp n *

1

!kp

N n

Independent, random permutation matrices

,

? , ?

I

ph

hII

Y

Y

Y

Rosey

Daisyy Rosey

Daisyy

117

Bayesian Model- Exchangeable Prior Populations N=3Posterior Distribution-Accounting for Populations

Posterior

Points with

Positive Prob

1 2 H

* * * * * *

11 12 13 14 15 16

21 22 23 24 25 26

31 32 33 34 35 36

41 42 43 44 45 46

51 52 53 54 55 56

61 62 63 64 65 66

1 1 2 3 4 5 6

1

2

3

4

5

6

h p p p p p p

p

p

p

p

p

p

y y y y y y

y y y y y y

y y y y y y

y y y y y y

y y y y y y

y y y y y y

Prior

Data

Rosey

Daisyy Rosey

Daisyy

Any Listing where *

1 111 121

2 211 221

3

4

5 511 521

11 21

I

hkkhII

H H H

h

Yy

Y

y y

y y

y y

y y

*

1 1 11 1 21

2 2 11 2 11

3

4

5 5 11 5 11

11 11

0 0

0 0

I

hkkhII

H H H

h P

p p p p

p p p p

p p p p

p p p p

Yy

Y

Any Listing where h

0

1

II

hII hII

VxY

Y Wy

,

? , ?

I

ph

hII

Y

Y

Y

Rosey

Daisyy Rosey

Daisyy

1 if

0 otherwiseh

hd

* | 1hH h d

Define

populations thatinclude the data

118

Bayesian Model- Exchangeable Prior Populations N=3Posterior Distribution-Accounting for Populations

Posterior

Points with

Positive Prob

1 2 H

* * * * * *

11 12 13 14 15 16

21 22 23 24 25 26

31 32 33 34 35 36

41 42 43 44 45 46

51 52 53 54 55 56

61 62 63 64 65 66

1 1 2 3 4 5 6

1

2

3

4

5

6

h p p p p p p

p

p

p

p

p

p

y y y y y y

y y y y y y

y y y y y y

y y y y y y

y y y y y y

y y y y y y

Prior

Data

Rosey

Daisyy Rosey

Daisyy

Define

*

1 1 1 11 1 21

2 2 2 11 2 11

3

4

5 5 5 11 5 11

11 11

0 0 0

0 0 0

Ih hkk

hII

H H H H

p h P

p p p p p

p p p p p

p p p p p

p p p p p

Yy

Y

Any Listing where h

0

1

II

hII hII

VxY

Y Wy

,

? , ?

I

ph

hII

Y

Y

Y

Rosey

Daisyy Rosey

Daisyy


0 otherwise h h

h

pI

where

*

hh

hh H

pp

p

119

Bayesian Model- Exchangeable Prior Populations N=3 Posterior Distribution-Accounting for Populations


1 2 H

* * * * * *

11 12 13 14 15 16

21 22 23 24 25 26

31 32 33 34 35 36

41 42 43 44 45 46

51 52 53 54 55 56

61 62 63 64 65 66

1 1 2 3 4 5 6

1

2

3

4

5

6

h p p p p p p

p

p

p

p

p

p

y y y y y y

y y y y y y

y y y y y y

y y y y y y

y y y y y y

y y y y y y

Prior

Data

Rosey

Daisyy Rosey

Daisyy

,

? , ?

I

ph

hII

Y

Y

Y

Rosey

Daisyy Rosey

Daisyy

1

1

1

1

H

h hh

HI

hh hII

H

h Ih

H

h hIIh

I

I

I

I

Y Y

Y

Y

Y

Y

* *

1 111 121

2 211 221

3

4

5 511 521

11 21

1 2

1 1

H H H

k kh

k k

y y

y y

y y

y y

* *

1 1 1 11 1 21

2 2 2 11 2 11

3

4

5 5 5 11 5 11

11 11

1 2

1 1

0 0 0

0 0 0

h

H H H H

k kp h

k k

p p p p p

p p p p p

p p p p p

p p p p p

120

Bayesian Model- Exchangeable Prior Populations N=3 Posterior Distribution-Accounting for Populations


1 2 H

* * * * * *

11 12 13 14 15 16

21 22 23 24 25 26

31 32 33 34 35 36

41 42 43 44 45 46

51 52 53 54 55 56

61 62 63 64 65 66

1 1 2 3 4 5 6

1

2

3

4

5

6

h p p p p p p

p

p

p

p

p

p

y y y y y y

y y y y y y

y y y y y y

y y y y y y

y y y y y y

y y y y y y

Prior

Data

Rosey

Daisyy Rosey

Daisyy

,

? , ?

I

ph

hII

Y

Y

Y

Rosey

Daisyy Rosey

Daisyy

since

where

1

1

H

h Ih I

HII

h hIIh

I

I

YY

YY

Y

1

1H

hh

I

1

H

II h hIIh

I

Y Y

121

Bayesian Model- Exchangeable Prior Populations N=3 Expected Value of Posterior Random Variables

1 2 H

* * * * * *

11 12 13 14 15 16

21 22 23 24 25 26

31 32 33 34 35 36

41 42 43 44 45 46

51 52 53 54 55 56

61 62 63 64 65 66

1 1 2 3 4 5 6

1

2

3

4

5

6

h p p p p p p

p

p

p

p

p

p

y y y y y y

y y y y y y

y y y y y y

y y y y y y

y y y y y y

y y y y y y

Prior

Data

Rosey

Daisyy Rosey

Daisyy

,

? , ?

I

ph

hII

Y

Y

Y

Rosey

Daisyy Rosey

Daisyy

Assume permutations of subjects in listing p are equally likely: * *kkk k

p p p

*

0

1

II

h hIIIIh H

I

VxY

WyY

*

*

**

0

1|

0

1

1

1

II

II h hIIh H

n n I

h N n N n hIIh H

x n x n

h hII N nh hII N nh Hh H

E

EE I E

n

E IN n

pE I

V xY

Y Wy

1 1 x

1 1 y

1 1

11

122

Bayesian Model- Exchangeable Prior Populations N=3 Variance of Posterior Random Variables

1 2 H

* * * * * *

11 12 13 14 15 16

21 22 23 24 25 26

31 32 33 34 35 36

41 42 43 44 45 46

51 52 53 54 55 56

61 62 63 64 65 66

1 1 2 3 4 5 6

1

2

3

4

5

6

h p p p p p p

p

p

p

p

p

p

y y y y y y

y y y y y y

y y y y y y

y y y y y y

y y y y y y

y y y y y y

Prior

Data

Rosey

Daisyy Rosey

Daisyy

,

? , ?

I

ph

hII

Y

Y

Y

Rosey

Daisyy Rosey

Daisyy

Assume permutations of subjects in listing p are equally likely: * *kkk k

p p p

*

0

1

II

h hIIIIh H

I

VxY

WyY

*

x nI

h hII N nIIh H

Ep

1Y

1Y

*

2

2varx n n N n

I

N n n h hII N nIIh H

p

P 0 0Y

0 0 PY

The mean of random variables for the data is the mean for the data.Random variables representing the data are independent of the remainder.The distribution of random variables for the data is a random permutation distribution

123

Exchangeable Prior Bayesian ModelAn Example: H=3, N=3, n=2

Populations

?

DataPrior Posterior


;

1,...,s

x

s n

1 2

1 2

1 2

1 2

H

H

H

H

L L L

p p p

1

2

3

,10 , ,5 , ,3

,10 , ,5 , ,6

,10 , ,2 , ,12

Rose Lily Daisy

Rose Lily Daisy

Rose Daisy Violet

1

2

3

6

7

8

1

2

3

0.2

0.6

0.2

p

p

p

124

Exchangeable Prior Bayesian Model- Example #1: H=3, N=3, n=2

Populations

?

Data

PriorPosterior

;

1,...,s

x

s n

1

2

3

,10 , ,5 , ,3

,10 , ,5 , ,6

,10 , ,2 , ,12

Rose Lily Daisy

Rose Lily Daisy

Rose Daisy Violet

10 5 3 31 2

31 2

31 2

, , , , , ,

86 7

0.20.2 0.6 pp p

10 5 6 , ,

10 122 , ,

, , 10 5 3

10 5 6 10 122

125


Populations

Data

Prior

Posterior

;

1,...,s

x

s n

10 5 3 31 2

31 2

31 2

, , , , , ,

86 7

0.20.2 0.6 pp p

1

2

3

10 5 6 , ,

10 122 , ,

, , 10 5 3

10 5 6 10 122

31 2

31 2

31 2

, , , , , ,

86 7

?? ? pp p

10 5 3 10 5 6 10 122

1

2

3

6

7

8

1

2

3

0.2

0.6

0.2

p

p

p

Prior

126


Populations

Data

Prior

Posterior

;

1,...,s

x

s n

10 5 3 31 2

31 2

31 2

, , , , , ,

86 7

0.20.2 0.6 pp p

1

2

3

10 5 6 , ,

10 122 , ,

, , 10 5 3

10 5 6 10 122

31 2

31 2

31 2

, , , , , ,

86 7

?? ? pp p

10 5 3 10 5 6 10 122

1

2

3

6

7

8

1

2

3

0.2

0.6

0.2

p

p

p

, 10 5

Suppose the Data is

Prior

127


Populations

Data

Prior

Posterior

10 5 3 31 2

31 2

31 2

, , , , , ,

86 7

0.20.2 0.6 pp p

1

2

3

10 5 6 , ,

10 122 , ,

, , 10 5 3

10 5 6 10 122

31 2

31 2

31 2

, , , , , ,

86 7

?? ? pp p

10 5 3 10 5 6 10 122

1

2

3

6

7

8

1

2

3

0.2

0.6

0.2

p

p

p

, 10 5

Prior

128

Exchangeable Prior Bayesian Model-An Example: H=3, N=3, n=2

Populations

Data

PriorPosterior

10 5 3 31 2

31 2

31 2

, , , , , ,

86 7

0.20.2 0.6 pp p

, 10 5

10 5 6 10 122

1 2

1 2

* *1 2

, , , ,

6 7

0.2 0.6

0.8 0.8p p

10 5 3 10 5 6

1

2

3

6

7

8

1

2

3

0.2

0.6

0.2

p

p

p

PosteriorPrior

1

2

6

7

1

2

0.25

0.75

p

p

129

Exchangeable Prior Bayesian Model- Example 2. H=3, N=3, n=2

Populations

Data

Prior

Posterior

;

1,...,s

x

s n

10 5 3 31 2

31 2

31 2

, , , , , ,

86 7

0.20.2 0.6 pp p

1

2

3

10 5 6 , ,

10 122 , ,

, , 10 5 3

10 5 6 10 122

31 2

31 2

31 2

, , , , , ,

86 7

?? ? pp p

10 5 3 10 5 6 10 122

1

2

3

6

7

8

1

2

3

0.2

0.6

0.2

p

p

p

, 10 12

Suppose the Data is

Prior

130

Exchangeable Prior Bayesian Model: Example 2. H=3, N=3, n=2

Populations

Data

Prior

Posterior

10 5 3 31 2

31 2

31 2

, , , , , ,

86 7

0.20.2 0.6 pp p

10 5 6 10 122

31 2

31 2

31 2

, , , , , ,

86 7

?? ? pp p

10 5 3 10 5 6 10 122

1

2

3

6

7

8

1

2

3

0.2

0.6

0.2

p

p

p

, 10 12

Prior Posterior

131

Example 2: Exchangeable Prior Bayesian Model: H=3, N=3, n=2

Populations

Data

Prior

Posterior

10 5 3 31 2

31 2

31 2

, , , , , ,

86 7

0.20.2 0.6 pp p

10 5 6 10 122

31 2

31 2

31 2

, , , , , ,

86 7

?? ? pp p

10 5 3 10 5 6 10 122

1

2

3

6

7

8

1

2

3

0.2

0.6

0.2

p

p

p

, 10 12

Prior Posterior

132

Exchangeable Prior Bayesian Model Example 3. H=3, N=3, n=2

Populations

Data

Prior

Posterior

;

1,...,s

x

s n

10 5 3 31 2

31 2

31 2

, , , , , ,

86 7

0.20.2 0.6 pp p

1

2

3

10 5 6 , ,

10 122 , ,

, , 10 5 3

10 5 6 10 122

31 2

31 2

31 2

, , , , , ,

86 7

?? ? pp p

10 5 3 10 5 6 10 122

1

2

3

6

7

8

1

2

3

0.2

0.6

0.2

p

p

p

, 10 12

Suppose the Data is

Prior

133


Posterior

1

2

3

10 5 6 , ,

10 122 , ,

, , 10 5 3

31 2

31 2

31 2

, , , , , ,

86 7

?? ? pp p

10 5 6 10 122

1

2

3

6

7

8

1

2

3

0.2

0.6

0.2

p

p

p

Prior

Populations

Data

Prior

10 5 3 31 2

31 2

31 2

, , , , , ,

86 7

0.20.2 0.6 pp p

, 10

10 5 6 10 122

12

10 5 3

134


Populations

Data

Prior

Posterior10 5 3

31 2

31 2

31 2

, , , , , ,

86 7

0.20.2 0.6 pp p

, 10

10 5 6 10 122

3

3

*3

, ,

8

0.2

0.2p

10 122

12

Prior

1

2

3

6

7

8

1

2

3

0.2

0.6

0.2

p

p

p

Posterior

3 8 3 1p

Documents

1 Finite Population Inference for the Mean from a Bayesian Perspective Edward J. Stanek III Department of Public Health University of Massachusetts Amherst,