מספר אחרי וידיאו עקיבתבאוויר מטרות

ד"ר גבי דוידובשם המנחה:

ליהי שילהמבצעות:

יעל בקרמן

הטכניון - מכון טכנולוגי לישראל TECHNION - ISRAEL INSTITUTE OF TECHNOLOGY

הפקולטה להנדסת חשמלהמעבדה לבקרה ורובוטיקה

מוטיבציה

המצגת מבנה

הבעיה • הצגת

ופתרון • התמודדות

העקיבה • אלגוריתם

הפרוייקט • תרחיש

ומסקנות • סיכום

הבעיה הצגת

מטרות מספר אחר וידאו :עקיבת עם התמודדות תוך באוויר

והתנהגות מאפייניהמטרה

" שטח" תנאי

מרובת • חריפה דינמיקה

קפיצות

מהפריים • המטרה יציאת

המטרה • וצורת גודל שינוי

נלווים • שובלים

דומות • מטרות ריבוי

ולילה • יום מצבי

משתנה • רקע

עננים • הסתרות

מהשמש • פגיעה

סירטון • איכות

שטח " תנאי עם "התמודדות

מידע - • יותר קיים ביום בתמונה ולילה יום מצבי

, אפור גווני בלילה בעוד בצבע הטמון

• - בזווית כתלות משתנה הרקע צבע משתנה רקע

, ושמש, הצילום איכות הצילום

משתנה פתרון- סף ערך בעזרת מטרות איכון

-" שטח " תנאי עם התמודדותהמשך

th=60

200 400 600

100

200

300

400

500

th=100

200 400 600

100

200

300

400

500

?

עננים • הסתרות

( פתרון- סף ) וערך קלמן מסנן הסתרה מנגנון

משתנה

מהשמש • פגיעהבקרבת פתרון- בהירים פיקסלים זיהוי

למטרה והוספתם שנפגעו האובייקטים

-" שטח " תנאי עם התמודדותהמשך • - סירטון איכות

מצלמה תזוזת

יחסי פתרון- מיקום ידי על תיקון אפקט רקע רעשעיבוד פתרון- פונקציית בפיתוח רבות שעות הושקעו

תמונה

מאפייני עם התמודדותהמטרה והתנהגות

קפיצות • מרובת חריפה דינמיקה

תיקון ) פתרון- תמונה ובעיבוד במסנן שימוש בין שילוב

) " " ת ענ י ע מטרה מיקום

מהפריים • המטרה יציאת

היציאה פתרון- לפני האחרון במקום יחכה העוקב

( . כאשר יתבצע הפריים כל על סריקה ותתבצע מהפריים

קרובה הייתה הקודם ובפריים בהסתרה כעת המטרה

) הפריים לשפת

- המטרה והתנהגות מאפייני עם התמודדותהמשך

המטרה • וצורת גודל שינוי

אדפטיבי פתרון- חיפוש חלון

נלווים • שובלים

" פתרון- מאפייני ניצול י ע המטרה לבין בינם הפרדה

הגאומטרית וצורתם הצבע

דומות • מטרות ריבוי

במסנן פתרון- ושימוש תיקוף מטריצת JPDAFיצירת

So… How does it work?ראשוני עיבודפרמטרים אתחול

מטרות רכישת

תמונה עיבודתמונה קבלת

בינארית

בתוך קורלציהחיפוש חלון

מטריצת בנייתתיקוף

פרמטרים עידכוןהמטרות העבודה עדכון סביבת

Matlabהינה

לחיפוש הפריים סריקתמטרות ושיוך נוספת מטרה

NNלפי

מקום שערוך " מסנן י JPDAFע

מסנן JPDAFחידוש

מקום שערוך " מסנן י kalmanע

מסנן חידושkalman

מטרה מיקום תיקון " ת" ענ י ע

כל המטרות

נמצאו

מטרה כןאחת

כן לא

לא

ראשוני פריים ניתוח•- מהמשתמש פרמטרים קבלת

צבע אלמנט לכל ראשוני סף ערך גאומטריה כולל המטרה ממדי הראשון בפריים מטרות מספר

ראשונה • בינארית תמונה לקבלת תמונה עיבודהמסננים • של פרמטרים איתחולמטרה – • כל עבור יצירה

עדכנית רפרנס תמונת חיפוש חלון גבולות) , מפריים ) יציאה הסתרה המטרה סטאטוס חיווי הראשון הפריים על המטרה סימון

תמונה לקבלת תמונה עיבודבינארית מהרקע. – 1 המטרות imbothatהבלטת

" פעולות י ע אחיד רקע יצירתהמטרות של והפחתה הרחבה

הבניה אלמנט לפי הנקבעות

הצבע. 2 מאלמנטי אחד כל עבור מסיכה RGBיצירת" " ל הנ התמונה עבור משתנה סף בחיתוך שימוש י ע

bothat frame

red mask green mask

blue mask

combined mask

color frame

משולבת. 3 אחת מסיכה יצירת אובייקטים imfillמילוי קטנים אובייקטים ניקוי

bwareaopen קרובים אובייקטים חיבור

bwmorph

המשך - תמונה עיבודהבהירים. 4 האזורים עבור נוספת מסיכה יצירת

" צבע למרחב מעבר י ע HSVבתמונה

מתוייגת. 6 ותמונה בינארית תמונה - bwlabelיצירת " י ע כמטרות מאופיינים שאינם אובייקטים סינון

גיאומטרים כמקודם Regionpropsמאפיינים וניקוי

bright maskfinal mask

labeled frame

binary frame

5– " השניה." על אחת המסיכות הלבשת " הנמצאים " בהירים פיקסלים הוספת

ברדיוספיקסלים מעשרה הקטן

מהאובייקטים. המקורית במסיכה

חיפוש חלון בתוך קורלציה

ספירלה • בפונקציית חיסכון( - spiral)שימוש

בסיבוכיות

• - אחת מטרה קורלציה עבור ידי על מטרה בחירת

מקסימלית

- מטרות מספר לוקליות עבור מקסימות בחירת

, מעל ערכן אשר הקורלציה 0.6ממטריצת

רפרנס - • תמונות בנק מטרות רכישתחלון חיפוש

רפרנס תמונת

תועות " מטרות "חיפוש

מדידות 1. נמצאו האם והאם שונותבדיקה המטרות לכלהמדידות למספר שווה או קטן בפריים האובייקטים מספר

.2 " , שימוש י ע לאובייקטים מדידות שיוך ולא במידה." " ת " ענ תיקון בפונקציית

שוייכו – 3. שלא האובייקטים כל עבורנמצאו לא שעבורן המטרות לבין בינם קורלציה בדיקת

, המדידה שיוך מספקת התאמה ונמצאה ובמידה מדידות. " ל הנ למטרה

מטרה – 4. סטאטוס חיווי עדכון" הסתרה " חיווי ביטול" " המסנן " י ע נמצאה לא מטרה חיווי

מיקום לאיבוד הגורמת חריפה דינמיקה עם התמודדותהמטרה

Kalman Filterלפי • המערכת את :ממדל מצב משוואות

הנחנו כאשר

המסנן - • פרמטרי , עבור גם ותקפים וטעיה ניסוי לאחר נבחרו הפרמטרים

JPDAF • " בכיוון- " חיזוי להמשך ירוק אור למסנן ניתן בהסתרה

התנועה-. המסנן שיערוך באמצעות ניתן הבא החיפוש חלון קידום

[ 1] [ ] [ ] [ ]

[ ] [ ] [ ] [ ]

x k A k x k v k

z k C k x k w k

( ) ~ (0, ) , ( ) ~ (0, )v k N Q w k N R

211 T T 0 0 0

20 1 T 0 0 0

1 0 0 0 0 0 0 0

0 0 0 1 0 0

x

x

x

y

y

y

location

velocity

accelerationC k x k A k

location

velocity

acceleration

2

1 0 0 0

10 0 0 1 T T

20 0 0 0 1 T

0 0 0 0 0 1

6 6 2 21, 1 , 0.5T Q I R I

JPDAFמסנן •- תיקוף מטריצת -0מטריצת יצירת ו' , 1ים ים'

בחלון 1כאשר נמצאת אשר מדידה מייצג. מטרה של חיפוש

1 1 0 0

1 1 0 0

1 1 1 0

1 0 1 0

1 0 1 1

1 0 0 1

מטרה 1

מטרה 3

מטרה 2

מטרה 1

מטר3ה

מטרה 2

מדי

דו

ת

מטרת

דמה

מתחת ) מאוד קרובות מדידות ) יאוחדו המטוס אלכסון לאורך

אחת למדידה

המשך- JPDAFמסנן •- , ההנחות תחת סבירות לפי למטרות מדידות שיוך

אחת ממדידה היותר לכל נובעת מטרה כל אחת ממטרה יותר ללא שייכת מדידה כל

- ועמודה שורה , 1בכל הדמה למטרת תקף לא אחד בפריים למצב האפשריות הקומבינציות על חישוב

, נמוכה סבירות תקבל סביר לא מאורע מתארת אשר תיקוף מטריצתהאלגוריתם בהמשך

1 1 0 0

1 1 0 0

1 1 1 0

1 0 1 0

1 0 1 1

1 0 0 1

מטרה 1

מטרה 3

מטרה 2

מטרה 1

מטר3ה

מטרה 2

מדי

דו

ת

מטרת

דמה 0 1 0 0 1 0 0 0

1 0 0 0 0 1 0 0

0 0 1 0 0 0 1 0, ...

1 0 0 0 1 0 0 0

0 0 0 1 1 0 0 0

1 0 0 0 0 0 0 1

המשך- JPDAFמסנן ביותר • הגבוהה ההסתברות בעלת התיקוף מטריצת בחירת•. - המצב וקטור עידכון מטרה כל של נוכחי מיקום שיערוך•. - המצב וקטור חידוש הבא בפריים המטרה מיקום חיזוי

- סופי מאורע

1מטרה

3מטרה

20מטרה 1 0 0

1 0 0 0

1 0 0 0

0 0 1 0

0 0 0 1

1 0 0 0

" ת ענ תיקון פונקציית

בפקודה • המטרות Bwdistשימוש של נכון לשיוך

המטרות • במיקום יותר טוב דיוק קבלת

1 0 0

0 0 0

0 0 1

a

0 1 2 1 1 9

1 1.4142 1 1 1 9

2 1 0 1 9 9

D L

" הקרוב לאובייקט שיוכה י ע שנחזתה המטרה מיקום תיקוןביותר אליה

++

-50 0 50 100 150 200 250 3000

5

10

15

20

25

30

35blue component

-50 0 50 100 150 200 250 3000

5

10

15

20

25

30

35green component

-50 0 50 100 150 200 250 3000

5

10

15

20

25

30

35red component

ומטרות פרמטרים עידכון

רפרנס • תמונות בנק עידכוןהרפרנס • תמונות ממדי עידכוןמטרות • של מסה מרכז עידכוןמשתנה • סף ערך חישוב מתרחש מחדש פריים בכל

-) רפרנס) תמונת לכל

67 1

55 153

43 14

63

1

th

הפרוייקט תרחיש

סיכום מטוסים מספר אחר העקיבה בעיית הוצגה

שלביו כל על העקיבה אלגוריתם תואר

הפרוייקט ויחודייות הבעיות עם ההתמודדות דרכי הוסברו

המטרות למציאת צבעונית בתמונה החבוי המידע מוצה

אופטימלית ולעקיבה

תנאים בעלי שונים סרטים בארבעה מטרות אחר עקיבה

! בהצלחה/ הושלמה קיצוניים שונים

מסקנות ברורה מטרה לקבלת הפריים של מקדים בעיבוד צורך יש

טובה ועקיבה גבוהה סיבוכיות בעלת התמונה עיבוד פונקציית פריים בכל המטרות בנק את לעדכן צורך לקבלת יש

יותר מדוייקת עקיבה , " מסיכה " בבניית צורך יש בעייתי שטח תנאי לכל

אותו המאפיינת , , הינו סף ערך כדוגמת אדפטיביים בפרמטרים שימוש

, משמעותית המשתנה חריפה בדנימקה לטיפול חובהלפריים מפריים

, שימוש משמעי חד באופן להבלטה ניתנת המטרה כאשרומסנן בקורלציה משימוש יותר ויעיל מהיר מסה במרכז

קלמן את מייעל המטרה של הגאומטרים במאפיינים שימושים

העקיבה

המשך כיווני•. התרחישים כל עם המתמודד יחיד עקיבה אלגוריתם יצירת

•. " תנועה גילוי י ע אוטומטי מטרות זיהוי

מטרות • מספר אחר .שונותעקיבה

הקלמן • מסנן פרמטרי לאדפטיביים R,Qשינוי

•. המטרה חזות של מהירה בהשתנות טיפול

•. מטרות מספר של הצטלבות זיהוי

•. העקיבה לשיפור מהקורלציה המידע מיצוי

סיבוכיות • הורדת

קשבה

הה על דה!!!תו

עקיבה טכניקות

מסה • מרכז

לבן – שחור לתמונות מתאים

נמוכה – סיבוכיות

מטרות – לריבוי מתאים לא

1

1

N

i ii

c N

ii

I xx

I

1

1

N

i iiN

ii

I xx

I

O N M

340 360 380 400 420 440 460 480 500

180

200

220

240

260

280

300

320 340 360 380 400 420 440 460 480

180

200

220

240

260

280

300

340 360 380 400 420 440 460 480 500

180

200

220

240

260

280

300

combinary

- המשך עקיבה טכניקות

קורלציה•

וחלון – רפרנס תמונת בין התאמה מציאת

בפריים חיפוש

רכיב – לכל במסכות ושימוש לצבע התאמה

צבע

גבוהה – סיבוכיות

, ,

2 2

, ,

,m n m n

n m

m n m nn m n m

A A B Bcorr A B

A A B B

2 2O N M

20 40

10

20

3020 40

102030

1020304050

102030

1020304050

102030

1020304050

20

4020 40

20

4020 40

20

40200 400 600

100200300400500

20 40

10

20

3020 40

102030

1020304050

102030

1020304050

102030

1020304050

20

4020 40

20

4020 40

20

40200 400 600

100200300400500

20 40

10

20

3020 40

102030

1020304050

102030

1020304050

102030

1020304050

20

4020 40

20

4020 40

20

40200 400 600

100200300400500

20 40

10

20

3020 40

102030

1020304050

102030

1020304050

102030

1020304050

20

4020 40

20

4020 40

20

40200 400 600

100200300400500

- המשך עקיבה טכניקות

קלמן • מסנן

המתוארת – מערכת של האופטימלי המשערך

, הגאוסיים הרעשים הנחת תחת מצב במרחב

המדידות – בהינתן המטרה של המצב וקטור שיערוך

המטרה – מיקום חיזוי

קודמים – בפרוייקטים בהרחבה נידון

- המשך עקיבה טכניקותJPDAF

•PDAF .מטרה אחת ומספר מדידות- •JPDAF.מספר מטרות ומספר מדידות -

- שיוך מדידה למטרה בהסתברות

1מטרה

3מטרה

2מטרה

מדידות

color frame

200 400 600

100

200

300

400

500

red component

200 400 600

100

200

300

400

500

green component

200 400 600

100

200

300

400

500

blue component

200 400 600

100

200

300

400

500

צבע מרחבי בשני שימוש נעשה בפרוייקטעיקריים-

1 )RBG -קומבינציה ידי על צבע כל לייצג ניתן. , ואדום ירוק כחול הצבעים של לינארית

מהרקע מטרות להבלטת שימושי

צבע מרחבי

2 ))Hue Saturation Value(HSV כל קואורדינטה -מייצגת תכונה של הצבע המבוקש (מקבלת ערכים

):1 ל0בין

שימושי להתמודדות עם בהירות השמש

- המשך צבע מרחבי

original picture Hue

Saturation Value

גוון

רוויהבהירות

לעיבוד מורפולגיות שיטותתמונה

בינארית – • לתמונה מעבר סף חיתוך•Bwlabelהפרדת התמונה לאובייקטים וסימונם - •Regionprops מאפיינים גיאומטריים של –

האובייקט

And many many more…

שימושי למציאת המדידות השונות וזיהויין כמטרה

200 400 600

100

200

300

400

500

200 400 600

100

200

300

400

500

200 400 600

100

200

300

400

500

th bwlabel

קו - יישור בסיסים מושגיםאוסף – • המניב החיפוש בחלון הקורלציה תוצאת מדידות

המטרה להימצאות פוטנציאלים מיקומים

ביותר – • הגבוהה סבירות בעלת שנבחרה מדידה מטרה

המבוקשת המטרה להיות

הבינארית – • בתמונה שתוייגו פיקסלים אוסף אובייקט

אחת כמקשה

למיקום – • המסנן שחזה המקום סביב מסגרת חיפוש חלון

המטרה

פריימים – • הנקראות תמונות מאוסף מורכב סרט כל פריים