Robot nhn din ngi thn

MC LC

MC LC..................................................................................................................... 1
DANH MC HNH V................................................................................................3
LI CM N................................................................................................................ 5
LI M U...............................................................................................................6
CHNG 1. KHI QUT V X L NH V BI TON PHT HIN MT
NGI.......................................................................................................................... 9
1.1. Khi qut v x l nh.........................................................................................9
1.1.1. Mt s khi nim c bn...............................................................................9
1.1.2. Mt s vn trong x l nh.....................................................................10
1.1.3. Mt s ng dng trong x l nh................................................................12
1.2. Bi ton pht hin mt ngi.............................................................................13
1.2.1. Gii thiu v bi ton xc nh mt ngi trong nh...................................13
1.2.2. nh ngha bi ton xc nh mt ngi......................................................13
CHNG 2. BI TON NHN DIN MT NGI..............................................14
2.1. Bi ton nhn dng mt ngi...........................................................................14
2.2. Nhng kh khn ca nhn dng khun mt.......................................................14
2.3. Tm quan trng ca bi ton nhn din mt ngi............................................15
2.4. Cc ng dng c trng ca bi ton nhn din mt ngi...............................16
Cc ng dng khc:...............................................................................................17
2.5.Xy dng h thng nhn din mt ngi c trng............................................17
2.6. Mt s phng php nhn din mt ngi........................................................18
2.6.1. Da trn tri thc..........................................................................................19
2.6.2. Hng tip cn da trn c trng khng thay i.....................................22
2.6.3. Hng tip cn da trn so khp mu.........................................................25
2.6.4. Hng tip cn da trn din mo...............................................................28
CHNG 3. C S L THUYT............................................................................35
3.1. Pht hin mt ngi...........................................................................................35
n 2

Trang 1

Robot nhn din ngi thn

3.1.1.Tip cn Boosting.........................................................................................35
3.1.2.Adaboost......................................................................................................36
3.1.3.Cc c trng Haar-Like..............................................................................40
3.1.4.Cascade of Classifiers..................................................................................43
3.1.5.Cascade of boosting classifiers.....................................................................45
3.2. Nhn din mt ngi.........................................................................................46
3.2.1. Nhn dng da trn mi quan h gia cc phn t (Feature Based)............46
3.2.2. Nhn dng da trn xt ton din khun mt (Appearance Based).............47
3.2.3. Ni dung phng php PCA.......................................................................49
3.3. S khi ca h thng....................................................................................52
3.3.1. S khi phn cng..................................................................................52
3.3.2. S khi phn mm..................................................................................53
3.3.3. Thit k h thng cho chng trnh nhn din khun mt...........................53
CHNG 4. XY DNG THC NGHIM.............................................................55
4.1. S lc v OpenCV...........................................................................................55
4.2. S lc v phn cng Kit Raspberry Pi 3..........................................................56
4.3. S lc v b iu khin m ca R-le.............................................................57
4.4. S lc Webcam Logitech C270.......................................................................59
4.5. Kt qu thc nghim..........................................................................................60
CHNG 5. KT LUN V HNG PHT TRIN..............................................62
5.1. Kt lun.............................................................................................................62
5.2. Hng pht trin................................................................................................62
TI LIU THAM KHO...........................................................................................64

n 2

Trang 2

Robot nhn din ngi thn

DANH MC HNH V
Hnh 1. Qu trnh x l nh
Hnh 2. Cc bc c bn trong mt h thng x l nh
Hnh 3. H thng nhn din mt ngi c trng
Hnh 4: Mt phng php xc nh khun mt in theo hng tip cn top-down
Hnh 5: Phng php chiu
Hnh 6. Kt cu khun mt
Hinh 7. Mu sc da mt
Hnh 8: Mt mu khun mt
Hnh 9. Cc vector quan st hun luyn cho HMM
Hnh 10. Cc trng thi n
Hnh 11. Xc nh khun mt bng HMM
Hnh 12. Boosting
Hnh 13. S khi thut ton AdaBoost
Hnh 14. t trng Haar-like c bn
Hnh 15. Cc c trng m rng ca cc c trng Haar-like c s
Hnh 16. Cch tnh Integral Image ca nh
Hnh 17. V d cch tnh nhanh tng cc im nh ca vng D trn nh
Hnh 18. Cascade of classifiers
Hnh 19. Cascade of boosting classifiers
Hnh 20. H thng pht hin mt ngi trong nh s dng Cascade of classifier
Hnh 21. Lu thut ton tnh c trng mt trong tp hun luyn
Hnh 22. Lu thut ton tnh nhn din hnh nh khun mt

n 2

Trang 3

Robot nhn din ngi thn

Hnh 23. S khi cho phn cng
Hnh 24. S khi cho ng dng
Hnh 25. Cc thnh phn chng trnh nhn din mt ngi
Hnh 26. Cu trc c bn ca OpenCV
Hnh 27. Raspberry Pi 3
Hnh 28. B iu khin R-le
Hnh 29. Webcam Logitech C270
Hnh 30. Nhn din l ngi thn
Hnh 31. Nhn din khng phi l ngi thn

n 2

Trang 4

Robot nhn din ngi thn

LI CM N
hon thnh n ny, em xin t lng bit n su sc n C ThS. H Th Kim
Hong, tn tnh hng dn trong sut qu trnh vit Bo co n. Em chn thnh
cm n qu Thy,C trong khoa Ky Thu t My Tnh, Trng i Hc Cng Ngh
Thng Tin TP. H Ch Minh tn tnh truyn t kin thc trong nhng nm em hc
tp.
Vi vn kin thc c tip thu trong qu trnh hc khng ch l nn tng cho qu
trnh nghin cu n m cn l hnh trang qu bu em bc vo i mt cch
vng chc v t tin. V c bit, trong hc k ny. Nu khng c nhng li hng
dn, dy bo ca cc thy c th em ngh n ny ca em rt kh c th hon thin
c.
Mt ln na, em xin chn thnh cm n c. Bi bo co n thc hin trong khong
thi gian gn hn hai thng. Bc u tm hiu ca chng em cn hn ch v cn
nhiu b ng.
ng thi do trnh cng nh kinh nghim thc tin cn hn ch nn bi bo co
khng th trnh khi nhng thiu st, em rt mong nhn c kin ng gp ca C
em hc thm c nhiu kinh nghim v s hon thnh tt hn bi lu n vn tt
nghi p sp ti.
Em xin chn thnh cm n!

n 2

Trang 5

Robot nhn din ngi thn

LI M U
Hin nay, vn kim sot an ninh ang l mt trong nhng vn c quan tm
hng u trn ton th gii. Bi ton nhn dng v vy c quan tm rt nhiu. Trong
vn nhn dng con ngi, c nhiu phng php c a ra v c chnh xc
cao. Cc bi ton nhn dng c p dng theo hai con ng: nhn dng offline v
nhn dng online.
Nhn dng offline: i tng c thu thp thnh cc file d liu v c
chuyn v trung tm. Ti , cc s liu s c phn tch x l, thi x l
khng yu cu qu kht khe.
Nhn dng online: i tng c thu thp v x l trc tip ti hin trng.
Thi gian x l lun c yu cu kht khe c th bm theo c i tng.
Mt bi ton nhn dng con ngi ang ph bin hin nay:

Nhn dng vn tay

Nhn dng bn tay
Nhn dng vn mt
S dng th xc nhn

Cc phng n nhn dng trn qua mt thi gian di pht trin nn t c

chnh xc cao. Tuy nhin, cc phng php ny vn cn gp phi mt s hn ch nh
sau:
Cc h thng trn i hi ngi s dng phi tip xc trc tip vi h thng,
ngi thc c rng mnh ang c nhn dng.
Vi cc h thng th xc nhn, ngi nhn bit yu cu phi c th, iu ny
ch c th p dng vi cc thnh vin thng xuyn ra vo h thng.
Vi cc h thng vn mt, vn tay, khng phi bao gi ta cng c th ly
c mu ca i tng.
Nhn dng da vo vn tay, bn tay, vn mt, th xc nhn, khng phi l
cch t nhin m con ngi s dng nhn bit
Hin nay, vi s pht trin ca ton hc v khoa hc my tnh, mt trong cc bi ton
nhn dng ang c quan tm nghin cu nhiu l nhn dng khun mt. Mc d
n 2

Trang 6

Robot nhn din ngi thn

nhn dng khun mt hin nay cha t c chnh xc cao nh mt s phng
php khc nu trn (v d nhn dng vn tay), nhng nhn dng khun mt vn
lun nhn c nhiu s quan tm ca khoa hc v mt s cc l do nh sau:
N gn lin vi cch m con ngi nhn bit.
Vi cc h thng camera s, ta c th d dng ly c thng tin v i tng
m khng cn tip xc trc tip.
Gim st c i tng mt cch kn o.
Cc thut ton phc tp c h tr bi cc h my tnh c tc cao
Nhn dng khun mt offline c nhiu cng trnh cng b v cc thut ton c
chnh xc tng i cao. Tuy nhin kt hp vi cc h thng khc to ra mt h
thng nhn dng online th vn cha t c kt qu mong i. H thng nhn dng
mt ngi online s mang li thm mt gii php kim sot an ninh ph hp vi cc
iu kin m cc h thng nhn dng khc khng tha mn c. Vi h thng nhn
dng mt ngi online c c tin cy cao hn, th cc iu kin u vo nn c
quy nh cht ch hn.
n c thc hin vi mc ch nghin cu xy dng mt h thng nhn
dng mt ngi online nh trn.
Yu cu t ra ca n nh sau: xy dng mt h thng nhn dng mt ngi online
vi u vo l nh khun mt ngi cn nhn dng, c thu thp bng camera s,
u ra l kt qu nhn dng cho khun mt .
Nhim v t ra ca n l gii quyt yu cu trn.
c th x l c bi ton trn, n xut hng tip cn l s dng cc ky
thut x l nh s. Cc nh s c thu thp bng camera s v x l thng qua my
tnh PC. y l h thng nhn dng online nn c yu cu v thi gian.
Bi ton nhn dng mt ngi online l s kt hp ca 2 bi ton:
Bi ton xc nh mt ngi trong nh s (Human Face Detection)
Bi ton nhn dng mt ngi (Face Recognition)

n 2

Trang 7

Robot nhn din ngi thn

Trong hai bi ton ny, bi ton xc nh mt ngi l bi ton mang tnh quyt nh
ti chnh xc ca h thng. Khun mt c xc nh tt s mang li kt qu cao
cho qu trnh nhn dng. Vic la chn phng n gii quyt hai bi ton trn phi
tnh ton ti thi gian x l. Do h thng l online, nn c th theo di c i
tng th thi gian x l phi nhanh.
Vi mc tiu chnh l tm hiu thng tin, cc bi ton v gii php v nhn din
khun mt, ng thi p dng vo bi ton thit k Robot nhn din ngi thn,
n c trnh vi nhng ni dung di y.

CHNG 1. KHI QUT V X L NH V BI TON PHT HIN

MT NGI
1.1. Khi qut v x l nh
1.1.1. Mt s khi nim c bn
X l nh l mt trong nhng mng quan trng nht trong ky thut th gic my
tnh, l tin cho nhiu nghin cu thuc lnh vc ny. Hai nhim v c bn ca qu
trnh x l nh l nng cao cht lng thng tin hnh nh v x l s liu cung cp cho
cc qu trnh khc trong c vic ng dng th gic vo iu khin.
n 2

Trang 8

Robot nhn din ngi thn

Qu trnh bt u t vic thu nhn nh ngun (t cc thit b thu nhn nh dng
s hoc tng t) gi n my tnh. D liu nh c lu tr nh dng ph hp vi
qu trnh x l. Ngi lp trnh s tc ng cc thut ton tng ng ln d liu nh
nhm thay i cu trc nh ph hp vi cc ng dng khc nhau.
Qu trnh x l nhn dng nh c xem nh l qu trnh thao tc nh u vo
nhm cho ra kt qu mong mun. Kt qu u ra ca mt qu trnh x l nh c th l
mt nh c x l hoc mt kt lun.

nh c x
l
nh

X l
nh
Kt lun
Hnh 1. Qu trnh x l nh

nh c th xem l tp hp cc im nh v mi im nh c xem nh l c trng

cng sng hay mt du hiu no ti mt v tr no ca i tng trong
khng gian v n c th xem nh mt hm n bin P(c,c1,c2,).Do ,nh trong x l
nh c th xem nh nh n chiu .

* S tng qut ca mt h thng x l nh:

H
quyt
nh
Thu
nhn

Tin x
l

Trch
chn c
im

i snh
nhn
dng

Hu x
l

Lu tr

n 2

Trang 9

Robot nhn din ngi thn

Hnh 2. Cc bc c bn trong mt h thng x l nh

1.1.2. Mt s vn trong x l nh
1.1.2.1. Cc h thng x l nh
a. Tin x l:
Tin x l l giai on u tin trong x l nh s. Tu thuc vo qu trnh x
l tip theo trong giai on ny s thc hin cc cng on khc nhau nh: nng cp,
khi phc nh, nn chnh hnh hc, kh nhiu v.v..
b. Trch chn c im:
Cc c im ca i tng c trch chn tu theo mc ch nhn dng trong
qu trnh x l nh. Trch chn hiu qu cc c im gip cho vic nhn dng cc i
tng nh chnh xc, vi tc tnh ton cao v dung lng nh lu tr gim.
c. i snh, nhn dng:
Nhn dng t ng (automatic recognition), m t i tng, phn loi v phn
nhm cc mu l nhng vn quan trng trong th gic my, c ng dng trong
nhiu ngnh khoa hc khc nhau. V d mu c th l nh ca vn tay, nh ca mt vt
no c chp, mt ch vit, khun mt ngi hoc mt k tn hiu ting ni.
Khi bit mt mu no , nhn dng hoc phn loi mu .H thng nhn dng t
ng bao gm ba khu tng ng vi ba giai on ch yu sau y:
Thu nhn d liu v tin x l.
Biu din d liu.
Nhn dng, ra quyt nh.
Bn cch tip cn khc nhau trong l thuyt nhn dng l:

i snh mu da trn cc c trng c trch chn.

Phn loi thng k.
i snh cu trc.
Phn loi da trn mng n-ron nhn to.

n 2

Trang 10

Robot nhn din ngi thn

Trong cc ng dng r rng l khng th ch dng c mt cch tip cn n l
phn loi ti u do vy cn s dng cng mt lc nhiu phng php v cch tip
cn khc nhau. Do vy, cc phng thc phn loi t hp hay c s dng khi nhn
dng v nay c nhng kt qu c trin vng da trn thit k cc h thng lai
(hybrid system) bao gm nhiu m hnh kt hp.
1.1.2.2. Cc hnh thi ca nh
a.Chuyn nh mu thnh nh xm:
n v t bo ca nh s l pixel. Ty theo mi nh dng l nh mu hay nh
xm m tng pixel c thng s khc nhau. i vi nh mu tng pixel s mang thng
tin ca ba mu c bn to ra bn mu kh kin l (R), Xanh l (G) v Xanh bin
(B) [Thomas 1892]. Trong mi pixel ca nh mu, ba mu c bn R, G v B c b
tr st nhau v c cng sng khc nhau. Thng thng, mi mu c bn c biu
din bng tm bit tng ng 256 mc mu khc nhau. Nh vy mi pixel chng ta
s c 28x3=224 mu (khong 16.78 triu mu). i vi nh xm, thng thng mi
pixel mang thng tin ca 256 mc xm (tng ng vi tm bit) nh vy nh xm hon
ton c th ti hin y cu trc ca mt nh mu tng ng thng qua tm mt
phng bit theo xm.
b.Lc xm ca nh (Histogram):
Lc xm ca mt nh s c cc mc xm trong khong [0,L1] l mt
hm ri rc p(rk)=nk/n . Trong nk l s pixel c mc xm th rk, n l tng s pixel
trong nh v k=0,1,2....L1. Do P(rk) cho mt xp x xc sut xy ra mc xm rk.
V hm ny vi tt c cc gi tr ca k s biu din khi qut s xut hin cc mc
xm ca mt nh. Chng ta cng c th th hin lc mc xm ca nh thng qua
tn sut xut hin mi mc xm qua h ta vung gc xOy. Trong , trc honh
biu din s mc xm t 0 n N (s bit ca nh xm). Trc tung biu din s pixel
ca mi mc xm.
1.1.3. Mt s ng dng trong x l nh
Nh ni trn, cc ky thut x l nh trc y ch yu c s dng
nng cao cht lng hnh nh, chnh xc hn l to cm gic v s gia tng cht lng
n 2

Trang 11

Robot nhn din ngi thn

nh quang hc trong mt ngi quan st. Thi gian gn y, phm vi ng dng x l
nh m rng khng ngng, c th ni hin khng c lnh vc khoa hc no khng s
dng cc thnh tu ca cng ngh x l nh s .
Trong y hc cc thut ton x l nh cho php bin i hnh nh c to ra t
ngun bc x X -ray hay ngun bc x siu m thnh hnh nh quang hc trn b mt
film x-quang hoc trc tip trn b mt mn hnh hin th. Hnh nh cc c quan chc
nng ca con ngi sau c th c x l tip nng cao tng phn, lc, tch
cc thnh phn cn thit (chp ct lp) hoc to ra hnh nh trong khng gian ba chiu
(siu m 3 chiu).
Trong lnh vc a cht, hnh nh nhn c t v tinh c th c phn tch
xc nh cu trc b mt tri t. Ky thut lm ni ng bin (image
enhancement) v khi phc hnh nh (image restoration) cho php nng cao cht lng
nh v tinh v to ra cc bn a hnh 3-D vi chnh xc cao.
Trong ngnh kh tng hc, nh nhn c t h thng v tinh theo di thi
tit cng c x l, nng cao cht lng v ghp hnh to ra nh b mt tri t
trn mt vng rng ln, qua c th thc hin vic d bo thi tit mt cch chnh
xc hn.
X l nh cn c s dng rng ri trong lnh vc hnh s v cc h thng
bo mt hoc kim sot truy cp: qu trnh x l nh vi mc ch nhn dng vn tay
hay khun mt cho php pht hin nhanh cc i tng nghi vn cng nh nng cao
hiu qu h thng bo mt c nhn cng nh kim sot ra vo. Ngoi ra, c th k n
cc ng dng quan trng khc ca ky thut x l nh tnh cng nh nh ng trong i
sng nh t ng nhn dng, nhn dng mc tiu qun s, my nhn cng nghip
trong cc h thng iu khin t ng, nn nh tnh, nh ng lu v truyn trong
mng vin thng v.v.

n 2

Trang 12

Robot nhn din ngi thn

1.2. Bi ton pht hin mt ngi
1.2.1. Gii thiu v bi ton xc nh mt ngi trong nh.
Trong nhiu nm qua, c rt nhiu cng trnh nghin cu v bi ton nhn dng
mt ngi. Cc nghin cu i t bi ton n gin, t vic nhn dng mt mt ngi
trong nh en trng cho n m rng cho nh mu v c nhiu mt ngi trong nh.
n nay cc bi ton xc nh mt ngi m rng vi nhiu min nghin cu nh
nhn dng khun mt, nh v khun mt, theo di mt ngi hay nhn dng cm xc
mt ngi
Pht hin mt ngi trong nh l phn u tin ca mt h thng nhn dng mt
ngi. Cc h thng nhn dng khun mt c bt u xy dng t nhng nm 1970,
tuy nhin do cn hn ch v cc lut xc nh mt ngi nn ch c p dng trong
mt s ng dng nh nhn dng th cn cc. N ch c pht trin mnh m t
nhng nm 1990 khi c nhng tin b trong cng ngh video v ngy nay th cc ng
dng ca xc nh mt ngi tr nn ph bin trong cuc sng.
1.2.2. nh ngha bi ton xc nh mt ngi.
Xc nh khun mt ngi l mt ky thut my tnh xc nh cc v tr v kch
thc ca cc khun mt ngi trong cc nh bt k. Ky thut ny nhn bit cc c
trng ca khun mt v b qua nhng th khc nh: ta nh, cy ci, c th

CHNG 2. BI TON NHN DIN MT NGI

2.1. Bi ton nhn dng mt ngi
H thng nhn dng mt ngi l mt h thng nhn vo l mt nh hoc mt
on video (mt chui cc nh). Qua x l tnh ton h thng xc nh c v tr mt
ngi trong nh (nu c) v xc nh l ngi no trong s nhng ngi h thng
c bit (qua qu trnh hc) hoc l ngi l.
n 2

Trang 13

Robot nhn din ngi thn

2.2. Nhng kh khn ca nhn dng khun mt
a. T th gc chp: nh chp khun mt c th thay i rt nhiu bi v gc
chp gia camera v khun mt.Chng hn nh : chp thng, chp xo bn tri 450
hay xo bn phi 450,chp t trn xung, chp t di ln,v.v). Vi cc t th khc
nhau, cc thnh phn trn khun mt nh mt, mi, ming c th b khut mt phn
hoc thm ch khut ht. Khun mt ang nhn thng nhng gc chp ca my nh li
lch nhiu so vi hng nhn thng ca khun mt hoc l lc chp nh mt ngi
quay nghing sang mt bn no nhiu u l nhng kh khn rt ln trong bi ton
nhn din mt ngi.
b.S xut hin hoc thiu mt s thnh phn ca khun mt: Cc c trng
nh ru mp, ru hm, mt knh,v.v c th xut hin hoc khng. Vn ny lm
cho bi ton cng kh khn hn rt nhiu.
c.S biu cm ca khun mt: Biu cm ca khun mt ngi c th lm nh
hng ng k ln cc thng s ca khun mt. Chng hn,cng mt khun mt mt
ngi, nhng c th s rt khc khi h ci hoc s hi.
d.S che khut: Khun mt c th b che khut bi cc i tng khc hoc
cc khun mt khc.
e. Hng ca nh: Cc nh ca khun mt c th bin i rt nhiu vi cc
gc quay khc nhau ca trc camera. Chng hn chp vi trc my nh nghing lm
cho khun mt b nghing so vi trc ca nh.
f. iu kin ca nh: nh c chp trong cc iu kin khc nhau v: chiu
sang, v tnh cht camera (my ky thut s, my hng ngoi,v.v) nh hng rt
nhiu n cht lng nh khun mt.
g. Nn nh phc tp: nn ca nh phc tp l mt trong nhng kh khn nht
trong bi ton nhn din khun mt ngi trong nh, khun mt ngi s d b nhm
ln vi nhiu khung cnh phc tp xung quanh v nh hng rt nhiu n qu trnh
phn tch v rt trch cc c trng ca khun mt trong nh, c th dn n khng

n 2

Trang 14

Robot nhn din ngi thn

nhn ra khun mt hoc l nhn nhm cc khung cnh xung quanh thnh khun mt
ngi.
h. Mu sc ca da mt: mu sc ca da mt qu ti hoc gn vi mu sc ca
khung cnh mi trng xung quanh cng l mt kh khn vi bi ton nhn din mt
ngi. Nu mu sc ca da ngi qu ti th thut ton s gp kh khn trong vic
nhn din cc c trng v c th khng tm ra c khun mt ngi.
2.3. Tm quan trng ca bi ton nhn din mt ngi
Nu nh cng ngh nhn dng ging ni ph hp vi cc ng dng callcenter
v nhc im ca n l ting n, khng ph hp vi ni cng cng ng ngi th
cng ngh nhn dng ch k cng gy nhiu phin phc cho ngi s dng v kh duy
tr c ch k ging nhau ngay trong cng mt thi im. Trong khi , cng ngh
nhn dng vn tay hin c dng kh ph bin, nhng cng c nhc im l b
nh hng bi m da v c bit s khng chnh xc cao vi ngi c tay hay tip
xc vi ho cht. Bn cnh , nhn dng bng vn tay cn c nhng hn ch v vic
gi mo, thm ch k gian c th s dng tay ca ngi khc xc thc. Cn cng
ngh nhn dng mng mt l mt cng ngh c nhiu u im v chnh xc cng
nh kh nng chng gi mo. Vic xc thc, nhn dng trong cng ngh ny da trn
s mch mu trong vng mc mt. S ny rt t thay i k t lc mi sinh cho
ti khi gi v c bit l khi cht, h thng s mch mu ny s bin mt. V th,
khng th dng ngi cht xc thc cho vic truy cp tri php. Tuy nhin, cng
ngh ny li b tc ng bi nhiu yu t khc nh rng ca mt, lng mi, knh eo
v kh trin khai ph bin trn din rng do phc tp ca cc thit b.
Trong khi , mc d chnh xc khng l phi u im ni bt ca cng
ngh nhn dng mt ngi song khng ging vi nhng phng php khc, nhn dng
mt ngi l cng ngh nhn dng khng cn n s tip xc trc tip gia i tng
v thit b thu nhn. Thay vo , cng ngh ny mang tnh theo di, gim st v rt
thun tin cho nhng ng dng bo v mc tiu, chng khng b ti nhng im cng
cng ng ngi. y cng l u im ni tri ca nhn dng mt ngi m cc cng
ngh nhn dng khc kh c th c c.
n 2

Trang 15

Robot nhn din ngi thn

2.4. Cc ng dng c trng ca bi ton nhn din mt ngi
Bi ton pht hin mt ngi trong nh l mt bi ton phc tp nhng li hp
hn rt nhiu ngi nghin cu v n, c l bi tnh ng dng thc t ca bi ton l
rt ln v a dng trong cuc sng hin i. c th k ra mt s ng dng thng dng
nht ca bi ton nhn din mt ngi:
H thng giao tip thng minh gia ngi v my: con ngi c th xy dng
nhng h thng thng giao tip gia ngi v my tnh thng qua vic nhn
din khun mt, biu cm trn khun mt ngi d on, nhn bit trng
thi tm l hin thi ca ngi . Mt ngi nh thng minh trong tng lai c
th nhn bit c ch nhn ca n thng qua nhn bit khun mt, dng
ngi, giao tip qua ging ni, vn tay
Nhn dng ti phm: h thng c th nhn din ra mt khun mt ngay tc th
v i chiu vi hng triu bn ghi c sn trong c s d liu ch ra c
th l mt ti phm ang truy tm hay khng, hoc c th l mt nhn vt
no c bit cn quan tm..vv..
Gii tr: trong hu ht cc my nh hin i ngy nay u c chc nng t
ng nhn din mt ngi c th ly nt, iu chnh nh sng cho ph
hp vi khung cnh xung quanh. Trn mt s trang web cng p dng cng
ngh t ng nhn din mt ngi v so snh vi kho d liu khng l ca
mnh a ra nhng li cho, dch v thng mnh nht cho ngi s dng.
H thng quan st, theo di v bo v: cc h thng camera s xc nh u l
con ngi v theo di ngi
iu khin ra vo cc c quan, vn phng: cho php nhn vin ra vo cc khu
vc quan trong m khng cn phi ng nhp hay dng th. Nu kt hp vi s
dng vn tay hay hc mt th s em li kt qu chnh xc cao.
T chc tm kim lin quan n con ngi: thng qua khun mt trn nhiu h
c s d liu ln.
Phn tch cm xc: khun mt ngi..v..v..

n 2

Trang 16

Robot nhn din ngi thn

Cc ng dng khc:
An ninh sn bay, xut nhp cnh (hin nay c quan xut nhp cnh My p
dng ). Dng camera quan st xc thc ngi nhp cnh v kim tra xem
ngi y c phi l ti phm hay phn t khng b khng.
Tm kim v t chc d liu lin quan n con ngi thng qua khun mt
ngi trn nhiu h c s d liu lu tr tht ln, nh internet, cc hng truyn
hnh, . V d: tm cc on video c tng thng Bush pht biu, tm cc phim
c din vin L Lin Kit ng, tm cc trn bng c Ronaldo ,
Kim tra trng thi ngi li xe c ng gt, mt tp trung hay khng, v h tr
thng bo khi cn thit.
Tng lai s pht trin cc loi th thng minh c tch hp sn c trng ca
ngi dng trn , khi bt c ngi dng khc dng truy cp hay x l ti
cc h thng s c yu cu kim tra cc c trng khun mt so vi th
bit nay c phi l ch th hay khng.
2.5.Xy dng h thng nhn din mt ngi c trng
Mt h thng nhn din khun mt ngi c th c xy dng qua rt nhiu
cng on khc nhau v rt phc tp, nhng ta c th khi qut chung mi h thng
nhn dng khun mt ngi gm c 3 bc c bn sau:

nh tnh

Tin x l

n 2

Trch
Trangrt
17c
trng

Robot nhn din ngi thn

Nhn din
khun mt

Hnh 3. H thng nhn din mt ngi c trng

Tin x l: h thng nhn vo mt nh tnh, sau c th s l nh cho cht
lng tt hn, nh chnh li sng, gim nhiu .. iu ny gip cho qu
trnh rt trch cc c trng ca khun mt c d dng hn rt nhiu. Qu
trnh tin x l thng kh n gin v nhanh gn nn khng cn dng cc
thut ton phc tp v mt nhiu thi gian.
Trch rt cc c trng: Trch rt c trng l ky thut s dng cc thut ton
ly ra nhng thng tin mang nhng c im ring bit ca mt ngi.
Nhn din khun mt: sau khi rt trch cc c trng, s a vo khi nhn
dng phn lp i tng.
2.6. Mt s phng php nhn din mt ngi
Hin ti c kh nhiu phng php nhm xc nh khun mt ngi trong nh, t
nh c cht lng khng tt cho n tt, khng mu (en trng) n c mu. Nhng
c th phn chia cc phng php ny thnh bn hng tip cn chnh :
Hng tip cn da trn tri thc: M ha cc hiu bit ca con ngi v khun
mt thnh cc lut. cc lut ny thng m t quan h ca cc c trng ca
khun mt.
Hng tip cn da trn din mo: Hng tip cn ny dng mt tp nh hun
luyn cho trc, ri sau h thng s xc nh khun mt ngi, do n cn
c tn l: hng tip cn da trn phng php hc.
Hng tip cn da trn so snh khp mu: Dng cc mu chun ca khun
mt ngi m t cho khun mt hay cc c trng ca khun mt.

n 2

Trang 18

Robot nhn din ngi thn

Hng tip cn da trn cc c trng khng thay i: Cc thut ton i tm
cc c trng m t cu trc khun mt ngi m cc c trng ny s khng
thay i khi t th khun mt, iu kin nh sng hay v tr t my nh thay
i.
2.6.1. Da trn tri thc
Trong hng tip cn ny, cc lut s ph thuc rt ln vo tri thc ca nhng
tc gi nghin cu v bi ton xc nh khun mt ngi. y l hng tip cn dng
top-down. D dng xy dng cc lut c bn m t cc c trng ca khun mt v
cc quan h tng ng. V d, mt khun mt thng c hai mt i xng nhau qua
trc thng ng gia khun mt v c mt mi, mt ming. Cc quan h ca cc c
trng c th c m t nh quan h v khong cch v v tr. Thng thng s trch
c trng ca khun mt trc tin c c cc ng vin, sau cc ng vin ny
s c xc nh thng qua cc lut bit ng vin no l khun mt v ng vin
no khng phi khun mt. Thng p dng qu trnh xc nh gim s lng xc
nh sai.

Hnh 4: Mt phng php xc nh khun mt in theo hng

tip cn top-down. Cc lut c xy dng da vo tri thc ca
ngi nghin cu v cc c trng ca khun mt (v d nh
cng phn phi v s khc nhau ) ca cc vng trn khun
mt
Mt vn kh phc tp khi dng hng tip cn ny l lm sao chuyn t tri
thc con ngi sang cc lut mt cc hiu qu. Nu cc lut ny qu chi tit th khi xc
n 2

Trang 19

Robot nhn din ngi thn

nh c th xc nh thiu cc khun mt c trong nh, v nhng khun mt ny
khng th tha mn tt c cc lut a ra. Nhng cc lut tng qut qu th c th
chng ta s xc nh lm mt vng no khng phi l khun mt m li xc nh l
khun mt. V cng kh khn m rng yu cu t bi ton xc nh cc khun mt
c nhiu t th khc nhau.
Hai tc gi Yang v Huang dng mt phng thc theo hng tip cn nh
sau xc cc khun mt. H thng ca hai tc gi ny bao gm ba mc lut. mc
cao nht, dng mt khung ca s qut trn nh v thng qua mt tp lut tm cc
ng vin c th l khun mt. mc k tip, hai ng dng mt tp lut m t tng
qut hnh dng khun mt. Cn mc cui cng li dng mt tp lut khc xem xt
mc chi tit cc c trng khun mt. Mt h thng a phn gii c th t
c dng xc nh. Cc lut mc cao nht tm ng vin nh: vng trung
tm khun mt c bn phn vi mt mc u c bn, phn xung quanh bn trn
ca mt khun mt c mt mc u c bn, v mc khc nhau gia cc gi
tr xm trung bnh ca phn trung tm v phn bao bn trn l ng k. phn gii
thp nht ca nh dng tm ng vin khun mt m cn tm cc mc phn gii tt
hn. mc hai, xem xt biu histogram ca cc ng vin loi bt ng vin no
khng phi l khun mt, ng thi d ra cnh bao xung quanh ng vin. mc cui
cng, nhng ng vin no cn li s c xem xt cc c trng ca khun mt v mt
v ming. Hai ng dng mt chin lc t th n mn hay lm r dn gim
s lng tnh ton trong x l. Mc d t l chnh xc cha cao, nhng y l tin
cho nhiu nghin cu sau ny
Hai tc gi Kotropoulos v Pitas a mt phng php tng t dng trn
phn gii thp. Hai ng dng phng php chiu xc nh cc c trng khun mt.
Kanade thnh cng vi phng php chiu xc nh bin ca khun mt. Vi
I(x,y) l gi tr xm ca mt im trong nh c kch thc m x n ti v tr (x,y), cc
hm chiu nh theo phng ngang v thng ng c nh ngha nh sau:

n 2

Trang 20

Robot nhn din ngi thn

(2.1)
Da trn biu hnh chiu ngang, c hai cc tiu a phng khi hai ng
xt qu trnh thay i c ca HI, chnh l cnh bn tri v phi ca hai bn u.
Tng t vi hnh chiu dc VI, cc cc tiu a phng cng cho ta bit v tr ming,
nh mi, v hai mt. Cc c trng ny xc nh khun mt. Hnh 5.a cho mt
v d v cch xc nh nh trn. Cch xc nh ny c t l xc nh chnh xc l
86.5% cho trng hp ch c mt khun mt thng trong nh v hnh nn khng phc
tp. Nu hnh nn phc tp nh hnh 5.b th rt kh tm. Cn nu nh c nhiu khun
mt (hnh 5.c) th s khng xc nh c.

Hnh 5: Phng php chiu:

(a) nh ch c mt khun mt v hnh nn n gin;
(b) nh ch c mt khun mt v hnh nn phc tp;
(c) nh c nhiu khun mt
2.6.2. Hng tip cn da trn c trng khng thay i.
y l hng tip cn theo kiu bottom-up. Cc tc gi c gng tm cc c
trng khng thay i ca khun mt ngi xc nh khun mt ngi. Da trn
nhn xt thc t, con ngi d dng nhn bit cc khun mt v cc i tng trong
cc t th khc nhau v iu kin nh sng khc nhau, th phi tn ti cc thuc tnh
n 2

Trang 21

Robot nhn din ngi thn

hay c trng khng thay i. C nhiu nghin cu u tin xc nh cc c trng
khun mt ri ch ra c khun mt trong nh hay khng. Cc c trng nh: lng
my, mt, mi, ming, v ng vin ca tc c trch bng phng php xc nh
cnh. Trn c s cc c trng ny, xy dng mt m hnh thng k m t quan h
ca cc c trng ny v xc nh s tn ti ca khun mt trong nh. Mt vn ca
cc thut ton theo hng tip cn c trng cn phi iu chnh cho ph hp iu
kin nh sng, nhiu, v b che khut. i khi bng ca khun mt s to thm cnh
mi, m cnh ny li r hn cnh tht s ca khun mt, v th nu dng cnh xc
nh s gp kh khn.
a.Cc c trng khun mt :
Sirohey a mt phng php xc nh khun mt t mt nh c hnh nn
phc tp. Phng php da trn cnh (dng phng php Candy v heuristics loi
b cc cnh cn li duy nht mt ng bao xung quanh khun mt. Mt hnh
ellipse dng bao khun mt, tch bit vng u v hnh nn. T l chnh xc ca
thut ton l 80%. Cng dng phng php cnh nh Sirohey, Chetverikov v Lerch
dng mt phong php da trn blob v streak (hnh dng git nc v sc xen k),
xc nh theo hng cc cnh. Hai ng dng hai blob ti v ba blob sng m t hai
mt, hai bn g m, v mi. M hnh ny dng cc treak m t hnh dng ngoi ca
khun mt, lng my, v mi. Dng nh c phn gii thp theo bin i Laplace
xc nh khun mt thng qua blob.
Leung trnh by mt m hnh xc sut xc nh khun mt trong nh c
hnh nn phc tp trn c s mt b xc nh c trng cc b v so khp th ngu
nhin. Dng nm c trng (hai mt, hai l mi, phn ni gia mi v ming) m
t mt khun mt. Lun tnh quan h khong cch vi cc c trng cp (nh mt tri,
mt phi), dng phn b Gauss m hnh ha. Mt mu khun mt c a ra
thng qua trung bnh tng ng cho mt tp a hng, a t l ca b lc o hm
Gauss. T mt nh, cc c trng ng vin c xc nh bng cch so khp tng
im nh khi lc tng ng vi vector mu (tng t mi tng quan), chn hai ng
vin c trng ng u tm kim cho cc c trng khc ca khun mt. Ging

n 2

Trang 22

Robot nhn din ngi thn

nh xy dng m th quan h mi node ca th tng ng nh cc c trng ca
mt khun mt, a xc sut vo xc nh. T l xc nh chnh xc l 86%.
b.Kt cu khun mt:
Khun mt con ngi c nhng kt cu ring bit m c th dng phn
loi so vi cc i tng khc. Augusteijn v Skufca cho rng hnh dng ca khun
mt dng lm kt cu phn loi, gi l kt cu ging khun mt (face-like texture).
Tnh kt cu qua cc c trng thng k th t th hai (SGLD) trn vng c kch
thc 1616 im nh. C ba loi c trng c xem xt: mu da, tc, v nhng th
khc. Hai ng dng mng neural v mi tng quan cascade cho phn loi c gim st
cc kt cu v mt nh x c trng t t chc Kohonen gom nhm cc lp kt cu
khc nhau. Hai tc gi xut dng phng php bu c khi khng quyt nh c
kt cu a vo l kt cu ca da hay kt cu ca tc.
Manian v Ross dng bin i wavelet xy dng tp d liu kt cu ca
khun mt trong nh xm thng qua nhiu phn gii khc nhau kt hp xc sut
thng k xc nh khun mt ngi. Mi mu s c chn c trng. T l chnh xc
l 87%, t l xc nh sai l 18%.

Hnh 6. Kt cu khun mt
c.Sc mu ca da:

n 2

Trang 23

Robot nhn din ngi thn

Thng thng cc nh mu khng xc nh trc tip trn ton b d liu nh
m cc tc gi dng tnh cht sc mu ca da ngi (khun mt ngi) chn ra
c cc ng vin c th l khun mt ngi (lc ny d liu thu hp ng k)
xc nh khun mt ngi. Ti s trnh by chi tit v m hnh ha mu da ngi
mt bi sau.

Hinh 7. Mu sc da mt
d.a c trng:
Gn y c nhiu nghin cu s dng cc c trng ton cc nh: mu da
ngi, kch thc, v hnh dng tm cc ng vin khun mt, ri sau s xc nh
ng vin no l khun mt thng qua dng cc c trng cc b (chi tit) nh: mt,
lng my, mi, ming, v tc. Ty mi tc gi s s dng tp c trng khc nhau.
2.6.3. Hng tip cn da trn so khp mu
Trong so khp mu, cc mu chun ca khun mt (thng l khun mt c
chp thng) s c xc nh trc hoc xc nh cc tham s thng qua mt hm. T
mt nh a vo, tnh cc gi tr tng quan so vi cc mu chun v ng vin
khun mt, mt, mi v ming. Thng qua cc gi tr tng quan ny m cc tc gi
quyt nh c hay khng c tn ti khun mt trong nh. Hng tip cn ny c li th
l rt d ci t, nhng khng hiu qu khi t l, t th, v hnh dng thay i. Nhiu

n 2

Trang 24

Robot nhn din ngi thn

phn gii, a t l, cc mu con, v cc mu bin dng c xem xt thnh bt bin
v t l v hnh dng.

Hng tip cn ny c th i theo phng php sau:

a.Xc nh mu trc:
Tc gi Sakai c gng th xc nh khun mt ngi chp thng trong nh.
ng dng vi mu con v mt, mi, ming, v ng vin khun mt m hnh ha
mt khun mt. Mi mu con c nh ngha trong gii hn ca cc on thng.
Cc ng thng trong nh c trch bng phng php xem xt thay i gradient
nhiu nht v so khp cc mu con. u tin tm cc ng vin thng qua mi tng
quan gia cc nh con v cc mu v ng vin. Sau , so khp vi cc mu con
khc. Hay ni mt cch khc, giai on u xem nh l giai on s ch tm ng
vin, giai an th hai l giai on tinh ch xc nh c tn ti hay khng mt
khun mt ngi. tng ny c duy tr cho n cc nghin cu sau ny.
Cn tc gi Craw a ra mt phng php xc nh khun mt ngi da vo
cc mu v hnh dng ca cc nh c chp thng (dng v b ngoi ca hnh dng
khun mt). u tin dng php lc Sobel tm cc cnh. Cc cnh ny s c
nhm li theo mt s rng buc. Sau , tm ng vin ca u, qu trnh tng t
c lp i lp li vi mi t l khc nhau xc nh cc c trng khc nh: mt,
lng my,v mi.
Sau Craw m t mt phng thc xc nh dng mt tp c 40 mu tm
cc c trng khun mt v iu khin chin lc d tm.
Mt s nh nghin cu s dng hnh chiu nh cc mu xc nh khun mt
ngi. Silhouettes dng PCA (phn tch thnh phn chnh Principal Component
Analysis - PCA) c mt tp hnh chiu c bn t cc mu khun mt, hnh chiu
c m t nh mt mng cc bit. Dng c trng hnh chiu ring kt hp bin i
Hough xc nh khun mt ngi. Sau mt phng php xc nh da trn a
loi mu xc nh cc thnh phn ca khun mt c trnh by. Phng php ny
nh ngha mt s gi thuyt m t cc kh nng ca cc c trng khun mt. Vi
n 2

Trang 25

Robot nhn din ngi thn

mt khun mt s c mt tp gi thuyt, l thuyt DepsterShafer. Dng mt nhn t tin
cy kim tra s tn ti hay khng ca cc c trng ca khun mt, v kt hp nhn
t tin cy ny vi mt o xem xt c hay khng c khun mt trong nh.
Sinha dng mt tp nh cc nh bt bin trong khng gian nh m t khng
gian cc mu nh [15, 16]. T tng chnh ca ng da vo s thay i mc sng
ca cc vng khc nhau ca khun mt (nh hai mt, hai m, v trn), (quan h v
mc sng ca cc vng cn li thay i khng ng k). Sau y xc nh cc cp
t s ca mc sng ca mt s vng (mt vng ti hn hay sng hn) cho ta mt
lng bt bin kh hiu qu. ng lu s thay i sng ca cc vng trn khun mt
trong mt tp thch hp vi cc cp quan h sng hn ti hn gia cc vng nh.
Mt khun mt c xc nh nu n tha mn tt c cc cp sng hn ti hn.
tng ny xut pht t s khc bit ca cng gia cc vng k cc b trn nh,
sau ny n c m rng trn c s bin i wavelet xc nh ngi i b, xc nh
xe hi, xc nh khun mt. tng ca Sinha cn c p dng trong cc nghin
cu v th gic ca robot. Hnh 3 cho thy mu khun mt vi 16 cng v 23 quan h.
Cc quan h ny c dng phn loi, c 11 quan h thit yu (cc mi tn mu
en) v 12 quan h xc thc (cc mi tn mu xm). Mi mi tn l mt quan h. Mt
quan h ca hai vng tha mn mu khun mt khi t l gia hai vng vt qua mt
ngng v mt khun mt c xc inh khi c 23 quan h tha mn iu kin trn.

Hnh 8: Mt mu khun mt c kch thc 14 x

16 pixel c s dng trong phng php nh
n 2

Trang 26

Robot nhn din ngi thn

v khun mt ca Sinha. Mu gm 16 vng trn
khun mt v 23 quan h ( cc mi tn).
Mt s phng php khc nh ca Froba v Zink lc cnh phn gii thp
ri dng bin i Hough so khp mu theo hng cnh xc nh hnh dng
khun mt dng chp hnh thng dng xm. T l chnh xc trn 91%. Ngoi ra
Shu v Jain cn xy dng ng ngha khun mt. Ng ngha xy dng theo hnh dng
v v tr cc thnh phn khun mt. Hai ng t b ng ngha ny to mt th quan
h d dng so khp khi xc nh khun mt ngi
b.Cc mu b bin dng:
Tc gi Yuille dng cc mu bin dng m hnh ha cc c trng ca
khun mt, m hnh ny c kh nng linh hot cho cc c trng khun mt. Trong
hng tip cn ny, cc c trng khun mt c m t bng cc mu c tham s
ha. Mt hm nng lng (gi tr) c nh ngha lin kt cc cnh, nh, v
thung lng trong nh tng ng vi cc tham s trong mu. M hnh ny tt nht
khi ti thiu hm nng lng qua cc tham s, Mc d kt qu tt vi mu bin dng
trong theo vt i tng trn c trng khng m hnh theo li, mt hn ch ca
hng tip cn ny l cc mu bin dng phi c khi to trong phm vi gn cc i
tng xc nh.
Hai tc gi Huang v Su dng l thuyt dng chy xc nh ng vin
khun mt da trn c tnh hnh hc. Hai ng dng l thuyt tp ng mc (Level
Set) loang t cc khi ng ban u c c cc khun mt ngi.
2.6.4. Hng tip cn da trn din mo
a. T tng ca hng tip cn da trn din mo:
Tri ngc vi cc phng php so khp mu vi cc mu c nh ngha
trc bi nhng chuyn gia, cc mu trong hng tip cn ny c hc t cc nh
mu. Mt cch tng qut, cc phng php theo hng tip cn ny p dng cc ky
thut theo hng xc sut thng k v my hc tm nhng c tnh lin quan ca
khun mt v khng phi l khun mt. Cc c tnh c hc trong hnh thi cc
m hnh phn b hay cc hm bit s nn dng c th dng cc c tnh ny xc
n 2

Trang 27

Robot nhn din ngi thn

nh khun mt ngi. ng thi, bi ton gim s chiu thng c quan tm
tng hiu qu tnh ton cng nh hiu qu xc nh.
C nhiu phng php p dng xc sut thng k gii quyt. Mt nh hay
mt vector c trng xut pht t mt nh c xem nh mt bin ngu nhin x, v
bin ngu nhin c c tnh l khun mt hay khng phi khun mt bi cng thc
tnh theo cc hm mt phn lp theo iu kin.
P(x | khun mt) v P(x | ~ khun mt)
C th dng phn loi Bayes hoc kh nng cc i phn loi mt ng vin
l khun mt hay khng phi l khun mt. Khng th ci t trc tip phn loi
Bayes bi v s chiu ca x kh cao, bi v P(x | khun mt) v P(x | khng phi khun
mt) l a phng thc, v cha th hiu nu xy dng cc dng tham s ha mt cch
t nhin cho P(x | khun mt) v P(x | khng phi khun mt) .C kh nhiu nghin
cu theo hng tip cn ny quan tm xp x c tham s hay khng c tham s cho
P(x | khun mt) v P(x | khng phi khun mt) .
Cc tip cn khc trong hng tip cn da trn din mo l tm mt hm bit
s (nh: mt phng quyt nh, siu phng tch d liu, hm ngng) phn bit
hai lp d liu: khun mt v khng phi khun mt. Bnh thng, cc mu nh c
chiu vo khng gian c s chiu thp hn, ri sau dng mt hm bit s (da trn
cc o khong cch) phn loi, hoc xy dng mt quyt nh phi tuyn bng
mng neural a tng. Hoc dng SVM (Support Vector Machine) v cc phng thc
kernel, chiu hon ton cc mu vo khng gian c s chiu cao hn d liu b ri
rc hon ton v ta c th dng mt mt phng quyt nh phn loi cc mu khun
mt v khng phi khun mt.
b. Mt s phng php c th trong hng tip cn da trn din mo:
C rt nhiu phng php hc my c s dng trong hng tip cn da trn
din mo. Trong phn ny ch nu ra mt s phng php cng nhng nghin cu lin
quan n phng php y. Ring phng php adaboost s c trnh by trong phn
sau ca bo co.
n 2

Trang 28

Robot nhn din ngi thn

b1. Adaboost:
Adaboost c nh gi l phng pht tip cn nhanh nht trong cc thut ton
hc my. N thng c kt hp vi cc m hnh cascade of classifiers tng tc
pht hin khun mt trong nh. T tng ca thut ton adaboost y l kt hp cc
b phn loi yu thnh mt b phn loi mnh. Trong qu trnh xy dng, b phn loi
yu tip theo s c xy dng da trn cc nh gi v cc b phn loi yu trc,
cui cng cc b phn loi yu s c kt hp tr thnh b phn loi mnh.
Viola v Jones dng AdaBoost kt hp cascade xc nh khun mt ngi
[17] vi cc c trng dng Haar-like. Tc x l kh nhanh v t l chnh xc hn
80%. Ngoi ra Schneiderman v Kanade dng wavelet trch c trng, sau y
cng xy dng h thng hc vi Adaboost, da trn xc sut xc nh khun mt
ngi. T l chnh xc trn ca phng php ny ln n 90%.
b2. Mng Neural:
V c bn mng Neural l mt mng cc phn t (gi l neuron) kt ni vi nhau
thng qua cc lin kt (cc lin kt ny c gi l trng s lin kt) thc hin mt
cng vic c th no . Kh nng x l ca mng neuron c hnh thnh thng qua
qu trnh hiu chnh trng s lin kt gia cc neuron, ni cch khc l hc t tp hp
cc mu hun luyn.
Mng Neural rt hay c s dng trong cc bi ton nhn dng mu, nhn dng
mt ngi cng c th xem l mt bi ton nhn dng vi hai loi mu (mt ngi
hoc khng phi mt ngi) v nh vy c th s dng mng Neural kh hiu qu k
c khi cc mu khun mt c phc tp cao. Tuy nhin, mt iu tr ngi l cc
kin trc mng u c tnh tng qut cao, do , khi p dng ta phi tnh ton r s
lng tng, s lng node, t l hc cho tng trng hp c th.
b3. Support Vector Machine:
Support Vector Machine ( SVM ) c Vladimir Vapnik a ra vo nm 1995
gii quyt vn nhn dng mu hai lp s dng nguyn tc cc tiu ha ri ro cu
trc (Structural Risk Minimization). y l phng php tip cn phn loi vn bn rt
hiu qu. u im ca SVM l gii thut ny c xy dng trn tng cc tiu ri
n 2

Trang 29

Robot nhn din ngi thn

ro cu trc. Ngun gc ca SVM da trn s chc chn v li chnh xc, c th phn
loi ngu nhin cc mu i tng c chn m li c gi sao cho nh nht. V
vy, gii thut SVM gip gim thiu bin trn cc li chnh xc v lm cho h thng
tin cy hn
Cho trc mt tp hun luyn, cc nh c biu din di dng vector. Trong
khng gian vector, mi vertor c biu din bi mt im. Phng php SVM s tim
mt siu phng quyt nh phn chia khng gian vector thnh hai lp (khun mt
v khng phi khun mt). Cht lng ca siu phng ny ph thuc vo khong cch
gia cc vector, tc l ph thuc vo cc c trng ca nh.
Support Vector Machine c Osuna [5] p dng u tin ( xc nh khun
mt ngi). SVM c xem nh l mt kiu phn loi mi v trong khi hu ht cc
phng php phn loi khc (nh Mng Bayes, Nueral, RBF) u dng tiu ch ti
thiu li hun luyn (ri ro do kinh nghim), trong khi SVM dng quy np (c gi
l ti thiu ri ro cu trc). Phn loi SVM l mt phn loi tuyn tnh, do n cng
dng mt siu phng tch d liu. Da trn mt s kt hp c cc trng s ca mt
tp con nh cc vector hun luyn, cc vector ny c gi l support vector. c
lng siu phng trong SVM th tng ng gii mt bi ton tuyn tnh bc hai.
Osuna [5] pht trin phng php SVM mt cch hiu qu cho bi ton xc nh
khun mt ngi. ng dng 10,000,000 mu c kch thc 19x19 pixel, h thng ca
ng c t l li t hn v nhanh hn rt nhiu.
b4. M hnh Markov n:
M hnh Markov n ( Hidden Markov Model HMM ) l mt m hnh thng k
trong h thng c m hnh ha c cho l mt qu trnh Markov vi cc tham
s khng bit trc v nhim v l xc nh cc tham s n t cc tham s quan st
c, da trn s tha nhn ny. Cc tham s ca m hnh c rt ra sau c th s
dng thc hin cc phn tch k tip, v d cho cc ng dng nhn dng mu.
Mt gi thuyt quan trng ca m hnh Markov n l cc mu c th c c
tnh ha nh cc tin trnh ngu nhin c tham s v cc tham s ny c c lng
chnh xc, y l mt trong nhng nh ngha r rng. Khi pht trin HMM gii
quyt bi ton nhn dng mu, phi xc nh r c bao nhiu trng thi n u tin cho
n 2

Trang 30

Robot nhn din ngi thn

hnh thi m hnh. Sau , hun luyn HMM hc xc sut chuyn tip gia cc trng
thi t cc mu, m mi mu c m t nh mt chui cc quan st. Mc tiu hun
luyn HMM l cc i ha xc sut ca quan st t d liu hun luyn bng cch
iu chnh cc tham s trong m hnh HMM thng qua phng php phn on
Viterbi chun v cc thut ton Baum-Welch. Sau khi hun luyn xong, da vo xc
sut xc nh mt quan st thuc lp no.
hnh dung v HMM, ta xt v d c th sau: Gi s A c mt ngi bn B
sng rt xa. Hng ngy th B u gi in cho A k v nhng vic m B lm
trong ngy. B ch c 3 vic m anh ta thch lm l: vic th nht l i do, th hai l
i ch v th ba l dn phng. V vic anh ta lm vic g trong ngy ph thuc rt ln
vo thi tit ca ngy hm y. Nh vy, d khng nhn c thng tin c th v thi
tit trong ngy ni ngi B , nhng ngi vn c th da vo vic B lm trong
ngy on v thi tit hm y. Nh vy nu coi thi tit ch c hai trng thi l
nng v ma th thi tit l mt chui Markov c th, v n l n i vi ngi A. D
liu quan st c y l vic lm trong ngy ca ngi B. Ton b h thng ny l
mt m hnh Mackov n. V d ny c xem xt k hn trong thut ton Viterbi.
Mt gi thuyt quan trng ca m hnh Markov n l cc mu c th c xem
nh cc tin trnh ngu nhin c tham s v cc tham s ny c c lng chnh
xc. Khi pht trin HMM gii quyt bi ton nhn dng mu, phi xc nh r c
bao nhiu trng thi n u tin cho hnh thi m hnh. Sau , hun luyn HMM hc
xc sut chuyn tip gia cc trng thi t cc mu, m mi mu c m t nh mt
chui cc quan st. Mc tiu hun luyn HMM l cc i ha xc sut ca quan st t
d liu hun luyn bng cch iu chnh cc tham s trong m hnh HMM thng qua
phng php phn on Viterbi chun v cc thut ton Baum-Welch. Sau khi hun
luyn xong, da vo xc sut xc nh mt quan st thuc lp no.

n 2

Trang 31

Robot nhn din ngi thn

Hnh 9. Cc vector quan st hun luyn cho HMM

Hnh 10. Cc trng thi n

i vi bi ton pht hin v nhn dng mt ngi, ta chia khun mt thnh cc
vng khc nhau nh u, mt, mi, ming, v cm. C th nhn dng mt mu khun
mt ngi bng cch thc hin tin trnh xem xt cc vng quan st theo mt th t
thch hp (t trn xung di, t tri qua phi). Mc tiu ca hng tip cn ny l kt
hp cc vng c trng khun mt vi cc trng thi ca m hnh.

Hnh 11. Xc nh khun mt bng HMM, mi trng thi li c

nhng trng thi nh bn trong: trng thi trn c ba trng thi nh
bn trong; trng thi mt c nm trng thi nh bn trong.
n 2

Trang 32

Robot nhn din ngi thn

Thng cc phng php da vo HMM s xem xt mt mu khun mt nh
mt chui cc vector quan st, vi mi vector l mt dy cc im nh (hnh 4 v hnh
6). Trong qu trnh hun luyn v kim tra, mt nh c qut theo mt th t v mt
quan st c xem nh mt khi cc im nh (hnh 4 v hnh 6). Sau y, p dng
mt nh hng theo xc sut chuyn t trng thi ny sang trng thi khc ( hnh 5
), d liu nh c m hnh ha bng phn b Gauss a bin. Mt chui quan st bao
gm tt c gi tr cng t mi khi. Kt qu xut ra cho bit quan st thuc lp
no.
Mt nghin cu in hnh trong cc tip cn ny l ca Samaria. Samaria
dng nm trng thi tng ng nm vng nh trong hnh 6 m hnh ha tin trnh
xc nh khun mt ngi. ng hun luyn tng vng cho HMM. Mi trng thi s
ph trch xem xt mt vng tng ng a ra quyt nh ph hp. Nu kt qu
xem xt cui cng vt qua mt ngng th quan st ny s l khun mt ngi.
b5. Phn loi Bayes:
Bayes l mt b phn loi tuyn tnh da trn xc xut. T tng ca n l da
vo xc xut ca cc c trng xut hin trong khun mt. y l phng php n
gin, ci t khng phc tp, tc nhanh, vi tp hun luyn ln th cho kt qu vn
tng i chnh xc.
Mt nghin cu in hnh dng phn loi Bayes vo xc nh mt ngi trong
hng tip cn da trn din mo l nghin cu ca Schneiderman v Kanade. Hai
ng m t mt phn loi Nave Bayes c lng xc xut chung ca din mo
cc b v v tr ca cc mu (cc vng trn khun mt) nhiu phn gii khc
nhau. ng vi mi phn gii, khun mt ngi c chia thnh bn vng ch nht,
cc vng ny c chiu xung khng gian c s chiu b hn v c lng t ha
thnh tp cc mu c gii hn. Sau y thng k cc vng c chiu m ha
din mo cc b. Nu xc xut ln hn xc xut t c ln hn xc xut tin nghin
th kt lun c khun mt ngi. Hng tip cn ny cn cho php xc nh cc khun
mt b xoay hoc gc nhn nghing.

n 2

Trang 33

Robot nhn din ngi thn

CHNG 3. C S L THUYT
3.1. Pht hin mt ngi
Hc theo adaboost l mt cch trong hng tip cn da trn din mo, Viola v
Jones dng AdaBoost kt hp cascade xc nh khun mt ngi vi cc c trng
dng Haar wavelet-like. Tc x l kh nhanh v t l chnh xc hn 80% trn nh
xm.
Thut ton hc my Adaboost c pht trin thut ton boosting, do nhm s
trnh by mt cht v thut ton boosting trc khi trnh by v adaboost.

n 2

Trang 34

Robot nhn din ngi thn

3.1.1.Tip cn Boosting
V lch s, boosting bt ngun t cu hi ni ting c a ra bi Kearns vo nm
1989 : Liu c th to ra mt strong classifier t mt tp cc b phn loi yu?.
Nm 1990, Robert Schapire a ra thut ton boosting u tin, tip n nm 1993 th
n c Drucker, Schapire v Simard kim nghim trong trong cc chng trnh nhn
dng ( OCR application ). Freund tip tc cc nghin cu ca Schaprire, v n
nm 1995 th ng cng vi Schapire pht trin boosting thnh adaboost.
Nh vy, nguyn l c bn ca boosting l s kt hp cc weak classifiers thnh
mt strong classifier. Trong , weak classifier l cc b phn loi n gin ch cn c
chnh xc trn 50%. Bng cch ny, chng ta ni b phn loi c boost.
hiu cch hot ng ca thut ton boosting, ta xt mt bi ton phn loi 2
lp (mu cn nhn dng ch thuc mt trong hai lp) vi D l tp hun luyn gm c n
mu. Trc tin, chng ta s chn ngu nhin ra n1 mu t tp D (n1<n) to tp D1.
Sau , chng ta s xy dng weak classifier u tin C1 t tp D1. Tip theo, chng
ta xy dng tp D2 hun luyn b phn loi C2. D2 s c xy dng sao cho mt
na s mu ca n c phn loi ng bi C1 v na cn li b phn loi sai bi C1.
Bng cch ny, D2 cha ng nhng thng tin b sung cho C1. By gi chng ta s
xy hun luyn C2 t D2.
Tip theo, chng ta s xy dng tp D3 t nhng mu khng c phn loi tt
bi s kt hp gia C1 v C2: nhng mu cn li trong D m C1 v C2 cho kt qu
khc nhau. Nh vy, D3 s gm nhng mu m C1 v C2 hot ng khng hiu qu.
Sau cng, chng ta s hun luyn b phn loi C3 t D3.
By gi chng ta c mt strong classifier: s kt hp C1, C2 v C3. Khi tin
hnh nhn dng mt mu X, kt qu s c quyt nh bi s tha thun ca 3 b C1,
C2 v C3: Nu c C1 v C2 u phn X vo cng mt lp th lp ny chnh l kt qu
phn loi ca X; ngc li, nu C1 v C2 phn X vo 2 lp khc nhau, C3 s quyt
nh X thuc v lp no

n 2

Trang 35

Robot nhn din ngi thn

Hnh 12. Boosting

3.1.2.Adaboost
Nh bit, AdaBoost ( Adaptive Boost ) l mt b phn loi mnh phi tuyn
phc da trn hng tip cn boosting c Freund v Schapire a ra vo nm 1995.
Adaboost hot ng trn nguyn tc kt hp tuyn tnh cc weak classifier da trn
cc c trng Haar- Line hnh thnh mt strong classifier.
c th kt hp cc b phn loi yu, adaboost s dng mt trng s (weight)
nh du cc mu kh nhn dng. Trong qu trnh hun luyn, c mi weak
classifier c xy dng, thut ton s tin hnh cp nht li trng s chun b cho
vic xy dng weak classifier tip theo: tng trng s ca cc mu b nhn dng sai v
gim trng s ca cc mu c nhn dng ng bi weak classifier va xy dng.
Bng cch ny, cc weak classifier sau c th tp trung vo cc mu m cc weak
classifier trc cha thc hin tt. Sau cng cc weak classifier s c kt hp ty
theo mc tt ca chng to nn mt strong classifier.
Cc weak classifiers hk(x) l cc b phn loi yu, c biu din nh sau:

n 2

Trang 36

Robot nhn din ngi thn

hk (x )= 1nu p k f k ( x ) < pk k
0 nu ng c li Trong :

X : mu hay ca s con cn xt ( X = (x 1,x2,,xn) l vector c trng ca

mu)
Ok: ngng (O = teta)
fk: gi tr ca c trng Haar-like
pk: h s quyt nh chiu ca bt phng trnh
Cng thc trn c th din gii nh sau: Nu gi tr c trng ca mu cho bi
hm nh gi ca b phn loi vt qua mt ngng cho trc th mu y l khun
mt ( gi l object : i tng cn nhn dng ), ngc li th mu l background
( khng phi l i tng ).

Thut ton AdaBoost:

n 2

Trang 37

Robot nhn din ngi thn

1. Cho mt tp gm n mu c nh du (x 1,y1), (x2,y2), (xn,yn) vi xk
(xk1, xk2, , xkm) l vector c trng v yk (-1, 1) l nhn ca mu (1
ng vi object, -1 ng vi background).
2. Khi to trng s ban u cho tt c cc mu: vi m l s mu ng
(ng vi object v y = 1) v l l s mu sai (ng vi background v y =
-1).
w 1,k =

1 1
,
2 m 2l

3. Xy dng T weak classifiers

Lp t = 1, , T
Vi mi c trng trong vector c trng, xy dng mt weak
classifier hj vi ngng j v li j.
w t , k h j ( x k ) y k
n

j=
k

Chn ra hj vi j nh nht, ta c ht:

ht : X {1,1 }

Cp nht li trng s:
w t+1, k =

Trong :

Zt

wt ,k e , ht ( x k )= y k

Zt
e , ht ( x k ) y k
t

1 j
1
t = ln (
)
2
j

: H s dng a W t +1 v on [0,1] (normalization

factor)
4. Strong classifier c xy dng :
T

H ( x )=d u

(
t =1

S khi:

n 2

Trang 38

t ht (x )

Robot nhn din ngi thn

Tp cc mu

Tp cc mu v trng s Bt u hun
Khi
luyn
to tp c

Mu
Mu sai
ng

cb
trp
Xc nh cc c trng trong tng mu, xy dng cc

Tnh ton gi tr li cho mi c trng (false

Cp nht li trng s

Sai

Xc nh ngng

Kt thc, strong classifier uc xy dng

Lutrweak
Chn weak classifier c gi
li bcla
n

ng

False alarm max false alarm

Hnh 13. S khi thut ton AdaBoost

Qu trnh hun luyn b phn loi c thc hin bng mt vng lp m mi
bc lp, thut ton s chn ra weak classifier ht thc hin vic phn loi vi li t nh
nht (do s l b phn loi tt nht) b sung vo strong classifier. Mi khi chn
c 1 b phn loi ht, Adaboost s tnh gi tr t theo cng thc trn. t cng c
chn trn nguyn tc lm gim thiu gi tr li t.
H s t ni ln mc quan trng ca ht:
Trong cng thc ca b phn loi H(x):
T

H ( x )=du

(
t =1

n 2

Trang 39

t ht (x )

Robot nhn din ngi thn

Ta thy tt c cc b phn loi h t u c ng gp vo kt qu ca b phn
loi H(x), v mc ng gp ca chng ph thuc vo gi tr t tng ng:
ht vi t cng ln th n cng c vi tr quan trng trong H(x).
Trong cng thc tnh t:
1 j
1
t = ln (
)
2
j

D thy gi tr t t l nghch vi t. Bi v ht c chn vi tiu ch t t

nh nht, do n s m bo gi tr t ln nht.
Sau khi tnh c gi tr t, Adaboost tin hnh cp nht li trng s ca cc mu:
tng trng s cc mu m ht phn loi sai, gim trng s cc mu m h t phn loi ng.
Bng cch ny, trng s ca mu phn nh c mc kh nhn dng ca mu v
ht+1 s u tin hc cch phn loi nhng mu ny.
Vng lp xy dng strong classifier s dng li sau T ln lp. Trong thc t ci
t (th vin OpenCV ca Intel), ngi ta t s dng gi tr T v khng c cng thc
no m bo tnh c gi tr T ti u cho qu trnh hun luyn. Thay vo , ngi ta
s dng gi tr max false positive hay max false alarm (t l nhn dng sai ti a cc
mu background). T l ny ca b phn loi cn xy dng khng c php vt qu
gi tr ny. Khi , qua cc ln lp, false alarm ca strong classifier H t(x) xy dng
c (ti ln lp th t) s gim dn, v vng lp kt thc khi t l ny thp hn max
false alarm.
3.1.3.Cc c trng Haar-Like
Viola v Jones dng 4 c trng c bn [20] xc nh khun mt ngi. Mi
c trng Haarlike l s kt hp ca hai hay ba hnh ch nht "trng" hay "en" nh
trong hnh sau:

Hnh 14. t trng Haar-like c bn

p dng cc t trng ny vo vic bi ton xc nh mt ngi, 4 t trng
Haar-like c bn c m rng ra, v c chia lm 3 tp c trng nh sau:
n 2

Trang 40

Robot nhn din ngi thn

1. c trng cnh (edge features):

2. c trng ng (line features):

3. c trng xung quanh tm (center-surround features):

Hnh 15. Cc c trng m rng ca cc c trng Haar-like c s

Li ch ca cc c trng Haar-like l n din t c tri thc v cc i tng
trong nh (bi v n biu din mi lin h gia cc b phn ca i tng), iu m
bn thn tng im nh khng din t c. tnh gi tr cc c trng haar-like, ta
tnh s chnh lch gia tng ca cc pixel ca cc vng en v cc vng trng nh
trong cng thc sau:
f(x) = Tngvng en(pixel) - Tngvng trng(pixel)
Nh vy ta c th thy rng, tnh cc gi tr ca c trng Haar-like, ta phi
tnh tng ca cc vng pixel trn nh. Nhng tnh ton cc gi tr ca cc c trng
Haar-like cho tt c cc v tr trn nh i hi chi ph tnh ton kh ln, khng p ng
c cho cc ng dng i hi tnh run-time. Do Viola v Jones a ra mt khi
nim gi l Integral Image tnh ton nhanh cho khc feature c bn. Sau ny,
Lienhart k tha gi Integral Image l SAT Summed Area Table v a ra thm khi
nim RSAT Rotated Summed Area Table dng tnh ton nhanh cho cc c trng
xoay 1 gc 45o. Integral Image l mt mng 2 chiu vi kch thc bng vi kch ca
nh cn tnh cc c trng Haar-like, vi mi phn t ca mng ny c tnh bng
n 2

Trang 41

Robot nhn din ngi thn

cch tnh tng ca im nh pha trn (dng-1) v bn tri (ct-1) ca n. Bt u t v
tr trn, bn tri n v tr di, phi ca nh, vic tnh ton ny n thun ch a trn
php cng s nguyn n gin, do tc thc hin rt nhanh.

P(x,y)
P ( x , y )=
'

i(x' , y ' )

'

x x, y y

Hnh 16. Cch tnh Integral Image ca nh

Sau khi tnh c Integral Image, vic tnh tng im nh ca mt vng bt
k no trn nh thc hin rt n gin theo cch sau: (Gi s ta cn tnh tng im
nh ca vng D nh trong hnh 11):
D = A + B + C + D (A+B) (A+C) + A
Vi A + B + C + D chnh l gi tr ti im P4 trn Integral Image, tng t nh
vy A+B l gi tr ti im P2, A+C l gi tr ti im P3, v A l gi tr ti im P1.
Vy ta c th vit li biu thc tnh D trn nh sau:
D=( x 4 , y 4 )( x 2 , y 2 ) ( x 3 , y 3 ) + ( x 1 , y 1 )

P1

P2

D
P3

P4

Hnh 17. V d cch tnh nhanh tng cc im nh ca vng D trn nh

B
2

RSAT(x,y)

(b)

Trang 42

C
3

(a)

n 2

Robot nhn din ngi thn

Hnh 12: V d cch tnh nhanh tng im nh ca vng D trn nh
vi cc c trng xoay 45o
Vi cc c trng Haar-like xoay 45 o Integral Image ti mt im (x, y) c tnh
theo cng thc:
x x , x x y y I (x ' , y' )
P ( x , y ) =

Tng pixel ca mt vng bt k trn nh vn c tnh theo cch sau:

D = A + B + C + D (A+B) (A+C) + A
Nh vy tng cc im nh trong mt hnh ch nht (k c trng hp xoay 45)
bt k u c th c tnh nhanh da trn integral image ti 4 nh ca n :
Sum (D ) = .4 - 2 3 + 1
3.1.4.Cascade of Classifiers
Ta thy qu trnh hun luyn, b phn loi phi duyt qua tt c cc c trng ca
cc mu trong tp training. Vic ny tn rt nhiu thi gian. Tuy nhin, trong cc mu
a vo, khng phi mu no cng thuc loi kh nhn dng, c nhng mu
background rt d nhn ra (ta gi y l nhng mu background n gin). i vi
nhng mu ny, ta ch cn xt mt hay vi c trng n gin l c th nhn din c
ch khng cn xt tt c cc c trng. Nhng i vi cc b phn loi thng thng
th cho d mu cn nhn dng l d hay kh th n vn s xt tt c cc c trng m
n rt ra c trong qu trnh hc. Do , chng tn thi gian x l mt cch khng
cn thit.
Cascade of Classifiers c xy dng chnh l nhm rt ngn thi gian x l,
gim thiu false alarm cho b phn loi. Cascade tree gm nhiu stage (hay cn gi l
layer), mi stage ca cy s l mt stage classifier. Mt mu c phn loi l i
tng th n cn phi i qua ht tt c cc stages ca cy. Cc stage classifiers stage
sau c hun luyn bng nhng mu negative m stage classifier trc n nhn dng
sai, tc l n s tp trung hc t cc mu background kh hn, do s kt hp cc
stage classifiers ny li s gip b phn loi c false alarm thp. Vi cu trc ny,
n 2

Trang 43

Robot nhn din ngi thn

nhng mu background d nhn din s b loi ngay t nhng stages u tin, gip p
ng tt nht i vi phc tp gia tng ca cc mu a vo, ng thi gip rt ngn
thi gian x l.

Thut ton Cascade training:

1. Gi:
F l gi tr false alarm v d l chnh xc ca weak classifier mi stage
Ftarget: Gi tr max false alarm.
P, N l s lng mu positive v negative.
Pi, Ni l tp positive v negative cho b phn lp tng th i.
Fi, Di: Gi tr false alarm v chnh xc ca cascade trc khi n tng th i.
2. Khi to i=0; F0=1.0; D0 = 1.0
3. Lp: while Fi>Ftarget
i = i+1;
Hun luyn b phn loi hi t tp Pi v Ni vi detection rate d v max false
alarm f. Thm hi vo cy phn lp.
Dng cy phn lp hin c tnh Fi: Duyt qua N mu negative cho n
khi no tm n mu m cy phn lp hin c phn loi sai. (

Fi =

N :=
Nu Fi >Ftarget
N = { s mu sai stage hin ti phn loi sai }.
P = { s mu positive m stage hin ti phn loi dng }

Minh ha thut ton Cascade training:

stage 1

N-1

hitrate = hN
h

1-f

1-f

1-f

falsealarms = fN
1-f

Input pattern classified as a non-object

n 2

Trang 44

Robot nhn din ngi thn

Hnh 18. Cascade of classifiers
3.1.5.Cascade of boosting classifiers
Cascade of boosting classifiers l m hnh cascade of classifiers vi mi
classifier c xy dng bng Adaboost s dng haar-like.

NON-CLASS
N

Y
N

C
L
A
S
S

Y
I

Hnh 19. Cascade of boosting classifiers

Viola v Jones s dng rt thnh cng cascade of boosting classifiers cho bi
ton nhn dng mt ngi. Vi tp hun luyn gm 4196 hnh mt ngi c a v
nh grayscale kch thc 24x24 v 9500 hnh background, hai ng xy dng cu
trc cascade tree gm 38 stage vi tng cng 6060 c trng haar-like. Thc nghim
cho thy classifier stage u tin s dng 2 c trng v loi c khong 50%
mu background (khng phi mt ngi) v c chnh xc l d = 100%. Classifier
stage th 2 s dng 10 c trng loi c 80% mu background vi chnh xc vn
l 100%. H thng ny c so snh vi h thng ca Rowley-Baluja-Kanade (s
dng mng neural), Schneiderman-Kanade (s dng phng php thng k), v cho
n 2

Trang 45

Robot nhn din ngi thn

thy t l nhn dng l ngang nhau, trong khi h thng ca Viola v Jones chy nhanh
hn n 15 ln so vi h thng ca Rowley-Baluja-Kanade v nhanh hn 600 ln h
thng ca Schneiderman-Kanade.
L do m cu trc cascade t tc nhn dng nhanh chnh l nh n sm loi
b c cc mu background n gin (thng c s lng ln hn nhiu so vi cc
mu cha object cc mu cha khun mt cn tin hnh nhn dng). Bn cnh , h
thng ca Viola v Jones cng t c chnh xc kh cao nh vo thut ton
cascade training, cc b nhn dng c hun luyn bng AdaBoost vi c trng
Haar-like m t tt thng tin i tng, cng vi cch Integral Image tnh nhanh cc
c trng, khng lm gim tc nhn dng ca h thng. Nh vy, m hnh Cascade
of Boosted Classifiers tht s l mt cch tip cn tt c v tc ln kh nng nhn
dng, rt ph hp vi bi nhn dng mt ngi.

n 2

Trang 46

Robot nhn din ngi thn

NON-CLASS
N

Y
N

C
L
A
S
S

c lng cc c trng
Cu trc phn tng (Cascade of classifier)
S lng ln cc c trng
Chn c trng
C1

C2

Cn

iu chnh thng s Adaboost

Mt tp nh cc c trng

Quyt nh kt qu
Cc hm Haar c bn

Integral Image
n 2

Trang
47 nhanh t nhiu t l
Tnh cc c
trng

Robot nhn din ngi thn

nh
gc
Hnh 20. Tng
quan v h thng pht hin mt ngi trong nh s dng Cascade of
classifier
3.2. Nhn din mt ngi
Hai phng php tip cn vi nhn dng khun mt hin nay l: Nhn dng da trn

c trng ca cc phn t trn khun mt (Feature Based Face Recognition), v nhn

dng da trn xt tng th ton khun mt (Appearance Based Face Recognition).
3.2.1. Nhn dng da trn mi quan h gia cc phn t (Feature Based)
y l phng php nhn dng khun mt da trn vic xc nh cc c trng hnh
hc ca cc chi tit trn mt khun mt (nh v tr, din tch, hnh dng ca mt, mi,
ming, khun dng ca khun mt,), v mi quan h gia chng (v d khong cch
ca hai mt, khong cch ca hai lng my, khong cch t mi ti cm,).

u im ca phng php:
Phng php ny gn vi cch m con ngi s dng nhn bit khun
mt .
Vi vic xc nh c tnh v cc mi quan h, phng php ny c th
cho kt qu tt trong cc trng hp nh c nhiu nhiu, nh b nghing,
b xoay, nh sng thay i.
Nhc im ca phng php:
Vic mt xc nh mt lc nhiu c tnh v cc mi quan h i hi cc
thut ton phc tp.
Nu nh c phn gii b, cc mi quan h gia cng mt cp c tnh
trn cc khun mt u rt st nhau, iu ny dn n kt qu nhn dng
khng chnh xc. Vi nh c phn gii ln hn th khi lng tnh
ton s rt ln, i hi cao v cu hnh phn cng.
3.2.2. Nhn dng da trn xt ton din khun mt (Appearance Based)
Ni dung chnh ca hng tip cn ny l xem mi nh c kch thc RxC l mt
vec-t trong khng gian RxC chiu. Ta s tm mt khng gian mi c chiu nh hn,
sao cho khi c biu din trong khng gian cc c im chnh ca mt khun
n 2

Trang 48

Robot nhn din ngi thn

mt vn khng b mt i. Trong khng gian mi , cc nh ca cng mt ngi s tp
hp li thnh mt nhm gn nhau v cch xa cc nhm khc. Hai phng php
thng c dng hin nay l PCA (Principle Components Analysis) v LDA (Linear
Discriminant Analysis).
3.2.2.1. Nhn dng bng PCA
PCA (Principle Components Analysis) l mt thut ton to ra mt nh
mi t nh ban u. nh mi ny c kch thc nh hn rt nhiu so vi nh
u vo v vn mang nhng c trng c bn nht ca khun mt cn nhn
dng. PCA khng cn phi quan tm n vic phi tm ra c th cc c im
trn khun mt (mt, mi, ming) v cc mi quan h. Tt c nhng chi
tit u c th hin nh mi c to ra t PCA.
Mc tiu ca PCA l nh mi c to ra c kch thc nh nht v cha nhiu nht
cc c trng ca nh khun mt u vo. V bn cht, PCA tm ra mt khng gian
mi theo hng bin thin mnh nht ca mt tp hp cc vec-t trong mt khng
gian cho trc. Trong khng gian mi, ngi ta hy vng rng vic phn loi s mang
li kt qu tt hn so vi khng gian ban u.
u im ca phng php PCA:
Tm c cc c tnh tiu biu cho mt khun mt m khng cn phi
xc nh cc thnh phn v mi lin h gia cc thnh phn trn khun
mt .
Thut ton thc hin tt vi cc nh u vo c phn gii cao, do PCA
s thu gn nh u vo thnh mt nh mi c kch thc rt nh.
Khi lng tnh ton khng nhiu.
PCA c tnh m v c th kt hp c vi cc phng php khc (nh
mng n-rn, Support Vector Machine SVM,) mang li hiu qu
nhn dng cao hn.
Nhc im ca PCA:
PCA phn loi theo chiu phn b ln nht ca tp vec-t. Tuy nhin,
khng phi bao gi chiu phn b ln nht li mang li hiu qu cao nht
cho nhn dng. y l nhc im c bn ca PCA.

n 2

Trang 49

Robot nhn din ngi thn

PCA rt nhy vi nhiu, v vy nhim v tin x l (lc nhiu, chun ha,
) i hi phi thc hin rt ky
3.2.2.2. Nhn dng bng LDA
Tng t nh PCA, LDA (Linear Discriminants Analysis) cng l mt phng php
nhn dng theo hng tip cn Apprearance Based.
Mc ch ca LDA l tm ra mt khng gian mi tch ri cc nhm nh vi nhau.
Khng gian c to bi cc vec-t khng nht thit phi trc giao tng i mt.
Trong khng gian to ra t LDA, cc nh trong cng mt nhm s gn nhau, v cc
nhm khc nhau s cch xa nhau. LDA khc phc c nhc im ca PCA, l
khng phi hng bin thin mnh nht lun mang thng tin nhn dng cao nht.

u im ca phng php:
LDA mang hu ht cc u im ca phng php PCA, ng thi khc
phc c nhc im c bn ca PCA.
Nhc im ca phng php:
LDA i hi mt khi lng tnh ton rt ln. Hin nay vn cha c cch
tnh nhanh phng php LDA.
LDA cng nhy vi nhiu ging nh PCA, iu ny i hi nhim v tin
x l nh phi c thc hin ky lng.
3.2.3. Ni dung phng php PCA
3.2.3.1. Xy dng phng php PCA
Trong nhn dng mt ngi, khi s dng PCA, ta coi mt nh xm R C pixels l
mt vec-t trong khng gian N = R x C chiu.
Khng gian mi c to ra bi PCA c cu thnh t K vec-t n v c chiu l
N ,N << R C . Mi vec-t c gi l mt Eigenface.
Php bin i:

n 2

Trang 50

Robot nhn din ngi thn

Theo cng thc: W = T . A

Vi T l ma trn chuyn i. T c kch thc l K N
Gi M l s nh u vo, mi nh c chuyn thnh mt vec-t N chiu. Ta
c tp hp u vo X = {x1,x2,xM} ( Xi N ).

Trung bnh ca cc vec-t u vo (tm ca tp hp u vo):

Sai lch so vi tm:

Gi A = [1, 2,, N] , ta c covariance matrix ca A:

Gi cc gi tr ring ca C l 1, 2,, N sp xp theo th t gim dn, tng

n 2

Trang 51

Robot nhn din ngi thn

ng vi N vec-t ring u1, u2,, uN. Cc vec-t ring ny trc giao tng i mt. Mi
vec-t ring ui c gi l mt eigenface. Tp hp vec-t ban u c biu din
trong khng gian to bi N eigenface theo m t sau:

Chn ly K vec-t ring u tng ng vi K gi tr ring ln nht. Ta c:

Vc-t cc h s khai trin [w1, w2,, wK] chnh l biu din mi ca nh c to ra

trong khng gian PCA. Vc-t [w1, w2,, wK] c tnh theo cng thc sau:

Vn cn gii quyt y l ma trn covariance C = A . AT c kch thc N2 . Vi N

= 200 200 = 40000, khi lng tnh ton s rt ln. Do , tnh c cc
eigenface m khng cn phi tnh c ma trn C, ngi ta a ra phng php tnh
nhanh da vo tnh vec-t ring v gi tr ring ca ma trn L = A T . A c kch thc
MM, vi M l s nh u vo. Ta c th chng mnh nh sau: gi v i , i ln lt l
vec-t ring v gi tr ring ca ma trn L:
AT . A . vi = i . vi
Nhn c 2 v vi A ta c:
A . AT . A . vi = i . A . vi
Ta thy A . vi chnh l vec-t ring ca C = A . AT , ng vi gi tr ring i

n 2

Trang 52

Robot nhn din ngi thn

3.2.3.2. Lu thut ton PCA

Hnh 21. Lu thut ton tnh c trng mt trong tp hun luyn

( (original faces) l hnh nh khun mt ban u )

Hnh 22. Lu thut ton tnh nhn din hnh nh khun mt

3.3. S khi ca h thng
3.3.1. S khi phn cng

n 2

Trang 53

Robot nhn din ngi thn

Webcam

USB

Windows
API Driver

Monitor

OpenCV

Hnh 23. S khi cho phn cng

3.3.2. S khi phn mm

Hnh 24. S khi cho ng dng

3.3.3. Thit k h thng cho chng trnh nhn din khun mt
Chng trnh c chia thnh thnh cc phn nh sau:
Lu khun mt
vo CSDL
u vo
(Webcam
)

Pht hin
khun
mt bng
Adabot

Xc thc
Ngi
thn
i snh vi
CSDL bng PCA

n 2

Trang 54

Robot nhn din ngi thn

Hnh 25. Cc thnh phn chng trnh nhn din mt ngi

X l u vo:
Chng trnh nhn u vo l webcam, tuy nhin, vic pht hin khun mt c
thc hin trn cc bc nh, do , ta phi chuyn thnh cc nh tnh v x l trn tng
nh tnh. Sau khi c nh u vo ri th s chuyn nh cho giai on x l tip theo,
l pht hin cc khun mt c trong nh.

Pht hin khun mt:

Phn ny x l chnh nghip v ca h thng. Sau khi c nh truyn vo, h
thng s thc hin chc nng pht hin khun mt c trong nh.
Vic pht hin khun mt c thc hin nhanh bng thut ton adaboost thng
qua hm cvHaarDetectObjects() ca OpenCV. Hm ny thc hin vic pht hin i
tng da trn cc c trng haar-like, c th l nh vo mt b Cascade c truyn
vo cho hm. B Cascade c xy dng theo dng cy (tree-node) v c hun
luyn t trc.
Vic hun luyn b Cascade c th thc hin t nhng d liu thu thp c
phc v cho qu trnh nhn dng. V d, mun nhn dng mt ngi A, ta thu thp cc
nh khun mt ca ngi A vi nhiu t th, gc chp v iu kin chp khc nhau,
sau y cho b nhn dng hc theo thut ton Cascade training.

Lu khun mt vo c s s liu:
Khun mt sau khi c pht hin s c tch ra khi bc nh v lu di dng
nh bitmap vi phn m rng l *.jpg.
Cc khun mt s c tch ra v lu li thnh cc file nh ring r, v c
nh s th t theo tn khun mt.

i snh vi c s d liu:
Sau khi qu trnh lu tr hnh nh vo c s d liu hon tt, h thng tip tc
quay li giai on x l u vo, pht hin khun mt. S dng thut ton PCA i
chiu v so snh gia khun mt hin ti v nhng khun mt ang c trong c s d
liu. Sau PCA s tm ra c t l ging nhau gia hai bn.
n 2

Trang 55

Robot nhn din ngi thn

Xc thc ngi thn:
Nu t l ging nhau m thut ton PCA tm c nm trong mt ngng quy nh
cho php, chng ta xc thc c ngi chnh l ngi tng c lu trong c
s d liu, v ngc li.

CHNG 4. XY DNG THC NGHIM

4.1. S lc v OpenCV
OpenCV l th vin m ngun m ca intel v th gic my tnh. N cung cp
mt b m ngun bao gm hng trm hm, lp da trn cc thut ton v x l nh
cng nh Computer vision dng ngn ng C/C++. Open CV th hin s a dng ca
tr tu nhn to. c ng dng nhiu trong cc bi ton nhn dng mt, d tm mt,
pht hin mt, lc Kalman,
Cu trc tng quan ca OpenCV bao gm 5 phn chnh. 4 trong 5 phn c
ch ra trong hnh v di.

CV
MLL
HighGUI
Cc hm v x
Cc
l thut
nh v
ton
giihc
thut
my,
v th
baogic
gm
Ccmy
cc
hm
tnh
b
vphn
th tc
cm,
lm
phn
vicloi
vi thng
file nh
kv file

CXCORE
Cc cu trc d liu c bn, cu trc XML, cc hm v ha

Hnh 26. Cu trc c bn ca OpenCV

Phn CV bao gm cc th vin c bn v x l nh v cc gii thut v th gic my
tnh. ML l b th vin v cc thut ton hc my, bao gm rt nhiu b phn cm v
phn loi thng k. HighGUI cha ng nhng th tc vo ra, cc chc nng v lu
tr cng nh c cc file nh v video. Phn th 4, Cxcore cha ng cc cu trc d
liu c bn ( v d nh cu trc XML, cc cy d liu ). Phn cui cng l CvAux,
n 2

Trang 56

Robot nhn din ngi thn

phn ny bao gm cc th vin cho vic pht hin, theo di v nhn dng i tng
(khun mt, mt ).
4.2. S lc v phn cng Kit Raspberry Pi 3

Hnh 27. Raspberry Pi 3

Thng s ky thut chi tit:

1.2 GHz 64-bit quad-core ARM Cotex-A53 CPU (BCM2837)

1 GB RAM (LPDDR2 SDRAM)
On-board Wireless LAN 2.4 GHz 802.11 h/g/n (BCM43438)
On-board Bluetooth 4.1 + HS Low-energy (BLE) (BCM43438)
4 x USB 2.0 ports
10/100 Ethernet
40 GPIO pins
Full size HDMI 1.3a port
Combined 3.5mm analog audio and composite video jack
Camera interface (CSI)
Display interface (DSI)
MicroSD slot
VideoCore IV multimedia/3D graphics core @ 400MHz/300MHz

n 2

Trang 57

Robot nhn din ngi thn

4.3. S lc v b iu khin m ca R-le
Gii thiu:
R-le l mt loi linh kin in t th ng rt hay gp trong cc ng dng thc
t. Khi bn gp cc vn lin quan n cng sut v cn s n nh cao, ngoi
ra c th d dng bo tr, th r-le chnh l ci bn cn tm
R-le l mt cng tc (kha K). Nhng khc vi cng tc mt ch c bn, rle c kch hot bng in thay v dng tay ngi. Chnh v l , r-le c
dng lm cng tc in t! V r-le l mt cng tc nn n c 2 trng
thi: ng v m.
Trn th trng chng ta c 2 loi module r-le: module r-le ng mc thp (ni
cc m vo chn tn hiu r-le s ng), module r-le ng mc cao (ni cc
dng vo chn tn hiu r-le s ng)

Module r-le kch mc cao

Module r-le kch mc thp

R-le bnh thng gm c 5 chn. Trong c 3 chn kch, 2 chn cn li ni vi
dng in
n 2

Trang 58

Robot nhn din ngi thn

3 chn dng kch
+: cp hiu in th kch ti u vo chn ny.
- : ni vi cc m
S: chn tn hiu, ty vo loi module r-le m n s lm nhim v kch
r-le
1 trong 2 chn cn li s ni vi thit b in
Sn phm thc t ca nhm

Hnh 28. B iu khin R-le

n 2

Trang 59

Robot nhn din ngi thn

4.4. S lc Webcam Logitech C270

Hnh 29. Webcam Logitech C270

Thng tin ky thut:

Chp nh ch 3Megapixel
in thoi hnh nh ch HD 720p
ng dng cng ngh Righ Light - t ng iu chnh ly c nh
sng ti u v cho nh tt ngay c trong iu kin nh sng mp m.
Tch hp micro vi cng ngh RightSound
Thng hiu Logitech

n 2

Trang 60

Robot nhn din ngi thn

4.5. Kt qu thc nghim
Sau khi pht hin c khun mt, chng ta thc hin lnh train cho khun mt ny,
x l ct nh, chnh size, a v nh xm v cc thng s nh. Lu thng tin vo c s
d liu.

Hnh 30. Nhn din l ngi thn

Khi pht hin c mt khun mt mi, tip tc x l v phn tch nh. Sau i
snh khun mt hin ti vi nhng khun mt trong c s d liu, nu ging th l
ngi thn. Trong trng hp ny, ngi thn chnh l tn cha khun mt c
train trc . Ngc li, l ngi l.
Nu chng trnh nhn din ng l ngi thn, robot s cho php m ca, ng thi
pht ra ging ni c lp trnh trc, to c hiu ng th v v chuyn nghip.
Sau mt thi gian quy nh chng trnh s cho php ng ca li, ng ngha vi vic
ngi thn i vo nh v ca s t ng.

n 2

Trang 61

Robot nhn din ngi thn

Hnh 31. Nhn din khng phi l ngi thn

Nu khng phi ngi thn, ca s khng c m, ng thi pht ra ging ni You
can not open the door.

n 2

Trang 62

Robot nhn din ngi thn

CHNG 5. KT LUN V HNG PHT TRIN
5.1. Kt lun
Trn c s nghin cu v bi ton nhn din mt ngi. c bit l cc thut
ton Adaboost, cc c trng haar-like v m hnh Cascade of Classifier trong pht
hin mt ngi v thut ton PCA trong nhn din mt ngi. Nhm n p dng
thnh cng v xy dng c chng trnh nhn din ngi thn. Bn cnh , nhm
tm hiu v th vin m ngun m OpenCV, h qun tr c s d liu Oracle, qua
bit cch s dng cc hm trong th vin OpenCV v qun l c s d liu bng h
qun tr c s d liu Oracle.
V sn phm, sau khi th nghim trc tip trn kit Raspberry Pi 3. Chng trnh
t kt qu tt, thi gian pht hin nhanh i vi cc nh mt ngi chp thng, cht
lng nh tt, tuy nhin i vi cc nh chp nghing hay nh c mu sc qu ti th
chng trnh gn nh khng th pht hin c khun mt trong bc nh y.
Tuy nhin, chng trnh cn ty theo cht lng ca loi webcam c s dng,
chng trnh s khng th pht hin mt ngi trong iu kin sng qu yu v gc
quay nghing qu 20o.
5.2. Hng pht trin
Cng vic k tip ca nhm s l thc hin nh gi thi gian thc hin ca cc thut
ton nhn dng trn cc tp d liu khc nhau. ng thi c th kt hp vi cc h
thng iu khin Robot nhn dng i tng nh: Nhn dng ch nhn ca Robot,
nhn dng v nh danh ti phm, h thng bo mt bng nhn din khun mt trong
nhng ngi nh thng minh.
M rng s lng ngi cn nhn dng.
Gii quyt m rng cc kh nng x l ca chng trnh vi cc trng hp
thay i t th, trng thi cm xc ca i tng v gim thiu nh hng ca
phc trang.
Th nghim, phi hp cc m hnh nhn dng khc nhau (mng n-rn, SVM,
) v cc phng php nhn dng nh khc (LDA, ICA,) mang li tin
cy cao hn cho h thng.

n 2

Trang 63

Robot nhn din ngi thn

Quy nh nh sng ti nhng ni c s dng h thng gim thiu sai s nhn
dng do cng sng thay i.
Nhng h thng xung cc h vi x l ta c c mt th thng chuyn
dng.
Gii quyt vn v nhn din khun mt i vi nhng dn tc c mu da
khc nhau, in hnh nh nhn din ngi chu phi c mu da en.

n 2

Trang 64

Robot nhn din ngi thn

TI LIU THAM KHO
n tm hiu c trng lm 3D v bi ton pht hin mt ngi trong nh - Nguyn
Th Thm(2013)
Learning OpenCV - Gary Bradski and Adrian Kaehler
ng dng x l nh trong thc th vi th vin OpenCV C/C++ - Nguyn Vn Long
Mastering OpenCV with Practical Computer Vision Projects Sherin Emami:
http://www.shervinemami.info/faceRecognition.html
Face Recognition with OpenCV:
http://docs.opencv.org/2.4/modules/contrib/doc/facerec/facerec_tutorial.html
Face Detection using Haar Cascades:
http://docs.opencv.org/master/d7/d8b/tutorial_py_face_detection.html#gsc.tab=0
Thng tin phn cng kit Raspberry Pi 3
http://hshop.vn/products/raspberry-pi-3-made-in-uk
Cch hot ng ca R-le
http://arduino.vn/bai-viet/302-module-relay-cach-su-dung-ro-le-va-nhung-ung-dunghay-cua-no

Ht

n 2

Trang 65