Hệ gới ý với phân rã ma trận poisson và dropout

- Chính vì vậy,luận văn này đề cập tới vấn đề gợi ý trên sản phẩm mô tả ngắn cùng đề xuất mô hình học PoissonMatrix Factorization using Word Embedding Prior (PFEP).
- Ý tưởng chính của chúng tôi là sử dụngphân rã ma trận Poisson để mô hình hóa các tương tác rời rạc và sử dụng tri thức tiên nghiệm từbiểu diễn nhúng của từ để làm giàu thông tin cho biểu diễn sản phẩm.
- Bên cạnh đó chúng tôi đề xuấtthuật toán học cho mô hình với sự kết hợp của kĩ thuật dropout để tăng khả năng dự đoán và tổngquát hóa.
- Những thí nghiệm trên bộ dữ liệu thử nghiệm đã chỉ ra mô hình PFEP có chất lượng tốthơn ở phần lớn các trường hợp khi so sánh với một số mô hình gợi ý mới nhất.4 AbstractRecently, recommendation plays an important role in systems, and one of its tasks is to attract user’simpression to increase user-system interactions.
- The experimental results have shown that PFEP has higher qualityin comparison with some state-of-the-art recommendation models in most cases.5 Mục lụcLời cảm ơn 2Lời cam đoan 3Tóm tắt 4Abstract 5Danh sách thuật ngữ chính 8Danh sách ký hiệu chính 9Danh sách hình vẽ 10Danh sách bảng 111 Tổng quan 122 Cơ sở lý thuyết 162.1 Mô hình đồ thị.
- 276 3 Các nghiên cứu liên quan 293.1 Một số mô hình gợi ý mới nhất.
- 293.1.1 Mô hình gợi ý dùng rã ma trận Gaussian dùng trọng số - WMF.
- 293.1.2 Mô hình gợi ý dùng phân rã ma trận Poisson phân cấp - HPF.
- 303.1.3 Mô hình gợi ý dùng phân rã ma trận Poisson kết hợp nội dung - CTMP.
- 343.2 Nghiên cứu về sử dụng tri thức tiên nghiệm trong mô hình xác suất.
- 364 Mô hình đề xuất 384.1 Mô hình sinh.
- 384.2 Học mô hình.
- 444.3 Phân tích mô hình.
- 515.2.1 Gợi ý với sản phẩm mô tả ngắn.
- 515.2.2 Gợi ý với sản phẩm mô tả thông thường.
- 142.1 Ví dụ mô hình đồ thị xác suất.
- 212.6 Mô hình đồ thị xác suất cho phân rã ma trận.
- 222.7 Mô hình phân rã ma trận Gauss với ràng buộc biến.
- 242.8 Biến phụ z cho mô hình phân rã ma trận Poisson.
- 273.1 Mô hình gợi ý dùng phân rã ma trận Poisson với phân cấp mức 1.
- 313.2 Mô hình gợi ý dùng phân rã ma trận Poisson với phân cấp mức 2.
- 323.3 Mô hình gợi ý CTMP.
- 344.1 Mô hình đồ thị của P F EP.
- Tuy nhiên các mô hìnhgợi ý hiện hay chưa phân tích tới vấn đề này cùng với sự khó khăn trong khai thác nội dung ngắn.Chính vì vậy ở nghiên cứu này, chúng tôi đề xuất mô hình gợi ý tập trung vào các sản phẩm mô tảngắn này, cùng với đề xuất phương pháp học mới và hiệu quả cho mô hình.Ta xem xét một hệ thống gợi ý ở mặt đầu cuối gồm người sử dụng và sản phẩm:• Hệ thống có U người dùng và I sản phẩm• Mỗi sản phẩm i trong I sản phẩm được mô tả bằng tập các từ ai= {aiv}Vv=1, với aivlà số lượngtừ xuất hiện của từ thứ v trong từ điểm V từ ( biểu diễn dạng túi từ (bag of word.
- Cácnghiên cứu này cũng cho thấy việc kết hợp nội dung sản phẩm với phân rã ma trận tạo ra những kếtquả rất tích cực.
- Khai thác trên các biểu diễnvăn bản ngắn cũng là thách thức đối với xây dựng các mô hình dựa trên sự đồng xuất hiện của cáctừ .
- Nguồn: Cafef.vn(b) Mô tả sản phẩm.
- Khi khaithác trong bài toán gợi ý, chúng ta hoàn toàn có thể ngẫu nhiên lựa chọn một số tương tác của ngườidùng để học mô hình thay vì sử dụng tất cả dữ liệu.
- Ý tưởng này xem là sự kết hợp giữa học loại bỏvà học kết hợp.Với ý tưởng trên, chúng tôi đề xuất môt mô hình mới dùng cho hệ gợi ý: Phân rã ma trận Poissondùng tri thức tiên nghiệm biểu diễn nhúng của từ vựng cho các sản phẩm mô tả ngắn ( Poisson MatrixFactorization using Word Embedding Prior - PFEP), trong đó có sự kết hợp của các biểu diễn nhúngđược học trước của các từ vào một mạng neuron truyền thẳng để tăng cường thông tin cho biểu diễncủa sản phẩm khi đưa vào phân rã ma trận.
- PFEP dùng phân rã Poisson, thích hợp cho các biểu diễn tương tác dạng rời rạc của hệ gợi ý.Ngoài ra, PFEP có sự kết hợp giữa tri thức tiên nghiệm của biểu diễn nhúng của từ giúp tăngthêm thông tin cho mô hình.• PFEP-Dropout kế thừa những điểm mạnh từ học kết hợp và học ngẫu nhiên giúp cho quá trìnhhọc có thể thoát khỏi overfitting và cực trị địa phương, giúp cải thiện chất lượng của việc học.Các thí nghiệm đối sánh của PFEP và PFEP-Dropout khi so sánh với các mô hình phân rã matrận Poisson hay Gauss có hoặc không sử dụng thông tin sản phẩm đã cho thấy PFEP cải thiện chấtlượng rõ rệt so với các phương pháp khác, ngoài ra, dropout khi đưa vào lại tiếp tục cải thiện chấtlượng học mô hình khi so với không sử dụng.Các phần của luận văn được bố cục như sau: chương 2 trình bày các cơ sở lý thuyết chính đượcsử dụng, chương 3 điểm qua một số nghiên cứu liên quan trong việc xây dựng hệ gợi ý bằng phân rãma trận.
- Chương 4 trình bày đề xuất mô hình mới cùng các phân tích về mô hình.
- Các thí nghiệmđánh giá và so sánh mô hình được thực hiện trong chương 5.
- Đầu tiênchúng tôi giới thiệu tóm lược khái niệm về mô hình đồ thị, suy diễn biến phân và một số phân phốixác suất thường gặp.
- Cuốicùng chúng tôi điểm qua về kĩ thuật dropout và khái niệm về tri thức tiên nghiệm.2.1 Mô hình đồ thịMô hình đồ thị, hay mô hình đồ thị xác suất (probabilistic graphical model), là một mô hình xác suấtbiểu diễn sự phụ thuộc có điều kiện giữa các biến ngẫu nhiên bằng các nốt trên đồ thị [16].
- Trongphạm vi luận án, chúng tôi chỉ đề cập tới lớp mô hình đồ thị mạng Bayes với các cạnh kết nối cóhướng trên đồ thị.Xét một đồ thị gồm n nốt biểu diễn cho n sự kiện X1.
- Xn] =nYi=1P [Xi|pai]Trong đó pailà tất cả các nốt cha của Xitrên đồ thị biểu diễn.A BC DHình 2.1: Ví dụ mô hình đồ thị xác suấtVí dụ với mô hình ở Hình 2.1 thì xác suất hợp tương ứng là:p(A, B, C, D.
- Cụ thể, xétmột mô hình có siêu tham số η, các biến ẩn Z và dữ liệu quan sát X, thay vì trực tiếp tìm xác suấthậu nghiệm p(Z|X, η), chúng ta xấp xỉ bằng phân phối biến phân q(Z):q(Z.
- Đặt:¯rui= βTi.θu(2.6)Thì ¯ruilà kì vọng của giá trị tương tác quan sát thực tế ruitheo một hàm phân phối xác suất:pui(rui|¯rui)βiruiθuIUHình 2.6: Mô hình đồ thị xác suất cho phân rã ma trận22 Với giả thiết độc lập của các xác suất này, ta có hàm mục tiêu :P (R|θ, β) =U,IYu=1,i=1pui=Yu,ipuiHay ở dạng log:L =U,IXu=1,i=1log pui=Xu,ilog pui(2.7)Ở dạng phân phối sử dụng cho p, thì hai phân phối phổ biến được dùng là Gauss và Poisson sẽđược trình bày ở phần tiếp theo.2.4.2 Phân rã ma trận bằng phương pháp GaussianỞ phân rã ma trận Gauss, hàm xác suất P ở công thức 2.7 xác định bởi phân phối Gauss:p(rui|¯rui) =1σ√2πexp−12rui− ¯ruiσ2(2.8)trong đó σ là tham số quyết định sự biến động của giá trị tương tác quan sát được ruiquanh giá trịkì vọng ¯rui.
- Đặt rulà một vector cột I × 1 biểu diễn tương táccủa người dùng u với I sản phẩm.
- Tính đạo hàm theo từng biến θu, βi, ta có:∂L∂θu= cIXi=1βi(rui− βTiθu)= −c(ββTθu− (βru))Cho đạo hàm này bằng 0, ta được:θu= (ββT)−1βru(2.10)Một cách tương tự, với rilà vector cột U ×1 biểu diễn tương tác của U người dùng với sản phẩmi, thì ta được công thức cập nhật:βi= (θθT)−1θri(2.11)23 Chú ý rằng, thực tế các mô hình cần có giá trị các tham số là nhỏ để đảm bảo tính ổn định củamô hình và tránh overfitting.
- N(0, λ−1IIK) (2.13)Lúc này hàm mục tiêu:βiruiθu0,λI0, λUIUHình 2.7: Mô hình phân rã ma trận Gauss với ràng buộc biếnP (R|θ, β, λU, λI.
- Lại đạt phân phối biến phân cho zui:βiruiθuzuiIUHình 2.8: Biến phụ z cho mô hình phân rã ma trận Poissonq(zui|φui.
- Sau khi quadropout, một số liên kết bị loại bỏ và ta có hình 2.9b.Dropout giúp cho mô hình tránh overfitting, tăng chất lượng dự đoán của mô hình.
- Đầu tiên,sau mỗi lần loại bỏ ngẫu nhiên, ta sẽ học được một mô hình với các tham số tương ứng.
- Chuỗimô hình học liên tiếp này giống tư tưởng của học kết hợp (ensemble learning), giúp làm giảm phươngsai trong quá trình học của mô hình và tránh overfitting.
- Điều nàylàm tăng tính bền vững của mạng và khả năng suy diễn của mô hình.
- Tích hợpnhững tri thức này cung cấp cho mô hình những thông tin quý giá, do vậy góp phần vào việc cải thiệnchất lượng của mô hình.
- Thực tế một mô hình không thể hoàn toàn mô tả chính xác được dữ liệu,đặc biệt là dữ liệu thưa khi lượng thông tin của nó là ít ỏi.
- Nguồn: Web22https://es.mathworks.com/help/textanalytics/examples/visualize-word-embedding-using-text-scatter-plot.html28 Chương 3Các nghiên cứu liên quanỞ phần này, chúng tôi trình bày một số nghiên cứu mới nhất về xây dựng mô hình gợi ý bằng phân rãma trận, cùng một số nghiên cứu khác về ý tưởng đưa tri thức tiên nghiệm vào nằm tăng chất lượngmô hình.3.1 Một số mô hình gợi ý mới nhấtỞ đây chúng tôi tóm lược 3 mô hình gợi ý có kết quả tốt được công bố gần đây với nhóm phânrã ma trận không sử dụng thông tin sản phẩm, đại diện lần lượt là Weighted Matrix Factorization -WMF [11], Hierarchical Poisson Factorization - HPF [7] và nhóm kết hợp thông tin sản phẩm và phânrã ma trận với đại diện là Collaborative Topic Model for Poisson distributed ratings (CTMP) [18].Những mô hình này sẽ được dùng để đối sánh kết quả với mô hình đề xuất trong phần thực nghiệm.3.1.1 Mô hình gợi ý dùng rã ma trận Gaussian dùng trọng số - WMFWeighted Matrix Factorization (WMF) là phương pháp lọc cộng tác dựa trên phân rã ma trận Gaussđược đề xuất bởi Yifan Hu và cộng sự [11].
- WMF tập trung vào các tương tác ngầm định và sau đóchuyển về tương tác nhị phân:pui=1, rui> 00, rui= 0Trên thực tế, các tương tác có nhiều mức độ, chẳng hạn đánh giá theo thang từ 1-5 hay thời gianđọc một bài báo, vì vậy WMF đưa thêm một trọng số (weight) xác định độ tin cậy của tương tác nhịphân tương ứng được mã hóa:cui= 1 + ρrui29 Thuật toán 1 Thuật toán học cho mô hình W MFInput: Dữ liệu quan sát R, siêu tham số ρ, λU, λVOutput: Ước lượng βi, θuKhởi tạo β,θrepeatfor u=1:U doCập nhật θutheo công thức 3.1end forfor i=1:I doCập nhật βitheo công thức 3.2end foruntil hội tụTrong đó ρ quyết định độ gia tăng của độ tin cậy c theo giá trị của tương tác r.Lúc này đặt Cilà ma trận đường chéo kích thước U × U sao cho Ciuu= cuivà Culà ma trậnđường chéo kích thước I ×I sao cho Cuii= cui, thay giá trị của c vào hàm mục tiêu ở công thức 2.14và tính đạo hàm, ta được công thức cập nhật mới tương tự như ở phần 2.4.2:θu= (βCuβT+ λUIK)−1βru(3.1)βi= (θCiθT+ λIIK)−1θri(3.2)3.1.2 Mô hình gợi ý dùng phân rã ma trận Poisson phân cấp - HPFNghiên cứu sử dụng mô hình Poisson phân cấp (Hierarchical Poisson Factorization - HPF )được đềxuất trong nghiên cứu của Gopalan và cộng sự [7].
- Gamma(c, d)Vẫn tiếp tục sử dụng biến phụ z, nhưng lúc này phân phối biến phân lúc này có dạng:q(β, θ, z) =Yi,kq(βik|ζik)Yu,kq(θuk|γuk)Yu,iq(zui|φui) (3.3)30 βiruiθuabcdIUHình 3.1: Mô hình gợi ý dùng phân rã ma trận Poisson với phân cấp mức 1Với các thành phần:q(βik|ζik.
- log(ζrteik)}γshpuk= c +IXi=1ruiφuikγrteuk= d +IXi=1ζshpik/ζrteikζshpik= a +UXu=1ruiφuikζrteik= b +UXu=1γshpuk/γrteukVà công thức tính các giá trị thuộc tính:θuk= γshpuk/γrteukβik= ζshpik/ζrteikỞ mức phân cấp thứ 2, các tham số rate b,d lần lượt được thêm giả thiết về phân phối xác suất(Hình 3.2)bi∼ Gamma(a0, a0/b0)du∼ Gamma(c0, c0/d0)Lúc này mô hình sinh được mô tả như sau:1.
- Cho mỗi sản phẩm i:31 (a) Lấy mẫu bi∼ Gamma(a0, a0/b0)(b) Cho mỗi thành phần k, lấy mẫu: βik∼ Gamma(a, bi)2.
- Cho mỗi cặp người dùng và sản phẩm u, i, lấy mẫu giá trị tương tác: rui∼ P oisson(βTiθu)βiruiθuabia0a0/b0cduc0c0/d0IUHình 3.2: Mô hình gợi ý dùng phân rã ma trận Poisson với phân cấp mức 2Lúc này phân phối biến phân có dạng:q(β, θ, b, d, z) =Yi,kq(βik|ζik)Yu,kq(θuk|γuk)Yiq(bi|κi)Yuq(du|τu)Yu,iq(zui|φui)Với hai thành phần mới:q(bi|κi.
- Gamma(κshpi, κrtei)q(du|τu∼ Gamma(τshpu, τrteu)Tiếp tục sử dụng suy diễn biến phân, với các giá trị tham số:κshpi= a0+ Kaτshpu= c0+ KcTa được công thức cập nhật mới:32 Thuật toán 2 Thuật toán học cho mô hình HP FInput: Dữ liệu quan sát R, siêu tham số a, c, a0, b0, c0, d0Output: Ước lượng γshp,γrte,ζshp,ζrterepeatfor u, i, rui> 0 doCập nhật φuitheo công thức 3.11end forfor u = 1 : U, k = 1 : K doCập nhật γshpukbằng công thức 3.5Cập nhật γrteukbằng công thức 3.6Cập nhật τrteubằng công thức 3.7end forfor i = 1 : I, k = 1 : K doCập nhật ζshpiktheo công thức 3.8Cập nhật ζrteiktheo công thức 3.9Cập nhật κrteitheo công thức 3.10end foruntil hội tụφui∝ exp{Ψ(γshpuk.
- log(ζrteik)} (3.4)γshpuk= c +IXi=1ruiφuik(3.5)γrteuk=τshpuτrteu+IXi=1ζshpik/ζrteik(3.6)τrteu=c0d0+Xkγshpukγrteuk(3.7)ζshpik= a +UXu=1ruiφuik(3.8)ζrteik=κshpiκrtei+UXu=1γshpuk/γrteuk(3.9)κrtei=a0b0+Xkζshpikζrteik(3.10)Tổng hợp lại ta có thuật toán học cho mô hình phân cấp Poisson HPF như ở thuật toán Mô hình gợi ý dùng phân rã ma trận Poisson kết hợp nội dung -CTMPMô hình gợi ý dùng nội dung sản phẩm cho phân râ rã Poisson (Collaborative Topic Model for Poissondistributed ratings - CTMP) được đề xuất bởi Le và cộng sự [18].
- Khác với mô hình HP F , mô hìnhCTMP sử dụng khai thác nội dung sản phẩm bằng cách khai thác qua mô hình LDA (latent Dirichletallocation [4]) dùng dùng làm tiên nghiệm qua phân phối chuẩn cho biểu diễn thuộc tính của sảnphẩm trước khi đưa vào phân rã ma trận Poisson.
- Do khối lượng biến đổi đầy đủ để dẫn ra công thứccập nhật cho CTMP là khá dài, ở đây chúng tôi chỉ tóm tắt lại ý tưởng chính và các hàm mục tiêucho các biến.Để mô tả lại mô hình CTMP, ta kí hiệu:• wi= {avi}Vv=1: biểu diễn túi từ cho sản phẩm i, avilà số lần xuất hiện của từ v trong tập từ điểnV từ trong mô tả của sản phẩm.• D = {rui, ai}U,Iu=1,i=1: dữ liệu bao gồm tương tác ruicủa người dùng và sản phẩm cùng các môtả của sản phẩm ai.• µ = {µkv}K×V: biểu diễn phân phối của mỗi chủ đề trong K chủ đề trên tập từ vựng V từ.• π1:I: biểu diễn nội dung của sản phẩm ở mức chủ đề.• χ: chủ đề tương ứng của từng từβiruiθuπiλαχwµcdIUNHình 3.3: Mô hình gợi ý CTMPLúc này mô hình sinh của CTMP như sau:34 1.
- Với mỗi sản phẩm i:(a) Lấy phân phối chủ đề πi∼ Dirichlet(α)(b) Cho từ thứ n trong mô tả của sản phẩm i:i.
- −λ/2||βi− πi||22+Xukruiφuiklog βik−XkβikXushpukrteuk35 Thuật toán 3 Thuật toán học cho mô hình CT MPInput: Dữ liệu quan sát {ai}Ii=1, R, siêu tham số α,λ, c, dOutput: Ước lượng π, µ, β, φ, shp, rte và θKhởi tạo π, µ bằng cách học từ mô hình LDA trên tập mô tả sản phẩmrepeatfor i = 1 : I doCập nhật πibằng cách tối ưu hàm 3.14 theo phương pháp OP ECập nhật β theo công thức 3.15end forfor u = 1 : U, k = 1 : K doCập nhật φuikbằng công thức 3.11Cập nhật shpukbằng công thức 3.12Cập nhật rteukbằng công thức 3.13end forµkv∝Piaviπikuntil hội tụvà kết quả thu được:βik=−Pushpukrteuk+ λπik+√∆2λ(3.15)với.
- (−Pushpukrteuk+ λπik)2+ 4λPkruiφuikTổng hợp lại thuật toán học cho mô hình CT MP như ở thuật toán 3.3.2 Nghiên cứu về sử dụng tri thức tiên nghiệm trong môhình xác suấtCác nghiên cứu về sử dụng tri thức tiên nghiệm đã thể hiện tính hiệu quả trong việc cải thiện chấtlượng của mô hình.
- Nghiên cứu của Alfaro [2] sử dụngtri thức về sự tiến hóa để học các mô hình Bayes trên dữ liệu sinh học.
- Trên phân loại cảm xúc,cácnghiên cứu ở [12] and [21] khai thác các từ mang ý nghĩa cảm xúc như "good" (tốt), "bad" (xấu) đểxây dựng mô hình Bayes nhằm xác định cảm xúc cho một đoạn văn theo nghĩa tích cực hay tiêu cực.Ngoài ra, việc áp dụng tri thức tiên nghiệm từ biểu diễn nhúng của từ cũng đã được đưa vào một cáchhiệu quả [32,33].
- Việc áp dụng tri thức tiên nghiệm không chỉ có tác dụng trong học dữ liệu offlinemà còn phát huy hiệu quả ở học online, điều này được trình bày trong nghiên cứu ở [6] với ý tưởngcủa việc tăng cường sử dụng tri thức tiên nghiệm trong việc học mô hình xác suất trong xử lí dữ liệu36 liên tục.
- Điều này đưa ra gợi ý cho việc khai thác tri thức tiên nghiệm trong việc giải quyết bài toángợi ý, khi dữ liệu đương đầu cũng có tính thời gian thực.37 Chương 4Mô hình đề xuất4.1 Mô hình sinhỞ nghiên cứu này chúng tôi đề xuất mô hình Poisson Matrix Factorization using Word EmbeddingPrior (PFEP) sử dụng thêm tri thức từ biểu diễn nhúng có trước của từ để tăng cường thêm thôngtin của sản phẩm thông qua việc kết hợp với một mạng neuron truyền thẳng (feedforward).
- Mỗi từ v trong từ điển được biểu diễn bằng một vector L chiều Ev.• W là các trọng số cho mạng neuron truyền thẳng để kết hợp các từ với tri thức biểu diễn nhúng.• ηi= {ηik}K×1là vector đầu ra của W , là biễu diễn của sản phẩm dựa vào các từ và tri thứctiên nghiệm.Mô hình của chúng tôi gồm hai thành phần: học biểu diễn của sản phẩm với mô tả ngắn thôngqua mạng neuron W và thành phần mô hình phân rã ma trận Poisson.
- Mặc dù kiến trúc mạng W có thể phức tạp nhiều lớp, tuy nhiên chúng tôi38 ηiEaiβiruiθudcI UMô hình PoissonMạng neuronHình 4.1: Mô hình đồ thị của P F EP .đề xuất sử dụng mạng neuron 1 lớp ẩn:ηi= f(E, ai.
- Đặc biệt nếu số chiều biểudiễn nhúng tiên nghiệm L và số chiều biểu diễn cuối cùng của sản phẩm L bằng nhau: L = K thì tasuy biến W thành một ma trận đường chéo để giảm độ phức tạp của mô hình.Với thành phần còn lại, chúng tôi kế thừa phương pháp phân rã Poisson từ [18].
- Cuối cùng, tương tác của người dùng u vớisản phẩm i xác định bởi phân phối Poisson: rui= P oisson(βTiθu).Mô hình đồ thị biểu diễn quá trình sinh ra tương tác được thể hiện ở hình 4.1.
- Cho mỗi sản phẩm i:• Vector biểu diễn mô tả thông tin: ηi= f(E, ai.
- Vector biễu diễn thuộc tính của sản phẩm : βi= N(ηi, λ−1IK)2.
- Sau cùng chúng tôi đề xuất đưa dropout (học loại bỏ) để tăng chất lượng học của mô hình.4.2.1 Thuật toán học gradient ascent cho PFEPChúng ta xem xét hàm mục tiêu sau:L = log P (β, R|E, a, c, d.
- Eq(θ,z)log q(θ, z)(4.5)Khi đó biểu thức l chính là biên dưới của hàm mục tiêu L.Với mô hình sinh 4.1 và giả thiết của z, tương tự như mục 2.4.3, xét hàm g = log P (R, z, θ|β, c, d)−log Q(θ, z), ta có:g = log P (R|θ, β.
- Thuậttoán 4 tóm lược toàn bộ quá trình học.43 Thuật toán 4 Thuật toán học cho mô hình PFEPInput: Dữ liệu quan sát E, {ai}Ii=1, R, siêu tham số λ, c, dOutput: Ước lượng W , β, φ, shp, rte và θrepeatfor i = 1 : I doCập nhật βibằng công thức 4.8end forfor u = 1 : U, k = 1 : K doCập nhật φuikbằng công thức 4.9Cập nhật shpukbằng công thức 4.10Cập nhật rteukbằng công thức 4.11end forCập nhật W bằng phương pháp stochastic gradient ascentuntil hội tụ4.2.2 Thuật thoán học loại bỏ PFEP-DropoutChúng tôi tiếp tục đề xuất sử dụng kĩ thuật loại bỏ dropout để học mô hình PFEP.
- Cụ thể ở mỗi vòng lặp suy diễn, chúng tôi loại bỏ ngẫu nhiên một số tương tác của ngườidùng sau đó lại áp dụng thuật toán 4.Cụ thể, ở mỗi vòng lặp chúng tôi loại bỏ tương tác của mỗi người dùng từ dữ liệu tương tác banđầu với tỉ lệ loại bỏ dr, lúc này tương tác ruisẽ không được sử dụng cho việc học mô hình nếu sảnphẩm i bị loại khỏi danh sách tương tác của người dùng u.
- Iruiφuik+c−shptukIβik+d−rtetukI(4.23)Ta cóshpt+1ukrtet+1uk shptuk+ (Iruiφuik+ c)(1 − )rtetuk+ (Iβik+ d Phân tích mô hìnhChúng tôi sẽ phân tích chi tiết hơn về những điểm mạnh của mô hình PFEP ở khía cạnh đề xuất môhình và việc học mô hình.Đầu tiên, mô hình PFEP có khả năng kết hợp tri thức tiên nghiệm về biểu diễn nhúng của từ đểlàm giàu thông tin cho mô tả của sản phẩm, đặc biệt khi chỉ có một số lương ít từ ở các mô tả ngắn.Trong khi việc trực tiếp khai thác thông tin từ những dữ liệu văn bản ngắn này bởi các mô hình nhưLDA [18] hay CNN [15] khó mang lại hiệu quả.
- Thay vào đó mô hình của chúng tôi tích hợp mạngneuron đơn giản để học ra sự kết hợp của các tri thức tiên nghiệm với dữ liệu ngắn.Thứ hai, chúng tôi đề xuất ra thuật toán học riêng biệt cho PFEP, bằng việc tách hàm mục tiêucủa PFEP thành hai thành phần, lần lượt là học biểu diễn cho mô tả sản phẩm và học vector thuộc47 tính cho phân rã ma trận Poisson với sự kết hợp của học ngẫu nhiên và suy diễn biến phân Bayes.Chúng tôi cũng đề xuất phương pháp mới PFEP-Dropout trong đó sử dụng kĩ thuật dropout trongquá trình học nhằm tăng hiệu quả của mô hình.
- Vì vậy PFEP-Dropout giúp môhình tránh bị overfit và cũng giúp cho việc học tránh khỏi cực trị địa phương và có khả năng tiến tớiđiểm tối ưu tốt hơn.Cuối cùng, ta thấy ở Thuật toán 4 và 5, chúng ta chỉ cần tính các cặp φuiktrên những giá trịtương tác đã biết rui> 0, vì vậy nên khi dữ liệu lớn và thưa, mô hình sẽ chạy hiệu quả.
- Nói cách khác, PFEP có khả năng đương đầu với dữliệu lớn và thưa nhờ mô hình và phươn pháp học hiệu quả.48 Chương 5Thử nghiệm và đánh giáỞ chương này, chúng tôi đánh giá khả năng gợi ý của mô hình gợi ý PFEP khi so sánh với một sốphương pháp mới được đề xuất khác.
- Bởi vì các mô hình khác nhau được cài đặt bởi các ngôn ngữ khác nhau, vì vậy để đảm bảotính công bằng, chúng tôi không đánh giá thời gian chạy mà chỉ tập trung vào độ chính xác của việcgợi ý.5.1 Thử nghiệm5.1.1 Dữ liệuDữ liệu Người dùng Sản phẩm Độ thưa.
- Tri thức biểu diễn nhúng của từ được lấy từ dự án GloVe học trên tập dữ liệu1https://grouplens.org/datasets/movielens/2https://www.netflixprize.com/3http://www.citeulike.org/faq/data.adp49 Wikipedia and Gigaword4với số chiều ẩn là 100.5.1.2 Các phương pháp đối sánhChúng tôi so sánh hiệu năng của PFEP với 4 phương pháp mới khác bao gồm:• WMF (weighted matrix factorization) [11] và HPF (hierachical Poisson factorization) [7] làcác phương pháp dựa trên phân rã ma trận Gaussian và Poisson nhưng không sử dụng thôngtin mô tả sản phẩm• ConvMF (convolutional matrix factorization) [15] kết hợp phân rã ma trận Gaussian và mạngneuron tích chập (CNN) với mục đích kết hợp cả mô tả sản phẩm vào dữ liệu tương tác củangười dùng.• CTMP (collaborative topic model for Poisson) [18] sử dụng mô hình LDA để học biểu diễn nộidung sản phẩm sau đó đưa vào phân rã ma trận Poisson.5.1.3 Độ đo đánh giáChúng tôi đánh giá khả năng dự đoán của các phương án gợi ý bằng độ chính xác (precision) và độ phủ(recall) theo top-M sản phẩm có điểm dự đoán cao nhất.
- prec@M =1UPuMcuMvà rec@M =1UPuMcuMuvới Mculà số lượng sản phẩm đúng trong top-M được gợi ý cho người dùng u, Mulà số lượng sảnphẩm được tương tác bởi người dùng u trong phần kiểm thử.5.1.4 Kịch bản thử nghiệmVới mỗi thí nghiệm, chúng tôi chia ngẫu nhiên dữ liệu 5 lần, thực hiện học các mô hình trên tập họcvà đánh giá trên tập kiểm thử tương ứng.
- Với mô hình HPF, hệ số tiên nghiệm Poisson được đặt tất cả là 0.3.
- Ngoại trừkhảo sát sự thay đổi của mô hình PFEP theo dr, chúng tôi đặt dr = 0.3 cho các thí nghiệm còn lại(PFEP-0.3).4https://nlp.stanford.edu/projects/glove/50 5.2 Kết quả và đánh giáĐể rõ ràng, chúng tôi chỉ đưa kết quả của PFEP-Dropout để so sánh ở các hình vẽ.
- Đầu tiên, các mô hình dựa theo phân rã Poisson(CTMP, HPF, PFEP) có hiệu quả tốt hơn rõ nét so với các mô hình dựa theo phân rã Gauss.
- Thứ hai, trực tiếp khaithác các mô tả ngắn có thể dẫn tới giảm độ chính xác của mô hình.
- Tương tự cho các mô hình dựa trên phân rã Poisson, trong khi CTMP sử dụng LDAđể học ra biểu diễn cho các mô tả ngắn thì mô hình HPF không sử dụng nội dung vẫn tốt hơn.
- Nhưvậy nếu sử dụng mô tả ngắn cho sản phẩm một cách không phù hợp thì có thể làm suy giảm chấtlượng mô hình.
- Thứ ba, mô hình chúng tôi đề xuất PFEP có chất lượng tốt hơn các mô hình đối sánhở phần lớn các trường hợp.
- Như vậy việc kết hợp tri thức tiên nghiệm để khai thác dữ liệu mô tả ngắncùng với phân rã Poisson đã thể hiện tính hiệu quả trong xây dựng mô hình gợi ý.
- Trái ngược với sản phẩm mô tả ngắn, các mô hìnhkhai thác nội dung sản phẩm bây giờ cho kết quả cao hơn các mô hình không khai thác nội dung khidùng cùng một phương pháp phân rã.
- Trong khi với dữ liệu mô tả thông thường, chất lượngcủa PFEP có sự thay đổi lớn theo dr, tỉ lệ loại bỏ quá cao sẽ làm giảm chất lượng mô hình.
- Trong khi với mô tả ngắn, nguồn cung cấp thông tin từ trithức tiên nghiệm vẫn giúp mô hình làm việc hiệu quả.54 Hình 5.4: Độ thay đổi của PFEP theo λ ở CiteuLike (dữ liệu mô tả thông thường)Hình 5.5: Độ thay đổi của PFEP theo K ở Movielens-1M(dữ liệu mô tả ngắn)5.3.2 Sự phụ thuộc vào λSự phụ thuộc của PFEP theo λ cho sản phẩm mô tả ngắn và mô tả thông thường được trình bày ởHình 5.3 và 5.4.Ta có thể thấy dữ liệu mô tả thông thường ít biến động theo λ hơn so với sản phẩm mô tả ngắn.Thực tế thì với sản phẩm mô tả ngắn, giá trị λ lớn sẽ làm giảm chất lượng của mô hình.
- Sản phẩm mô tả ngắn chứa ít thông tin, vì vậy ảnh hưởng từ nội dung nên hạn chế.Ngược lại sản phẩm thông tin chứa nhiều thông tin hơn, vì thế sự ảnh hưởng lớn của nội dung sản55 Hình 5.6: Độ thay đổi của PFEP theo K ở CiteuLike (dữ liệu mô tả thông thường)phẩm vẫn có ích cho mô hình.5.3.3 Sự phụ thuộc vào KSự phụ thuộc của PFEP theo số chiều ẩn K cho sản phẩm mô tả ngắn cho Movielens-1M và cho sảnphẩm mô tả thông thường trên CiteuLike được thể hiện ở Hình 5.5 và Hình 5.6.
- Kết quả chỉ ra rằngcác sản phẩm mô tả ngắn ít biến động theo K, mặc dù vậy giá trị của K lớn sẽ có xu hướng làmgiảm chất lượng mô hình.
- Ta có thể lý giải điều này như sau: với mô tả ngắn,lượng thông tin là hạn chế vì vậy K ít bị ảnh hưởng, ngoài ra K lớn sẽ có thể sinh nhiễu làm giảmchất lượng mô hình.
- Ngược lại, mô tả dài chứa nhiều thông tin hơn, giá trị lớn của K sẽ kéo theo khảnăng mã hóa được nhiều thông tin hơn giúp tăng chất lượng mô hình.56 Chương 6Kết luậnỞ luận văn này, chúng tôi đề xuất mô hình mới PFEP nhằm mục tiêu đương đầu với việc gợi ý trênsản phẩm mô tả ngắn.
- Cuối cùng chúng tôi áp dụng kĩ thuật học dropout để kế thừanhững điểm mạnh của nó nhằm tăng cường chất lượng học của mô hình cũng như hiệu quả của việcdự đoán.Các kết quả trên các bộ dữ liệu thử nghiệm cho thấy mô hình đề xuất của chúng tôi cho kết quảđánh giá tốt hơn các phương pháp gợi ý mới được đề xuất gần đây trên phần lớn các bộ dữ liệu thửnghiệm.
- Những kết quả này hứa hẹn khả năng phát triển hơn cho mô hình.Hiện tại chúng tôi mới khai thác tri thức tiên nghiệm từ biểu diễn của từ bên phía sản phẩm, songbên cạnh đó còn nhiều tri thức khác để thử nghiệm.
- Các nghiên cứu tiếp theo sẽ khai thác thêm thông tin tri thức tiên nghiệmđể đưa vào mô hình với mục đích tiếp tục cải thiện chất lượng gợi ý.57 Tài liệu tham khảo[1] Agarwal, D., Chen, B.C.: flda: matrix factorization through latent dirichlet allocation

Xem thử không khả dụng, vui lòng xem tại trang nguồn
hoặc xem Tóm tắt