VIENTHONG05.TK Bài giảng: Hệ thống viễn thông 2 Ch ơng 1.LÝ THUY T THÔNG TIN Hệ thống thông tin được định nghĩa là hệ thống chuyển tải tin tức từ nguồn phát tin đến nơi thu nhận ở một khoảng cách nào đó. Nếu khoảng cách thông tin này lớn hơn so với kích thước của thiết bị (cự ly thông tin xa), ta có một hệ thống viễn thông. Hệ thống thông tin có thể được thực hiện giữa một hay nhiều nguồn phát tin đồng thời đến một hay nhiều nơi nhận tin, do đó ta có kiểu thông tin một đường, đa đường, phương thức thông tin một chiều, hai chiều hay nhiều chiều. Môi trường thông tin có thể ở dạng hữu tuyến hoặc vô tuyến, chẳng hạn dùng dây truyền sóng, cable truyền tin hoặc sóng điện từ vô tuyến. Nguoàn tin • Keânh tin Nhaän tin Nguoàn tin: + Laø taäp hôïp caùc tin HT3 duøng ñeå laäp caùc baûn tin khaùc nhau trong söï truyeàn. + Nguoàn tin ñöôïc moâ hình hoaù toaùn hoïc baèng boán quaù trình sau: - Quaù trình ngaãu nhieân lieân tuïc. - Quaù trình ngaãu nhieân rôøi raïc. - Daõy ngaãu nhieân lieân tuïc. • - Daõy ngaãu nhieân rôøi raïc. Keânh tin: laø nôi dieãn ra söï truyeàn lan cuûa tín hieäu mang tin vaø chòu taùc ñoäng cuûa nhieãu. S0(t) = Nm Si(t) + Na(t) + Si(t): Tín hieäu vaøo & S0(t): tín hieäu ra cuûa keânh tin • + Nm (t), Na(t) : ñaëc tröng cho nhieãu nhaân, nhieãu coäng. Nhaän tin: laø ñaàu cuoái cuûa HT3 laøm nhieäm vuï khoâi phuïc tin töùc ban ñaàu. Nguoàn tin Nhaän tin Maõ hoùa nguoàn Giaûi maõ nguoàn Maõ hoùa keânh Giaûi maõ keânh Boä ñieàu cheá Giaûi ñieàu cheá Phaùt cao taàn Keânh tin Thu cao taàn Heä thoáng truyeàn tin soá (rôøi raïc) Trường Đại học Giao Thông Vận Tải Tp.HCM 1 VIENTHONG05.TK Bài giảng: Hệ thống viễn thông 2 • Hai vaán ñeà cô baûn cuûa heä thoáng truyeàn tin: + Vaán ñeà hieäu suaát, noùi caùch khaùc laø toác ñoä truyeàn tin cuûa heä thoáng. + Vaán ñeà ñoä chính xaùc, noùi caùch khaùc laø khaû naêng choáng nhieãu cuûa heä thoáng. ĐO L 1.1 1.1.1 NG THÔNG TIN VÀ MÃ HOÁ NGU N L ợng đo tin tức Nguoàn A coù m tín hieäu ñaúng xaùc xuaát, moät tin do nguoàn A hình thaønh laø moät daõy n kyù hieäu ai baát kyø (ai ∈ A). - Löôïng tin chöùa trong moät ai baát kyø: I(ai)=logm - (1) Löôïng tin chöùa trong moät daõy x goàm n kyù hieäu: I(x) = n.log m (2) Ñôn vò löôïng ño thoâng tin thöôøng ñöôïc choïn laø cô soá 2. - • Khi m kyù hieäu cuûa nguoàn tin coù xaùc xuaát khaùc nhau vaø khoâng ñoäc laäp thoáng keâ vôùi nhau thì I(xi) = log (1/p(ai)) (3) Löôïng trò rieâng: I(xi) = -log p(xi) • • Laø löôïng tin ban ñaàu ñöôïc xaùc ñònh baèng xaùc xuaát tieân nghieäm. Löôïng tin coøn laïi cuûa xi sau khi ñaõ nhaän ñöôïc yj ñöôïc xaùc ñònh baèng xaùc xuaát haäu nghieäm. x I ( xi / y i ) = − log p ( i ) (5) yj Löôïng tin töông hoã: I ( xi / y i ) = I ( xi ) − I ( xi / y i ) = log • (4) p( xi ) yj p ( xi ) (6) Ñaëc tính cuûa löôïng tin: + I(xi) ≥ I(xi ; yi) (7) + I(xi) ≥ 0 (8) + I(xi.yi) = I(xi) + I(yi) - I(xi; yi) (9) Khi caëp xi, yj ñoäc laäp thoáng keâ vôùi nhau thì I(xi; yi) = 0 Ta coù: I(xi; yi) = I(xi) + I(yi) Trường Đại học Giao Thông Vận Tải Tp.HCM (10) 2 VIENTHONG05.TK Bài giảng: Hệ thống viễn thông 2 • • • Löôïng tin trung bình: laø löôïng tin töùc trung bình chöùa trong m kyù hieäu baát kyø cuûa nguoàn ñaõ cho. I ( x) = −∑ p( x) log p( x) (11) X Löôïng tin töông hoã trung bình: I ( X , Y ) = ∑ p ( x, y ) log XY p( x / y) p ( x) I (Y / X ) = −∑ p ( x, y ) log( y / x) (12) Löôïng tin rieâng trung bình coù ñieàu kieän: (13) XY 1.1.2 Entropy và t c độ thông tin Entroâpi nguoàn rôøi raïc: laø moät thoâng soá thoáng keâ cô baûn cuûa nguoàn. Veà yù nghóa vaät lyù ñoä baát ngôø vaø löôïng thoâng tin traùi ngöôïc nhau, nhöng veà soá ño chuùng baèng nhau: • H ( X ) = I ( X ) = −∑ p( x) log p( x) (1) Ñaëc tính cuûa Entroâpi H(X): + H(X) ≥ 0 + H(X) = 0 khi nguoàn tin chæ coù moät kyù hieäu • • • + H(X)max khi xaùc suaát xuaát hieän caùc kyù hieäu cuûa nguoàn baèng nhau. Entroâpi ñoàng thôøi: laø ñoä baát ñònh trung bình cuûa moät caëp (x,y) baát kyø trong tích XY. H ( XY ) = − ∑ p ( x, y ) log p ( x, y ) − XY H ( X / Y ) = − ∑ p ( x, y ) log p ( x / y ) (2) Entroâpi coù ñieàu kieän: − XY (3) Toác ñoä thieát laäp tin cuûa nguoàn: R= n0.H(X) (bps) (1) + H(X); entroâpi cuûa nguoàn. • • + n0 : soá kyù hieäu ñöôïc laëp trong moät ñôn vò thôøi gian Thoâng löôïng cuûa keânh C laø löôïng thoâng tin toái ña keânh cho qua ñi trong moät ñôn vò thôøi gian maø khoâng gaây sai nhaàm. C(bps) Thoâng thöôøng R < C, ñeå R tieán tôùi gaàn C ta duøng pheùp maõ hoaù thoáng keâ toái öu ñeå taêng Entroâpi. + Thoâng löôïng keânh rôøi raïc khoâng nhieãu: Trường Đại học Giao Thông Vận Tải Tp.HCM 3 VIENTHONG05.TK Bài giảng: Hệ thống viễn thông 2 C = Rmax = n0. H(X)max (bps) (2) Ñoä dö cuûa nguoàn: r =1− H (X ) H ( X ) max (3) Duøng phöông phaùp maõ hoùa toái öu ñeå giaûm ñoä dö cuûa nguoàn ñeán khoâng hoaëc söû duïng ñoä dö cuûa nguoàn ñeå xaây döïng maõ hieäu choáng nhieãu. + Thoâng löôïng keânh rôøi raïc coù nhieãu: R = noI(X;Y) = n0[H(X)-H(X/Y)] (bps) (4) Toác ñoä laäp tin cöïc ñaïi trong keânh coù nhieãu: C = Rmax = n0[H(X)-H(X/Y)]max (bps) 1.1.3 (5) Mã hóa ngu n r i r c không nh Khi một nguồn rời rạc không nhớ tạo ra M ký tự gần như bằng nhau, R = rlogM, tất cả các ký tự đều chứa cùng một lượng tin và việc truyền tinh hiệu quả có thể thực hiện ở dạng M-ary với tốc độ tín hiệu bằng với tốc độ ký tự r. Nhưng khi các ký tự có xác suất khác nhau, R = rH(X) < rlogM, việc truyền tin hiệu quả đòi hỏi quá trình mã hoá nguồn được thực hiện dựa trên lượng tin biến đổi của mỗi ký tự. Trong phần này ta sẽ xét đến việc mã hoá nhị phân. Bộ mã hoá nhị phân, chuyển các ký tự đến từ nguồn thành những từ mã chứa các chữ số nhị phân được tạo ra với tốc độ bit cố dịnh rb. Xét ở ngõ ra, bộ mã hoá giống như một nguồn nhị phân với entropy Ω(p) và tốc độ thông tin rbΩ(p) ≤ rb log2 = rb. Rõ ràng, mã hoá không tạo ra thông tin thêm và và cũng không huỷ hoại thông tin để cho mã hoàn toàn có thể giải đoán được. Do vậy, thiết lập phương trình về tốc độ truyền tin giữa ngõ vào và ngõ ra của bộ mã hoá, ta có:R = rH(X) = rbΩ(p) ≤ rb hay rb/r ≥ H(X). Đại lượng rb/r là một thông số quan trọng được gọi là độ dài mã trung bình. Về mặt vật lý, độ dài mã trung bình là số chữ số nhị phân trung bình trên mỗi ký tự nguồn. Về mặt toán học ta có trung bình thống kê: N = ∑ Pi N i M i =1 Định lý mã hoá nguồn của Shannon phát biểu rằng giá trị cực tiểu của N nằm trong khoảng: H (X ) ≤ N < H (X ) + ε Trong đó ε là một đại lượng mang dấu dương. Nguồn rời rạc không nhớ R = rH(X) Bộ mã hoá nhị phân Trường Đại học Giao Thông Vận Tải Tp.HCM rbΩ(p) ≤ rb 4 VIENTHONG05.TK Bài giảng: Hệ thống viễn thông 2 1.2 TRUY N TIN TRÊN KÊNH R I R C 1.2.1 L ợng tin t ơng hỗ Xét hệ thống truyền tin như trong hình bên. Một nguồn rời rạc chọn các ký tự từ bảng chữ các X để truyền qua kênh. Lý tưởng, kênh truyền phải tái tạo tại đíchký tự được phát tại nguồn. Tuy nhiên, nhiễu và các suy hao truyền khác làm khác đi ký tự nguồn và kết quả là thu được bảng ký tự Y tại đích. Ta muốn đo lượng tin truyền đi trong trường hợp này. Nhiều loại xác suất ký tự khác nhau được sử dụng liên quan đến hai nguồn trên, một số được định nghĩa như sau: P(xi) là xác suất mà nguồn chọn ký tự truyền xi P(yi) là xác suất ký tự yi được nhận tại đích. P(xiyi) là xác suất để xi được phát và yi được nhận. P(xi/yi) là xác suất có điều kiện khi truyền đi xi và nhận được yi P(yi/xi) là xác suất có điều kiện khi yi được nhận và ký tự truyền đi là xi. Lượng tin tương hỗ được định nghĩa như sau: P ( xi | y j ) I ( xi ; y j ) = log bit P ( xi ) Lượng tin tương hỗ thể hiện lượng tin truyền đi khi phát xi và thu được yi. Ngoài ra, người ta còn định nghĩa lượng tin tương hỗ trung bình. Đại lượng này đặc trưng cho lương tin nguồn trung bình đạt được trên mỗi ký tự được nhận. I ( X ; Y ) = ∑ P ( xi y j ) I ( xi ; y j ) i, j Qua một vài phép biến đổi ta được: I ( X ;Y ) = H ( X ) − H ( X | Y ) Trong đó: H ( X | Y ) = ∑ P ( xi y j ) log i, j 1 P ( xi | y j ) Là lượng tin mất đi trên kênh nhiễu. 1.2.2 Dung l ợng kênh thông tin r i r c Dung lượng kênh được định nghĩa là lượng tin cực đại được truyền qua trên mỗi ký tự kênh: C s = max I ( X ; Y ) (bit/symbol) P ( xi ) Ngoài ra, người ta còn đo dung lượng kênh theo tốc độ tin. Nếu gọi s là tốc độ ký tự tối đa cho phép bởi kênh thì dung lượng trên mỗi đơn vị thời gian được tính như sau: C = sCs (bit/sec) Định lý cơ bản của Shannon đối với một kênh truyền có nhiễu được phát biểu như sau: Nếu một kênh có dung lượng kênh C và một nguồn có tốc độ tin R ≤ C thì tồn tại một hệ thống mã hoá để ngõ ra của nguồn có thể được phát qua kênh với một tần số lỗi rất nhỏ. Ngược lại, nếu R > C thì không thể truyền tin mà không có lỗi. Trường Đại học Giao Thông Vận Tải Tp.HCM 5 VIENTHONG05.TK Bài giảng: Hệ thống viễn thông 2 Khi ñoù s0 = r3 + r4 + r5 + r6 =1+0+1+1=1 s1 = r1 + r2 + r5 + r6= 0+1+1+ 1=1 s2 = r0 + r2 + r4 + r5=0+1+0+1=0 S=( 1 1 0), neáu ñoåi ra thaäp phaân laø 6. ta nhaän thaáy S truøng vôùi coät soá 6 cuûa ma traän H cuûa ma traän H, coù nghóa kyù hieäu sai laø kyù hieäu thöù 6(r) ñaàu ra thöù 6 cuûa sô ñoà giaûi maõ seõ coù i=1. Ta chæ caàn ñaûo bit thöù 6 theo thuaät toaùn: r = i r ⊕ ir r= − r (3) neáu i = 1 r neáu i = 0 0 r =1 r =0 (ñaõ ñaûo bit) i=1 0 Trường Đại học Giao Thông Vận Tải Tp.HCM 26 VIENTHONG05.TK Bài giảng: Hệ thống viễn thông 2 Trường Đại học Giao Thông Vận Tải Tp.HCM 27