У другій главі ми визначили приріст інформації, який відбувається при прийомі повідомлення, як взятий з від'ємним знаком логарифма ймовірності цього повідомлення. При цьому передбачалося, що повідомлення прийняте правильно.
В реальних каналах зв'язку повідомлення перекручуються шумами. Як уже не раз зазначалося, зорові повідомлення зазнають впливу квантових флуктуацій світлового потоку, флуктуацій фотохімічного процесу в рецепторах, спонтанних розрядів в нервових волокнах і т. д. Шуми призводять до зменшення кількості інформації, яке може бути сприйнято.
Можна ввести визначення приросту інформації при передачі по каналу з шумами, яке буде настільки ж добре відповідати нашим інтуїтивним уявленням, як і визначення приросту інформації для випадку каналу без шумів:
[Приріст інформації] = log Ймовірність цієї події для одержувача інформації після прийому повідомлення / Ймовірність цієї події для одержувача до прийому повідомлення
Визначення (47) можна записати з допомогою слідуючих позначень: х - передане повідомлення; y - отримане повідомлення; р(х) - ймовірність того, що передане повідомлення було х; р(y) - ймовірність того, що отримане повідомлення було y;px(y) - вірогідність того, що прийняте повідомлення було у, якщо передавалося повідомлення х; ру (х) - ймовірність того, що передавалося повідомлення х, якщо прийняте повідомлення. Тут р(х) - апріорна ймовірність, яка не залежить від умов передачі і представляє собою лише властивість самого джерела повідомлень. Наприклад, якщо передаються значення яскравості елементів зображення і х позначає градації яскравості, то р(х) означає ймовірність зустріти градацію х у вихідному зображенні. Умовна ймовірність рх(у) характеризує вплив шумів на повідомлення. Це - ймовірність того, що передане повідомлення х перетвориться внаслідок флуктуацій в каналі зв'язку в те або інше повідомлення на приймальній стороні. В каналі без шумів спостерігалося б однозначна відповідність між переданим і прийнятим повідомленнями, і величина рх(у) для всіх, крім одного, була б нулем, а для цього єдиного (достовірного) повідомлення була б дорівнює одиниці. р(у) - знайдена на приймальній стороні вірогідність того, що прийняте повідомлення є, незалежно від того, яке повідомлення передавалося, ру(х) - умовна ймовірність того, що якщо на приймальній стороні прийнято повідомлення у, то на вході було повідомлення х. В каналі без шумів можна було б безпомилково судити за прийнятим повідомленням про переданому х. Прийнявши повідомлення у каналі з шумами, ми можемо говорити про те, що було передано те або інше повідомлення х, лише з деякою ймовірністю ру(х).
Замість визначення (47) тепер можна написати
[Приріст інформації] = -log p (x) -)- log py (х) (48)
Якби шуми відсутні, можна було б достовірно судити після прийому повідомлення про те, що передано: py(x) =1, a log ру(х)-0. Тоді замість (47) отримали б колишню формулу (33), згідно з якою приріст інформації є - log p (x). При цьому несуттєво, чи тотожні значення на передавальній стороні (х) відповідним значенням на приймальній стороні. Важливо лише, щоб у можна було б однозначно відновити х, як наприклад по негативу можна відновити позитивне зображення.
Із співвідношення (48) видно, що приріст інформації дорівнює нулю, якщо
py(x)=p(x)
Рівність (49) означає, що, знаючи, ми можемо сказати відносно х не більше, ніж могли б сказати до прийому повідомлення, на підставі знання апріорної імовірності р(х). А це якраз і означає, що ніяких нових відомостей про х при прийомі у не отримано, кількість інформації не збільшилася.
Рівність (48) описує приріст інформації при отриманні одного повідомлення. Можна, як і в разі каналу без шумів, знайти середнє значення приросту інформації. Воно дорівнює різниці середніх значень членів у правій частині рівності (48). Середнє значення величини-log p(x), як і раніше, є ентропія джерела повідомлення, яку позначимо тепер H (х). Середнє значення величини-logру(х) треба обчислити для всіх можливих випадків спільних подій - передачі х і прийому. Ймовірність кожного з таких спільних подій р (х, у) буде, як відомо,
p(x,y)= p(x) px(y)=p(y)py(x) . (50)
Позначимо середнє значення величини-log ру (х) через Ну(х). Його називають ненадійністю. Ця величина є мірою невизначеності того, що передано.
Швидкість передачі інформації, тобто середнє значення приросту інформації на одне повідомлення, буде, отже,
Ru=H(x) -Hy(x). (51)
Цей вираз можна витлумачити як кількість переданих даних у повідомленні за вирахуванням невизначеності того, що було передано.
Формулу (51) можна записати в іншому вигляді, якщо скористатися у відповідності з формулою (50) тим, що
де Н (х) і Н (в) - ентропії розподілу ймовірностей значень на вході (х) і вихід (y) системи. Н (х, у) являє собою ентропія розподілу спільного вооз ня даної пари величин х і у.
Наступний приклад добре ілюструє застосування цього введеного Шенноном (Shannon a. Weaver, 1949) поняття. Нехай є два можливих значення 0 і 1 і передача здійснюється зі швидкістю 1000 елементів в секунду, причому
обидва значення рівноймовірні, р0=р1=1/2. Отже, джерело створює повідомлення зі швидкістю 1000 дв. од./сек. Нехай шуми так спотворюють сигнал, що в середньому один з 100 елементів прийнятий неправильно. Яка швидкість передачі інформації? Як вказує Шеннон, відразу хочеться сказати, що ця швидкість становить 990 дв. од./сек., тобто просто відняти число помилок, однак це неправильно, так як не враховується, що одержувач не знає, де саме сталася помилка.
Обчислимо швидкість передачі інформації для цього випадку за допомогою формули (51). Швидкість створення джерелом інформації буде або 1000 дв. од./сек., як вже було зазначено. Для обчислення Ну (х) зауважимо наступне. Ймовірність того, що передавали 0. якщо прийнята 1, є p1(0)=0.01. Ймовірність того, що передавали 0, якщо взяли 0, є p0(0)=0.99. Точно так само p1(1)=0.99 і р0(1)=0.01. Звідси Ну(х)=-0.99 log2 0.99-0.01 log2 0.01=0.081 дв. од./елемент, або 81 дв. од./сек. Швидкість передачі виявляється
1000 - 81 = 919 дв. од./сек.
Розглянемо ще той крайній випадок, коли шуми настільки великі, що прийняте повідомлення ніяк не пов'язано з переданим. Незалежно від того, передавався 0 або 1, ймовірність прийняти 0 або 1 однакова і дорівнює 1/2. В середньому половина
прийнятих елементів і при цьому прийнята правильно, однак це буде лише випадковим збігом. Величина ненадійності виходить рівною
Раніше Н (х)=1 дв. од./елемент. Отже,
Таким чином, незважаючи на те, що в середньому половина елементів передається правильно, швидкість передачі інформації дорівнює нулю - залишається невідомим, де були помилки.
