Найбільш важливою загальною характеристикою системи, що визначає кількість інформації, яку вона в змозі передати за одиницю часу, є пропускна здатність.
Пропускною здатністю каналу з шумами називають максимальне значення швидкості передачі повідомлень
З = max [Н (х) - Еу (x)]. (54)
Це максимальне значення відповідає нагоди найкращого узгодження каналу, по якому передається повідомлення, і джерела повідомлень.
Конкретні значення пропускної здатності визначаються в залежності від характеристик шуму. Найбільший інтерес представляє досить загальний випадок, коли шум є так званим «білим гауссовим шумом. Термін «білий шум» вживається в тому сенсі, що потужність його розподілена по всьому спектру рівномірно (за аналогією з розподілом спектральної потужності випромінювання в білому світлі). Мається також на увазі, що спектр шуму обмежений тією ж смугою частот, що і корисний сигнал. Розподіл ймовірностей амплітуд шуму хш підпорядковане гауссову законом (так званий нормальний розподіл)
(55)
Величина σ називається стандартним відхиленням. Вона обчислюється як
σ =√ Рш (56)
де Рш - середня потужність шуму.
Шеннон (Shannon a. Weaver, 1949) показав, що про-аускная здатність каналу з смугою частот пропускання W, при середній потужності передавача, що створює корисний сигнал, Рс і при дії завади, що представляє собою «білий» шум із середньою потужністю Рш, є
Можна спробувати витлумачити цю формулу, висновок якої є в будь-якому Kvpce теорії інформації, з допомогою наступного міркування, наведеного в одній з робіт Шеннона (Shannon, 1949).
Рис. 51. Спотворення миогоградационного сигналу шумами.
Рис. 52. Залежність між ненадійністю і ентропією джерела при заданої пропускної здатності каналу.
Грубо оцінимо кількість градацій, яке можна розрізнити на приймальній стороні при дії шумів, наприклад кількість значень напруги, яке можна добре розрізнити в шумах. На рис. 51 показаний приклад спотворення вихідного многоградационного сигналу внаслідок впливу шуму. Поріг розрізнення можна вважати порівнянним за величиною зі стандартним відхиленням σ. Сумарна потужність сигналу з накладеним на нього перешкодою буде Рс+Рш. Амплітуда сигналу (наприклад, амплітуда напруги електричного сигналу), як відомо, пропорційна кореню потужності √Рс+Рш . Для числа добре помітних градацій отримаємо наближено
Число незалежних відліків сигналу з смугою частот W за час Т буде, згідно з теоремою Котельникова, 2WT (див. главу другу). Таким чином, найбільша кількість інформації, яку можна передати за час Т,
(59)
За одиницю часу буде передано
Один з найбільш важливих результатів теорії інформації, отриманий Шенноном (Shannon a. Weaver, 1949) - основна теорема для каналу з шумами.
Нехай Н - ентропія джерела повідомлень, виражена числом двійкових одиниць інформації, яку він створює в одиницю часу, а З - пропускна спроможність каналу зв'язку, тобто число двійкових одиниць, яке може бути передана по каналу зв'язку в одиницю часу. Згідно з основною теоремою, якщо n≤С, то існує така система кодування, що повідомлення джерела можуть бути передані по каналу з довільно малою частотою помилок або з як завгодно малою ненадійністю. Якщо H>, то можна закодувати повідомлення джерела таким чином, щоб ненадійність була менше, ніж Н-З+ε, де ε як завгодно мало. Але жоден метод кодування не допускає передачі з більшою швидкістю, ніж З, при довільно малої частоті помилок. Не існує способу кодування, що забезпечує меншу надійність, ніж Н-С.
Ці положення можна пояснити за допомогою рис. 52. По осі абсцис відкладена ентропія джерела Н (х) (середня швидкість створення джерелом інформації, виражена числом двійкових одиниць у секунду), а по осі ординат - ненадійність Ну (х). З - пропускна здатність каналу. Штрихуванням відзначена здійсненна область. Одна із меж її являє собою пряму з нахилом, рівним одиниці. Поки повідомлення може бути передано з як завгодно малою частотою помилок (здійсненна будь ненадійність, в тому числі і нескінченно мала). При Н>С, тобто якщо джерело створює в одиницю часу більше інформації, ніж може пропустити канал, безпомилкова передача стає неможливою. Найменші можливі значення лежать на похилій прямій кордоні заштрихованої області. Чим більше Н перевершує С, тим більше ненадійність.
Ці результати, отримані Шенноном, можуть здатися несподіваними. Здавалося б, при наявності шуму не можна передавати повідомлення з кінцевою швидкістю без помилок. Щоб зменшити кількість помилок, можна було б, наприклад, вдатися до методу накопичення, кілька разів повторюючи передавання одного і того ж повідомлення. Але чим більш жорсткі вимоги ми будемо пред'являти до правильності передачі, тим більше буде потрібно повторень, тим, отже, більше буде сповільнюватися передача. Можна було б очікувати, що для наближення ймовірності помилок до нуля доведеться нескінченно уповільнити передачу, зводячи, таким чином, до нуля і пропускну здатність - максимальну швидкість передачі інформації.
І, проте, це не так. Основна теорема для каналу з шумами встановлює можливість передачі повідомлень з кінцевою швидкістю при як завгодно малій частоті помилок. Щоправда, теорія не дає рецепту, як побудувати таку систему передачі інформації. Однак вона дозволяє скласти уявлення про істотні властивості цієї ідеальної системи.
