Вводячи кількісне вираження того, що тепер називають інформаційною ємністю, Хартлі ставив перед собою завдання «встановити міру, не залежну від психологічних факторів». Здавалося б, оцінка інформації, реально що міститься в інформаційній ємності, пов'язана з індивідуальними особливостями того, хто сприймає інформацію, і тому не може бути настільки об'єктивною, як оцінка інформаційної ємності. На однакових за своєю інформаційної ємності фототелеграфним бланках можуть бути відтворені офорт майстра і малюнок першокласника. Облік смислових відмінностей, кількісне визначення того, що може бути названо семантичної інформацією (Goldman, 1953), поки не представляється можливим.
Однак нас буде цікавити не тлумачення змістового значення тих чи інших зображень, а тільки їх зберігання, передача і відтворення. Такий підхід до визначення інформації характерний для інженера, проектує систему телеграфного зв'язку та розробляє спосіб подання (кодування) букв електричними сигналами поза залежності від змісту і значення текстів, які будуть передаватися.
З цієї точки зору і офорт майстри, і малюнок школяра є просто різні сукупності чорних і білих елементів зображення. Не тільки для фототелеграфного апарату і телевізійної камери, але і для периферії зорового аналізатора (сітківки), що накопичує зображення і передає їх в центральний відділ його, має значення ця обставина, а не смисл зорових образів, які об'єднуються ці елементи.
Шеннон, який створив основи сучасної теорії інформації (див, зокрема, Shannon a. Weaver, 1949), показав, що може бути дана єдина кількісна міра інформації, що міститься в повідомленні. Ми розглянемо цю вельми загальну міру, користуючись прикладами, коли сполученням є зображення. Абсолютно аналогічно могли б бути використані і інші приклади, коли повідомлення має форму промови, буквених текстів, командних сигналів, радіолокаційних сигналів і т. д.
Інформаційну ємність, що надається для тих чи інших повідомлень, що використовують в переважній більшості випадків неефективно. Зазвичай неважко вказати способи більш економного подання повідомлень, що вимагають меншої інформаційної ємності, ніж та, яка використана.
Кількість інформації, що міститься у повідомленні, можна визначити як мінімальну інформаційну ємність, яка потрібна для його подання.
Властивості повідомлення, які повинні бути враховані для більш економного подання його, можна з'ясувати з допомогою наступних прикладів.
Розглянемо два різних класи двухградационных зображень. Нехай зображення, відносяться до одного з них, являють собою рідкісні, розташовані у випадкових поєднаннях чорні елементи на білому фоні, а зображення, що відносяться до другого класу, - випадкові поєднання рівноймовірно чорних і білих елементів. Для визначеності припустимо, що в середньому на кожні 64 елемента зображення з першого класу припадає 4 чорних і 60 білих, тоді як в зображеннях другого класу їх буде в середньому порівну. На рис. 29 показані типові фрагменти з 64 елемента з зображень першого і другого класів. Для представлення зображень в обох випадках використані однакові інформаційні ємності 64 дв. од. Якщо умовитися обходити квадрати з 64 елементів зліва направо і зверху вниз, отримаємо для одного фрагмента послідовність двійкових чисел
0010000000000000000000000000000000000010000100000000000000000100,
а для іншого - послідовність
0111001010010101110011000111010101001010001001111100100111000110.
Однак відразу видно, що зображення, що відносяться до першого класу (рис. 29, а), можна було б записати більш економно. Досить, наприклад, указати, як це роблять при описі положення шахових пішаків на дошці, лише номери стовпця і рядка, де знаходяться рідкісні чорні елементи. У нашому прикладі координати елементів будуть відповідно(2, 0), (6, 4), (3, 5), (5, 7). У двійковій системі відповідають числа 010 000 і для першого елемента, 110 і 100 - для другого і т. д. Весь фрагмент зображення буде записаний тепер послідовністю
010000110100011101101111.
Інший підхід полягає в тому, щоб виписати в двійковій системі номери чорних елементів у кожній групі з 64 елементів. На рис. 29, а чорні елементи при зазначеному порядку нумерації будуть 2-й, 38-й, 43-й і 61-й (першого елемента приписують нульовий номер, останньому - 63-ї). У двійковому виразі 2=000010, 38=100110, 43=101011, 61 = 111101. Тепер вийде послідовність
000010100110101011111101.
В обох випадках виявилося досить 24 двійкових цифр замість 64 для представлення того ж фрагмента зображення. В середньому на один елемент зображення потрібна інформаційна ємність 3/8 двійкових одиниці в пристрої для запису інформації замість однієї двійкової одиниці. *
Однак для запису зображення такого типу, як на рис.29, б, цей прийом виявиться неефективним. Потрібно за раніше 6 двійкових знаків на кожен чорний елемент, але тепер вже не 1/16, а 1/2 всіх елементів чорні. Отже, загальне число двійкових розрядів для представлення зображення 1/2 · 64 · 6=192, втричі більше, ніж при звичайній запису, коли на кожен елемент зображення припадала 1 дв. од.
Рис. 29. Приклади (а і б) двухградационных зображенні з різними частотами чорних і білих елементів.
