Реферат на тему: Измерение информации.
Объемный и вероятностный подход.
Выполнил: ученик 10а
класса
Школы №52
Ибрагимов Орхан.
Содержание.
Введение………………………………………….3
Вероятностный подход………………………….4
Таблица. Частотность букв русского языка…... 5
Объемный подход……………………………….6
Список используемой литературы……………..7
Введение.
Определить понятие «количество информации» довольно сложно. В решении этой проблемы существуют два основных подхода. Исторически они возникли почти одновременно. В конце 40-х годов XX века один из основоположников кибернетики американский математик Клод Шеннон развил вероятностный подход к измерению количества информации, а работы по созданию ЭВМ привели к «объемному» подходу.
Вероятностный подход
Рассмотрим в качестве примера опыт, связанный с бросанием правильной игральной .кости, имеющей N граней (наиболее распространенным является случай шестигранной кости: N = 6). Результаты данного опыта могут быть следующие: выпадение грани с одним из следующих знаков: 1,2,... N.
Введем в рассмотрение численную величину, измеряющую неопределенность -энтропию
(обозначим ее Н). Величины N и Н связаны между собой некоторой функциональной зависимостью:
H
=
f
(
N
)
, (1.1)
а сама функция f
является возрастающей, неотрицательной и определенной (в рассматриваемом нами примере) для N = 1, 2,... 6.
Рассмотрим процедуру бросания кости более подробно:
1) готовимся бросить кость; исход опыта неизвестен, т.е. имеется некоторая неопределенность; обозначим ее H1;
2) кость брошена; информация об исходе данного опыта получена; обозначим количество этой информации через I;
3) обозначим неопределенность данного опыта после его осуществления через H2. За количество информации, которое получено в ходе осуществления опыта, примем разность неопределенностей «до» и «после» опыта:
I = H1 - H2
(1.2)
Очевидно, что в случае, когда получен конкретный результат, имевшаяся неопределенность снята (Н2
= 0), и, таким образом, количество полученной информации совпадает с первоначальной энтропией. Иначе говоря, неопределенность, заключенная в опыте, совпадает с информацией об исходе этого опыта. Заметим, что значение Н2 могло быть и не равным нулю, например, в случае, когда в ходе опыта следующей выпала грань со значением, большим «З».
Следующим важным моментом является определение вида функции f
в формуле (1.1). Если варьировать число граней N
и число бросаний кости (обозначим эту величину через М),
общее число исходов (векторов длины М, состоящих из знаков 1,2,.... N
)
будет равно N
в степени М:
X=NM
.
(1.3)
Так, в случае двух бросаний кости с шестью гранями имеем: Х
= 62
= 36. Фактически каждый исход Х
есть некоторая пара (X1, X2),
где X1
и X2 -
соответственно исходы первого и второго бросаний (общее число таких пар - X).
Таблица 1.3. Частотность букв русского языка
| i
|
Символ
|
Р(i
)
|
i
|
Символ
|
P(i
)
|
i
|
Символ
|
Р(i
)
|
| 1
|
Пробел
|
0,175
|
13
|
|
0,028
|
24
|
Г
|
0.012
|
| 2
|
0
|
0,090
|
14
|
М
|
0,026
|
25
|
Ч
|
0,012
|
| 3
|
Е
|
0,072
|
15
|
Д
|
0,025
|
26
|
И
|
0,010
|
| 4
|
Ё
|
0,072
|
16
|
П
|
0,023
|
27
|
X
|
0,009
|
| 5
|
А
|
0,062
|
17
|
У
|
0,021
|
28
|
Ж
|
0,007
|
| 6
|
И
|
0,062
|
18
|
Я
|
0,018
|
29
|
Ю
|
0,006
|
| 7
|
Т
|
0,053
|
19
|
Ы
|
0,016
|
30
|
Ш
|
0.006
|
| 8
|
Н
|
0,053
|
20
|
З
|
0.016
|
31
|
Ц
|
0,004
|
| 9
|
С
|
0,045
|
21
|
Ь
|
0,014
|
32
|
Щ
|
0,003
|
| 10
|
Р
|
0,040
|
22
|
Ъ
|
0,014
|
33
|
Э
|
0,003
|
| 11
|
В
|
0,038
|
23
|
Б
|
0,014
|
34
|
Ф
|
0,002
|
| 12
|
Л
|
0,035
|
|
|
|
|
|
|
Объемный подход
В двоичной системе счисления знаки 0 и 1 будем называть битами
(от английского выражения Binary digiTs - двоичные цифры). Отметим, что создатели компьютеров отдают предпочтение именно двоичной системе счисления потому, что в техническом устройстве наиболее просто реализовать два противоположных физических состояния: некоторый физический элемент, имеющий два различных состояния: намагниченность в двух противоположных направлениях; прибор, пропускающий или нет электрический ток; конденсатор, заряженный или незаряженный и т.п. В компьютере бит является наименьшей возможной единицей информации. Объем информации, записанной двоичными знаками в памяти компьютера или на внешнем носителе информации, подсчитывается просто по количеству требуемых для такой записи двоичных символов. При этом, в частности, невозможно нецелое число битов (в отличие от вероятностного подхода).
Для удобства использования введены и более крупные, чем бит, единицы количества информации. Так, двоичное слово из восьми знаков содержит один, байт
информации,
1024 байта образуют килобайт
(кбайт), 1024 килобайта - мегабайт
(Мбайт), а 1024 мегабайта - гигабайт
(Гбайт).
Между вероятностным и объемным количеством информации соотношение неоднозначное. Далеко не всякий текст, записанный двоичными символами, допускает измерение объема информации в кибернетическом смысле, но заведомо допускает его в объемном. Далее, если некоторое сообщение допускает измеримость количества информации в обоих смыслах, то они не обязательно совпадают, при этом кибернетическое количество информации не может быть больше объемного.
В дальнейшем тексте данного учебника практически всегда количество информации понимается в объемном смысле.
Список используемой литературы.
Учебник Информатики и ИКТ 10-11 класс ( И.Г.Семакин, Е.К.Хеннер)
Сайт http://www.sitereferatov.ru
|