НЕПРЕРЫВНАЯ И ДИСКРЕТНАЯ ИНФОРМАЦИЯ

Чтоб сообщение было передано от источника к получателю, нужна некая вещественная субстанция -носитель инфы. Сообщение, передаваемое при помощи носителя, назовем сигналом. В общем случаесигнал - это изменяющийся во времени физический процесс. Таковой процесс может содержать разные свойства (к примеру, при передаче электронных сигналов могут изменяться напряжение и сила тока). Та из черт НЕПРЕРЫВНАЯ И ДИСКРЕТНАЯ ИНФОРМАЦИЯ, которая употребляется для представления сообщений, именуется параметром сигнала.

В случае когда параметр сигнала воспринимает последовательное во времени конечное число значений (при всем этом они все могут быть пронумерованы), сигнал именуетсядискретным, а сообщение, передаваемое при помощи таких сигналов -дискретным сообщением. Информация, передаваемая источником, в данном случае также именуется дискретной. Если же НЕПРЕРЫВНАЯ И ДИСКРЕТНАЯ ИНФОРМАЦИЯ источник производит непрерывное сообщение (соответственно параметр сигнала - непрерывная функция от времени), соответственная информация именуется непрерывной. Пример дискретного сообщения - процесс чтения книжки, информация в какой представлена текстом, т.е. дискретной последовательностью отдельных значков (букв). Примером непрерывного сообщения служит людская речь, передаваемая модулированной звуковой волной; параметром сигнала в данном случае НЕПРЕРЫВНАЯ И ДИСКРЕТНАЯ ИНФОРМАЦИЯ является давление, создаваемое этой волной в точке нахождения приемника - людского уха.

Непрерывное сообщение может быть представлено непрерывной функцией, данной на неком отрезке [а, Ь] (см. рис. 1.4). Непрерывное сообщение можно конвертировать в дискретное (такая процедура именуется дискретизацией). Для этого из нескончаемого огромного количества значений этой функции (параметра сигнала) выбирается их определенное число, которое приближенно НЕПРЕРЫВНАЯ И ДИСКРЕТНАЯ ИНФОРМАЦИЯ может охарактеризовывать другие значения. Один из методов такового выбора состоит в последующем. Область определения функции разбивается точками x1, x2,...хn, на отрезки равной длины и на каждом из этих отрезков значение функции принимается неизменным и равным, к примеру, среднему значению на этом отрезке; приобретенная на этом шаге НЕПРЕРЫВНАЯ И ДИСКРЕТНАЯ ИНФОРМАЦИЯ функция именуется в арифметике ступенчатой. Последующий шаг - проецирование значений «ступенек» на ось значений функции (ось ординат). Приобретенная таким макаром последовательность значений функции у1, у2, ... уn. является дискретным представлением непреравной функции, точность которого можно неограниченно облагораживать методом уменьшения длин отрезков разбиения области значений аргумента.

Рис. 1.4. Процедура дискретизации непрерывного сообщения

Ось значений функции НЕПРЕРЫВНАЯ И ДИСКРЕТНАЯ ИНФОРМАЦИЯ можно разбить на отрезки с данным шагом и показать любой из выделенных отрезков из области определения функции в соответственный отрезок из огромного количества значений (рис. 1.4). В конечном итоге получим конечное огромное количество чисел, определяемых, к примеру, по середине либо одной из границ таких отрезков.

Таким макаром, хоть какое НЕПРЕРЫВНАЯ И ДИСКРЕТНАЯ ИНФОРМАЦИЯ сообщение может быть представлено как дискретное, по другому говоря последовательностью символов некого алфавита.

Возможность дискретизации непрерывного сигнала с хоть какой хотимой точностью (для возрастания точности довольно уменьшить шаг) принципно принципиальна исходя из убеждений информатики. Компьютер - цифровая машина, т. е- внутреннее представление инфы в нем дискретно. Дискретизация входной инфы (если она непрерывна НЕПРЕРЫВНАЯ И ДИСКРЕТНАЯ ИНФОРМАЦИЯ) позволяет сделать ее применимой для компьютерной обработки.

Есть и другие вычислительные машины - аналоговые ЭВМ. Они употребляются обычно для решения задач специального нрава и широкой публике фактически не известны. Эти ЭВМ в принципе не нуждаются в дискретизации входной инфы, потому что ее внутреннее представление у их безпрерывно НЕПРЕРЫВНАЯ И ДИСКРЕТНАЯ ИНФОРМАЦИЯ. В данном случае все напротив - если наружняя информация дискретна, то ее «перед употреблением» нужно конвертировать в непрерывную.

2.3. ЕДИНИЦЫ КОЛИЧЕСТВА Инфы:
ВЕРОЯТНОСТНЫЙ И Большой ПОДХОДЫ

Найти понятие «количество информации» достаточно трудно. В решении этой задачи есть два главных подхода. Исторически они появились практически сразу. В конце 40-х годов XX века один из основателей кибернетики НЕПРЕРЫВНАЯ И ДИСКРЕТНАЯ ИНФОРМАЦИЯ южноамериканский математик Клод Шеннон развил вероятностный подход к измерению количества инфы, а работы по созданию ЭВМ привели к «объемному» подходу.

Вероятностный подход

Разглядим в качестве примера опыт, связанный с бросанием правильной игральной .кости, имеющей N граней (более всераспространенным является случай шестигранной кости: N = 6). Результаты данного опыта могут быть НЕПРЕРЫВНАЯ И ДИСКРЕТНАЯ ИНФОРМАЦИЯ последующие: выпадение грани с одним из последующих символов: 1,2,... N.

Введем в рассмотрение численную величину, измеряющую неопределенность -энтропию (обозначим ее Н). Величины N и Н связаны меж собой некой многофункциональной зависимостью:

H = f (N), (1.1)

а сама функция f является растущей, неотрицательной и определенной (в рассматриваемом нами примере) для N = 1, 2,... 6.

Разглядим функцию бросания НЕПРЕРЫВНАЯ И ДИСКРЕТНАЯ ИНФОРМАЦИЯ кости более тщательно:

1) готовимся кинуть кость; финал опыта неизвестен, т.е. имеется некая неопределенность; обозначим ее H1;

2) кость брошена; информация об финале данного опыта получена; обозначим количество этой инфы через I;

3) обозначим неопределенность данного опыта после его воплощения через H2. За количество инфы, которое получено в процессе воплощения НЕПРЕРЫВНАЯ И ДИСКРЕТНАЯ ИНФОРМАЦИЯ опыта, примем разность неопределенностей «до» и «после» опыта:

I = H1 - H2 (1.2)

Разумеется, что в случае, когда получен определенный итог, имевшаяся неопределенность снята (Н2 = 0), и, таким макаром, количество приобретенной инфы совпадает с начальной энтропией. По другому говоря, неопределенность, заключенная в опыте, совпадает с информацией об финале этого опыта. Заметим, что НЕПРЕРЫВНАЯ И ДИСКРЕТНАЯ ИНФОРМАЦИЯ значение Н2 могло быть и не равным нулю, к примеру, в случае, когда в процессе опыта последующей выпала грань со значением, огромным «З».

Последующим принципиальным моментом является определение вида функции f в формуле (1.1). Если разнообразить число граней N и число бросаний кости (обозначим данную величину через М), общее число исходов НЕПРЕРЫВНАЯ И ДИСКРЕТНАЯ ИНФОРМАЦИЯ (векторов длины М, состоящих из символов 1,2,.... N) будет равно N в степени М:

X=NM. (1.3)

Так, в случае 2-ух бросаний кости с шестью гранями имеем: Х = 62 = 36. Практически каждый финал Х есть некая пара (X1, X2), где X1 и X2 - соответственно финалы первого и второго бросаний (общее число таких пар - X НЕПРЕРЫВНАЯ И ДИСКРЕТНАЯ ИНФОРМАЦИЯ).

Ситуацию с бросанием М раз кости можно рассматривать как некоторую сложную систему, состоящуюиз независящих друг от друга подсистем - «однократных бросаний кости». Энтропия таковой системы в М раз больше, чем энтропия одной системы (так именуемый «принцип аддитивности энтропии»):

f(6M) = M ∙ f(6)

Данную формулу можно распространить и на случай хоть НЕПРЕРЫВНАЯ И ДИСКРЕТНАЯ ИНФОРМАЦИЯ какого N:

F(NM) = M ∙ f(N) (1.4)

Прологарифмируем левую и правую части формулы (1.3): ln X = M ∙ ln N, М =ln X/1n M. Подставляем приобретенное для M значение в формулу (1.4):

Обозначив через К положительную константу , получим: f(X) = К ∙ lп Х, либо, с учетом (1.1), H=K ∙ ln N. Обычно НЕПРЕРЫВНАЯ И ДИСКРЕТНАЯ ИНФОРМАЦИЯ принимают К = 1 / ln 2. Таким макаром

H = log2 N. (1.5)

Это - формула Хартли.

Принципиальным при введение какой-нибудь величины является вопрос о том, что принимать за единицу ее измерения. Разумеется, Н будет равно единице при N = 2. По другому говоря, в качестве единицы принимается количество инфы, связанное с проведением опыта, состоящего в получении НЕПРЕРЫВНАЯ И ДИСКРЕТНАЯ ИНФОРМАЦИЯ 1-го из 2-ух равновероятных исходов (примером такового опыта может служить бросание монеты при котором вероятны два финала: «орел», «решка»). Такая единица количества инфы именуется «бит».

Все N исходов рассмотренного выше опыта являются равновероятными и потому можно считать, что на «долю» каждого финала приходится одна N-я часть НЕПРЕРЫВНАЯ И ДИСКРЕТНАЯ ИНФОРМАЦИЯ общей неопределенности опыта: (log2 N)1N. При всем этом возможность i-го финала Рi приравнивается, разумеется, 1/N.

Таким макаром,

Та же формула (1.6) принимается за меру энтропии в случае, когда вероятности разных исходов опытанеравновероятны (т.е. Рi могут быть различны). Формула (1.6) именуетсяформулой Шеннона.

В качестве примера определим количество инфы, связанное с возникновением каждого НЕПРЕРЫВНАЯ И ДИСКРЕТНАЯ ИНФОРМАЦИЯ знака в сообщениях, записанных на российском языке. Будем считать, что российский алфавит состоит из 33 букв и знака «пробел» для разделения слов. По формуле (1.5)

Н = log2 34 ≈ 5 бит.

Но, в словах российского языка (равно как и в словах других языков) разные буковкы встречаются неодинаково нередко. Ниже приведена табл НЕПРЕРЫВНАЯ И ДИСКРЕТНАЯ ИНФОРМАЦИЯ. 1.3 вероятностей частоты потребления разных символов российского алфавита, приобретенная на базе анализа очень огромных по объему текстов.

Воспользуемся для подсчета Н формулой (1.6); Н ≈ 4,72 бит. Приобретенное значение Н, как и можно было представить, меньше вычисленного ранее. Величина Н, вычисляемая по формуле (1.5), является наибольшим количеством инфы, которое могло бы приходиться на один символ.

Таблица НЕПРЕРЫВНАЯ И ДИСКРЕТНАЯ ИНФОРМАЦИЯ 1.3. Частотность букв российского языка

i Знак Р(i) i Знак P(i) i Знак Р(i)
Пробел 0,175 0,028 Г 0.012
0,090 М 0,026 Ч 0,012
Е 0,072 Д 0,025 И 0,010
Ё 0,072 П 0,023 X 0,009
А 0,062 У 0,021 Ж 0,007
И 0,062 Я 0,018 Ю 0,006
Т 0,053 Ы 0,016 Ш 0.006
Н 0,053 З 0.016 Ц 0,004
С 0,045 Ь 0,014 Щ 0,003
Р 0,040 Ъ 0,014 Э 0,003
В 0,038 Б 0,014 Ф 0,002
Л 0,035

Подобные подсчеты Н НЕПРЕРЫВНАЯ И ДИСКРЕТНАЯ ИНФОРМАЦИЯ можно провести и для других языков, к примеру, использующих латинский алфавит - британского, германского, французского и др. (26 разных букв и «пробел»). По формуле (1.5) получим

H = log2 27 ≈ 4,76 бит.

Как и в случае российского языка, частота возникновения тех либо других символов не схожа.

Если расположить все буковкы данных языков в порядке убывания вероятностей, то НЕПРЕРЫВНАЯ И ДИСКРЕТНАЯ ИНФОРМАЦИЯ получим последующие последовательности:

Британский ЯЗЫК: «пробел», E, T, A, O, N, R, …

Германский ЯЗЫК: «пробел», Е, N, I, S, Т, R, …

ФРАНЦУЗСКИЙ ЯЗЫК: «пробел», Е, S, А, N, I, Т, …

Разглядим алфавит, состоящий из 2-ух символов 0 и 1. Если считать, что со знаками 0 и 1 в двоичном алфавите связаны схожие НЕПРЕРЫВНАЯ И ДИСКРЕТНАЯ ИНФОРМАЦИЯ вероятности их возникновения (Р(0) = Р(1) = 0,5), то количество инфы на один символ при двоичном кодировке будет равно

H = 1оg2 2 = 1 бит.

Таким макаром, количество инфы (в битах), заключенное в двоичном слове, равно числу двоичных символов в нем.

Большой подход

В двоичной системе счисления знаки 0 и 1 будем именовать битами (от британского выражения Binary digiTs НЕПРЕРЫВНАЯ И ДИСКРЕТНАЯ ИНФОРМАЦИЯ - двоичные числа). Отметим, что создатели компов отдают предпочтение конкретно двоичной системе счисления поэтому, что в техническом устройстве более просто воплотить два обратных физических состояния: некий физический элемент, имеющий два разных состояния: намагниченность в 2-ух обратных направлениях; прибор, пропускающий либо нет электронный ток; конденсатор, заряженный либо незаряженный и т.п. В компьютере НЕПРЕРЫВНАЯ И ДИСКРЕТНАЯ ИНФОРМАЦИЯ бит является меньшей вероятной единицей инфы. Объем инфы, записанной двоичными знаками в памяти компьютера либо на наружном носителе инфы подсчитывается просто по количеству требуемых для таковой записи двоичных знаков. При всем этом, а именно, нереально нецелое число битов (в отличие от вероятностного подхода).

Для удобства использования введены и поболее НЕПРЕРЫВНАЯ И ДИСКРЕТНАЯ ИНФОРМАЦИЯ большие, чем бит, единицы количества инфы. Так, двоичное слово из восьми символов содержит один, б инфы, 1024 б образуют кб (кбайт), 1024 кб - мб (Мбайт), а 1024 мб - гб (Гбайт).

Меж вероятностным и большим количеством инфы соотношение многозначное. Далековато не всякий текст, записанный двоичными знаками, допускает измерение объема инфы в кибернетическом смысле, но заранее НЕПРЕРЫВНАЯ И ДИСКРЕТНАЯ ИНФОРМАЦИЯ допускает его в объемном. Дальше, если некое сообщение допускает измеримость количества инфы в обоих смыслах, то они не непременно совпадают, при всем этом кибернетическое количество инфы не может быть больше большого.

В предстоящем тексте данного учебника фактически всегда количество инфы понимается в объемном смысле.


nepryamaya-kommunikaciya-i-opredelenie-yazika.html
nepryamoe-dezaminirovanie-aminokislot-rol-glutamatdegidrogenazi-i-glutaminovoj-kisloti-reakcii-transaminirovaniya-fermenti-biologicheskoe-znachenie.html
nepsihologicheskie-koncepcii-fantazii.html