Дисципліни:
Лабораторна робота №3
На тему:

Дослідження кількісних характеристик інформації в дискретних повідомленнях.

Дисципліна: Основи теорії передачі інформації
ВНЗ:НУ «ЛП»
Формат: Word Doc

Переглядів: 749 Додано: 2015-02-28




Частина тексту

Мета роботи: вивчення методів визначення кількості інформації в дискретних повідомленнях.

Короткі теоретичні відомості

Інформація про стан навколишнього світу фізично реалізується у вигляді повідомлень. Оскільки стан навколишнього світу (а тим самим і зміст повідомлення), ніколи зазделегідь не може бути відо-мим, то повідомлення, за допомогою яких передається інформація, розглядаються як випадкові процеси і описуються математичними засобами теорії імовірності, тобто статистичними методами.

Для порiвняння мiж собою рiзних джерел повiдомлень i рiзних радiотехнiчних систем передачi iнформацiї (каналiв зв'язку) необхiдно ввести кiлькiсну мiру інформації, яка дала би можливiсть об'єктивно оцiнювати iнформацiю, що мiститься в повiдомленнi, i яка передається за допомогою сигналiв лінією зв'язку.

Повiдомлення, яке передається, нерозривно пов'язане з деякою подiєю i є її описом. Подiя — це змiна (в часi чи в просторi) стану деякого об'єкта або процесу. Повiдомлення вказує на те, в якому iз можливих положень знаходиться об'єкт. Очевидно, необхiднiсть в передачi повiдомлення виникає лише тодi, коли дана подiя є для одержувача повiдомлення новою, несподiваною. Якщо б одержувач повiдомлення зазделегiдь знав змiст повiдомлення, то передавати це повiдомлення було би недоцiльно.

Для характеристики всього ансамблю (або джерела) повідомлень використовується математичне сподівання кількості інформації, яке називається ентропією і позначається:

H = log2m

Щоб визначити кiлькiсть iнформацiї, яка передається за допомогою певного алфавiту, спочатку визначають ентропiю алфавiту, а тодi, знаючи довжину повiдомлення n обчислюють кiлькiсть iнформацiї в повiдомленнi:

I = nH

Надлишковiсть характеризують коефiцiєнтом надлишковості:

R = 1 —H/Hmax

Надлишковiсть виникає не лише через неоднакову iмовiрностi символiв, але також через взаємозалежність мiж окремими символами (кореляцiйних зв'язкiв) в повiдомленi.Тому фактична ентропiя реального повiдомлення часто є набагато меншою вiд максимально можливої.

В системах з малим рiвнем завад цю надлишковiсть стараються усунути i тим самим пiдвищити ефективнiсть систем.

В системах з великим рiвнем завад надлишковiсть часто збiльшують для пiдвищення завадостiйкостi системи. Змiнюють надлишковiсть в повiдомленi спецiальними методами кодування.

Висновок: На даній роботі ми досліджували кількісні характеристики інформації дискретних повідомлень. Ми за даними нам формулами розраховували такі параметри як ергодичність, кількість інформації та надлишковість. Для даного повідомлення, що складається з 1064 букв сумарна ергодичність: ; сумарна кількість інформації: =221,2145558; сумарна надлишковість: =17,61119. Як видно для повідомлення, що складається з 10555 букв ці параметри дещо інші, а саме сумарна ергодичність: ; сумарна кількість інформації: =2225,956277; сумарна надлишковість: =136,9679.