Дистанційне навчання Home
Дистанционное обучение в СумГУ: дисциплины » Теория информации и кодирования

Вступ

Вопросы измерения, преобразования, передачи и хранения информации, изучаемые дисциплиной «Теория информации» - это наиболее динамично развивающиеся в последние десятилетия и перспективные области человеческой деятельности.

Десятки тысяч крупных, средних и мелких фирм во всем мире с годовым оборотом в сотни миллиардов долларов, занимаются исследованием, разработкой, производством, продажей и эксплуатацией систем и программного обеспечения, предназначенных для кодирования, передачи и хранения информации. Без знания теории информации невозможно создание новых современных систем передачи и хранения информации. Поэтому изучение данной дисциплины является неотъемлемой частью теоретической подготовки специалистов в области компьютеризированных систем, автоматики и управления, компьютерной инженерии, телекоммуникаций и др.инженерии, телекоммуникаций и др.

В предлагаемом учебном курсе излагаются теоретические основы, касающиеся основных положений теории информации и кодирования и рассматриваются области их практического использования: сжатие информации и помехоустойчивое кодирование.

Мета та завдання

-

Автори

кафедра компьютерных наук, секция "Информатика"

Тулякова Наталья Олеговна


Содержание дисциплины О курсе
    Введение
    Об авторе
Тема 1
    Основные положения теории информации
   Предмет курса. Виды информации. Теорема дискретизации
   Базовые понятия теории информации
   Способы измерения информации
   Энтропия источника. Свойства количества информации и энтропии
   Свойства количества информации и энтропии:
   Условная энтропия
     Математическая модель системы передачи информации
     Виды условной энтропии
   Энтропия объединения двух источников
   Характеристики источников дискретной информации
     Производительность дискретного источника информации. Скорость передачи информации
     Информационные потери при передаче информации по дискретному каналу связи
     Пропускная способность дискретного канала. Основная теорема о кодировании дискретного источника
Тема 2
    Сжатие информации
   Основы экономного кодирования информации
   Оптимальные методы статистического сжатия информации
     Элементы теории префиксных множеств
     Статистические алгоритмы сжатия Шеннона-Фано и Хаффмена
     Теоретические пределы сжатия информации
     Метод блокирования сообщения. Блочный код Хаффмена
   Арифметическое кодирование
   Адаптивный алгоритм Хаффмена с упорядоченным деревом
   Словарные методы сжатия Зива-Лемпела
     Словарный алгоритм сжатия с использованием ``скользящего'' окна LZ77
     Словарный алгоритм сжатия LZSS
     Словарный алгоритм LZ78
     Словарный алгоритм LZW
   Типы систем сжатия информации
     Сжатие без потерь информации
     Сжатие с потерей информации
   КОНТРОЛЬНЫЕ ВОПРОСЫ
Тема 3
    Помехоустойчивое кодирование
   Основные принципы
   Линейные блочные коды
     Определение линейного блочного кода
     Основные понятия двоичной арифметики
   Код с проверкой на четность
   Итеративный код
   Способы задания линейных кодов. Порождающая матрица линейного блочного кода
   Проверочная матрица линейного блочного кода
   Синдром и обнаружение ошибки линейным блочным кодом
   Синдромное декодирование линейных блочных кодов
   Вес и расстояние Хэмминга. Способность кодов обнаруживать и исправлять ошибки
   Код Хэмминга
   Полиномиальные коды
     Операции над полиномами в поле двоичных символов $GF(2)$
     Полиномиальное кодирование
     Циклические коды
     Синдром и исправление ошибок в цикличных кода
     Порождающая и проверочные матрицы цикличного кода
     Декодирование циклического кода
   КОНТРОЛЬНЫЕ ВОПРОСЫ
Список использованной и рекомендуемой литературы