Курсовая на тему «современные способы кодирования информации»

Пусть будет сообщение, написанное с использованием некоторого «алфавита», содержащего n «букв». Требуется «закодировать» это сообщение, то есть указать правило, которое связывает с каждым таким сообщением определенную последовательность из m «элементарных сигналов», составляющих «алфавит» передачи. Мы рассмотрим кодирование тем более выгодно, чем меньше элементарных сигналов вы должны потратить на передачу сообщения. Если предположить, что каждый из элементарных сигналов длится одно и то же время, то наиболее выгодный код позволит наименьшее время потратить на передачу сообщения.
Основным свойством случайных событий является отсутствие полной уверенности в их возникновении, что создает определенную неопределенность в выполнении экспериментов, связанных с этими событиями. Однако ясно, что степень этой неопределенности будет совершенно разной в разных случаях. Для практики важно уметь количественно определять степень неопределенности широкого спектра экспериментов, чтобы можно было сравнить их на этой стороне. Рассмотрим два независимых опыта и а также сложный опыт , состоящий в одновременном выполнении опытов и. Пусть опыт имеет k равновероятных исходов, а опыт имеет l равновероятных исходов. Очевидно, что неопределенность опыта больше неопределенности опыта, так как к неопределенности здесь добавляется еще неопределенность исхода опыта . Естественно считать, что степень неопределенности опыта равна сумме неопределенностей, характеризующих опыты и, т.е.