22:03 10-01-2010
Начну бурчать про информацию.
Подход Шеннона понятен. Есть ограниченный набор мыслимых разумных сообщений из А в Б. У каждого своя вероятность (априорная, то есть "до опыта"). Скажем, бросает кадр в А монетку и сообщает в Б результат. Мыслимых сообщений - две штуки, "орёл" и "решка", у каждого априорная вероятность - 1/2. Когда что-то определённое выпало, его вероятность (апостериорная, после опыта) равна единице. Информации, по Шеннону, получено минус двоичный логарифм 1/2, то есть 1 бит.
В жизни как-то запутаннее. Мыслимых разумных сообщений, ожидаемых в Б из А, может быть до хрена. Их вероятности - хрен сосчитаешь. Кроме того, некоторые сообщения, по знакам различающиеся, могут быть синонимичными, совпадающими по смыслу для принимающей стороны в Б, как их учитывать - хрен знает.
К тому же, Б может вообще ничего не ожидать - и вдруг от А приходит депеша. Можно ли измерить количество полученной информации? Далее, у А может быть свой набор возможных сообщений, но он не знает, все ли будут понятны (то есть иметь смысл) для Б. Получается, что количество отправленной информации может быть не равно количеству информации полученной. Во, фигня!
Подход Шеннона понятен. Есть ограниченный набор мыслимых разумных сообщений из А в Б. У каждого своя вероятность (априорная, то есть "до опыта"). Скажем, бросает кадр в А монетку и сообщает в Б результат. Мыслимых сообщений - две штуки, "орёл" и "решка", у каждого априорная вероятность - 1/2. Когда что-то определённое выпало, его вероятность (апостериорная, после опыта) равна единице. Информации, по Шеннону, получено минус двоичный логарифм 1/2, то есть 1 бит.
В жизни как-то запутаннее. Мыслимых разумных сообщений, ожидаемых в Б из А, может быть до хрена. Их вероятности - хрен сосчитаешь. Кроме того, некоторые сообщения, по знакам различающиеся, могут быть синонимичными, совпадающими по смыслу для принимающей стороны в Б, как их учитывать - хрен знает.
К тому же, Б может вообще ничего не ожидать - и вдруг от А приходит депеша. Можно ли измерить количество полученной информации? Далее, у А может быть свой набор возможных сообщений, но он не знает, все ли будут понятны (то есть иметь смысл) для Б. Получается, что количество отправленной информации может быть не равно количеству информации полученной. Во, фигня!
Комментарии:
22:53 10-01-2010
и А и Б всегда могут всегда задать вопрос - все ли понятно. И подать информацию более уточненно. Что в свою очередь снижает возможность искажения. Чем больше будет уточнений - тем более точной будет информация. Гейзенберг.)
22:57 10-01-2010
Если А говорит на китайском, а Б - на североиндейском диалекте, они долго будут уточнять 
23:00 10-01-2010
Yurate это с учетом фактора времени) задача усложняется) А если взять что время равно бесконечности - то тогда они все таки поймут друг друга)
23:02 10-01-2010
Ну да, есть шанс построить общий контекст. После чего разработать каждому свой тезаурус.
Но я возвращаюсь к количественной стороне: можно ли определиться с количеством посылаемой и принимаемой информации?
Но я возвращаюсь к количественной стороне: можно ли определиться с количеством посылаемой и принимаемой информации?
23:06 10-01-2010
Yurate Если не путать качество и количество, то - сколько послано знаков - столько получено. Другое дело - качество их расшифровки. Сколько качественно расшифровано?
23:07 10-01-2010
ну пять знаков послано
сколько информации получено?
сколько информации получено?
23:10 10-01-2010
пять знаков получено
а расшифровано от нуля до бесконечности
а расшифровано от нуля до бесконечности
23:12 10-01-2010
"10011" и "конец" - это одно и то же количество информации?
23:17 10-01-2010
нет, конечно. ) И тогда уже лучше точнее с понятием информации давай определимся. Информации, которая измеряется в количественном или качественном варианте?
23:18 10-01-2010
См. пост Меня интересует, с какого боку подойти к количественной оценке информации, содержащейся в отрезке текста.
Меня интересует, с какого боку подойти к количественной оценке информации, содержащейся в отрезке текста.
23:27 10-01-2010
С точки зрения бесконечности)