香農(nóng)既精通通信又精通數(shù)學(xué),將數(shù)理知識(shí)和工程很好的融合在一起。大數(shù)學(xué)家Kolmogrov很好地總結(jié)了香農(nóng)作為一個(gè)學(xué)者的才華,他說(shuō):“在我們的時(shí)代,當(dāng)人的指示越來(lái)越專業(yè)化的時(shí)候,香農(nóng)是科學(xué)家的一個(gè)卓越的典范。他把深?yuàn)W和抽象的數(shù)學(xué)思想和概括而又很具體的對(duì)關(guān)鍵技術(shù)問(wèn)題的理解結(jié)合起來(lái)。他被認(rèn)為是最近幾十年最偉大的工程師之一,同時(shí)也被認(rèn)為是最偉大的數(shù)學(xué)家之一?!?/span>
熵(entropy)的概念
香農(nóng)理論的重要特征是熵(entropy)的概念,他證明熵與信息內(nèi)容的不確定程度有等價(jià)關(guān)系。熵曾經(jīng)是波爾茲曼在熱力學(xué)第二定律引入的概念,我們可以把它理解為分子運(yùn)動(dòng)的混亂度。香農(nóng)將統(tǒng)計(jì)物理中熵的概念,引申到信道通信的過(guò)程中,從而開(kāi)創(chuàng)了”信息論“這門(mén)學(xué)科。香農(nóng)定義的“熵”又被稱為“香農(nóng)熵”或“信息熵”,即其中i標(biāo)記概率空間中所有可能的樣本,表示該樣本的出現(xiàn)幾率,K是和單位選取相關(guān)的任意常數(shù)??梢悦黠@看出“信息熵”的定義和“熱力學(xué)熵”(玻爾茲曼公式)的定義只相差某個(gè)比例常數(shù)。 眾所周知,質(zhì)量、能量和信息量是三個(gè)非常重要的量。
人們很早就知道用秤或者天平計(jì)量物質(zhì)的質(zhì)量,而熱量和功的關(guān)系則是到了19世紀(jì)中葉,隨著熱功當(dāng)量的明確和能量守恒定律的建立才逐漸清楚。能量一詞就是它們的總稱,而能量的計(jì)量則通過(guò)“卡、焦耳”等新單位的出現(xiàn)而得到解決。 然而,關(guān)于文字、數(shù)字、圖畫(huà)、聲音的知識(shí)已有幾千年歷史了。但是它們的總稱是什么,它們?nèi)绾谓y(tǒng)一地計(jì)量,直到19世紀(jì)末還沒(méi)有被正確地提出來(lái),更談不上如何去解決了。20世紀(jì)初期,隨著電報(bào)、電話、照片、電視、無(wú)線電、雷達(dá)等的發(fā)展,如何計(jì)量信號(hào)中信息量的問(wèn)題被隱約地提上日程。
1928年哈特利(R.V. H. Harley)考慮到從D個(gè)彼此不同的符號(hào)中取出N個(gè)符號(hào)并且組成一個(gè)“詞”的問(wèn)題。如果各個(gè)符號(hào)出現(xiàn)的概率相同,而且是完全隨機(jī)選取的,就可以得到D^N個(gè)不同的詞。從這些詞里取了特定的一個(gè)就對(duì)應(yīng)一個(gè)信息量I。哈特利建議用N log D這個(gè)量表示信息量,即I=N log D。這里的log表示以10為底的對(duì)數(shù)。后來(lái),1949年控制論的創(chuàng)始人維納也研究了度量信息的問(wèn)題,還把它引向熱力學(xué)第二定律。
但是就信息傳輸給出基本數(shù)學(xué)模型的核心人物還是香農(nóng)。1948年香農(nóng)長(zhǎng)達(dá)數(shù)十頁(yè)的論文“通信的數(shù)學(xué)理論”成了信息論正式誕生的里程碑。在他的通信數(shù)學(xué)模型中,清楚地提出信息的度量問(wèn)題,他把哈特利的公式擴(kuò)大到概率pi不同的情況,得到了著名的計(jì)算信息熵H的公式:H(X)= -Σp(x) logp(x) 如果計(jì)算中的對(duì)數(shù)log是以2為底的,那么計(jì)算出來(lái)的信息熵就以比特(bit)為單位。在計(jì)算機(jī)和通信中廣泛使用的字節(jié)(Byte)、KB、MB、GB等詞都是從比特演化而來(lái)。“比特”的出現(xiàn)標(biāo)志著人類知道了如何計(jì)量信息量。香農(nóng)的信息論為明確什么是信息量概念作出決定性的貢獻(xiàn)。 香農(nóng)在進(jìn)行信息的定量計(jì)算的時(shí)候,明確地把信息量定義為隨機(jī)不定性程度的減少。這就表明了他對(duì)信息的理解:信息是用來(lái)減少隨機(jī)不定性的東西。或香農(nóng)逆定義:信息是確定性的增加。
雖然香農(nóng)的信息概念比以往的認(rèn)識(shí)有了巨大的進(jìn)步,但仍存在局限性,這一概念同樣沒(méi)有包含信息的內(nèi)容和價(jià)值,只考慮了隨機(jī)型的不定性,沒(méi)有從根本上回答"信息是什么"的問(wèn)題。
事實(shí)上,香農(nóng)最初的動(dòng)機(jī)是把電話中的噪音除掉,他給出通信速率的上限,這個(gè)結(jié)論首先用在電話上,后來(lái)用到光纖,截止2013又用在無(wú)線通信上。我們能夠清晰地打越洋電話或衛(wèi)星電話,都與通信信道質(zhì)量的改善密切相關(guān)。