Hva er Shannons Informasjonsteori?
Shannons informasjonsteori er et teoretisk rammeverk som gir en matematisk forståelse av hvordan informasjon overføres, lagres, og komprimeres, særlig i systemer som telekommunikasjon og dataoverføring. Denne teorien ble utviklet av Claude Shannon i hans banebrytende arbeid fra 1948, “A Mathematical Theory of Communication”. Det er flere sentrale konsepter i Shannons teori som har hatt vidtrekkende konsekvenser innen mange teknologiske felt.
Shannons informasjonsteori handler om måling og kvantifisering av informasjon, spesielt hvordan informasjon kan kodes og overføres gjennom en kanal (for eksempel en telefonlinje eller et datanettverk) uten å bli ødelagt av støy.
De viktigste konseptene i informasjonsteorien er:
Informasjon som reduksjon av usikkerhet
Shannons informasjonsteori tar utgangspunkt i at informasjon kan sees på som en måte å redusere usikkerhet på. Hvor mye informasjon som overføres kan måles etter hvor mye usikkerhet budskapet reduserer.
Hvis mottakeren av budskapet allerede vet hva som kommer til å bli sendt, inneholder budskapet ingen ny informasjon. Kaster du en perfekt balansert mynt, er det f.eks. to mulige utfall (kron eller mynt) og det er like stor sannsynlighet for å få en kron som en mynt. Noe som betyr at står ovenfor en situasjon med maksimal usikkerhet omkring hva utfallet blir. Når mynten lander, og vi får vite utfallet, har vi mottatt informasjon som reduserer usikkerheten med 100 prosent. Vi kan da med sikkerhet fortelle hva utfallet ble.
