다양한 기술 채널을 통해 정보를 전송하는 방식입니다. 정보 전송 정보의 인코딩 및 디코딩

정보 전송 과정은 그림에 개략적으로 표시됩니다. 정보의 출처와 수신자가 있다고 가정합니다. 소스에서 수신자로의 메시지는 통신 채널(정보 채널)을 통해 전송됩니다.

쌀. 3. – 정보 이전 프로세스

이 과정에서 정보는 특정 순서의 신호, 기호, 기호의 형태로 제시되고 전송됩니다. 예를 들어, 사람들 사이의 직접적인 대화 중에 소리 신호가 전송됩니다(말). 텍스트를 읽을 때 사람은 문자(그래픽 기호)를 인식합니다. 전송된 시퀀스를 메시지라고 합니다. 소스에서 수신자까지 메시지는 일부 물질적 매체(소리 - 대기 중 음파, 이미지 - 빛 전자기파)를 통해 전송됩니다. 전송 과정에서 기술적인 의사소통 수단을 사용하는 경우 이를 '통신'이라고 합니다. 정보 전송 채널(정보 채널). 여기에는 전화, 라디오, 텔레비전이 포함됩니다.

인간의 감각은 생물학적 정보 채널로 작용한다고 말할 수 있습니다. 그들의 도움으로 사람에 대한 정보 영향이 기억에 전달됩니다.

클로드 섀넌, 기술 커뮤니케이션 채널을 통해 정보를 전송하는 프로세스에 대한 다이어그램이 그림에 나와 있습니다.

쌀. 4. – Shannon 정보 전송 프로세스

이러한 방식의 작동은 전화 통화 과정에서 설명될 수 있습니다. 정보의 출처는 말하는 사람입니다. 인코딩 장치는 음파(음성)를 전기 신호로 변환하는 데 도움이 되는 전화 핸드셋 마이크입니다. 통신 채널은 전화 네트워크(신호가 통과하는 전선, 전화 노드의 스위치)입니다. 디코딩 장치는 정보를 수신하는 청취자의 핸드셋(이어폰)입니다. 여기서 들어오는 전기 신호는 소리로 변환됩니다.

연속적인 형태로 전송이 이루어지는 통신 전기 신호, 아날로그 통신이라고 합니다.

아래에 코딩소스에서 나오는 정보를 통신 채널을 통한 전송에 적합한 형식으로 변환하는 것을 말합니다.

현재 디지털 통신은 전송된 정보를 이진수 형태(0과 1은 이진수)로 인코딩한 후 텍스트, 이미지, 사운드로 디코딩하는 방식으로 널리 사용됩니다. 디지털 커뮤니케이션은 별개입니다.

"잡음"이라는 용어는 전송된 신호를 왜곡하고 정보의 손실을 초래하는 다양한 유형의 간섭을 의미합니다. 이러한 간섭은 우선 기술적인 이유로 인해 발생합니다. 통신 회선의 품질이 좋지 않고 동일한 채널을 통해 서로 전송되는 다양한 정보 스트림의 보안이 불안정합니다. 이러한 경우에는 소음 방지가 필요합니다.

우선 신청합니다 기술적 방법소음으로부터 통신 채널을 보호합니다. 예를 들어, 나선 대신 스크린 케이블을 사용합니다. 유용한 신호를 노이즈 등으로부터 분리하는 다양한 유형의 필터 사용

Claude Shannon은 소음 처리 방법을 제공하는 특수 코딩 이론을 개발했습니다. 이 이론의 중요한 아이디어 중 하나는 통신 회선을 통해 전송되는 코드가 중복되어야 한다는 것입니다. 이로 인해 전송 중 정보의 일부 손실이 보상될 수 있습니다.

그러나 중복성은 너무 커서는 안 됩니다. 이로 인해 지연이 발생하고 통신 비용이 증가합니다. K. Shannon의 코딩 이론을 통해 최적의 코드를 얻을 수 있습니다. 이 경우 전송된 정보의 중복성은 최소화되고 수신된 정보의 신뢰성은 최대화됩니다.

현대 디지털 통신 시스템에서는 전송 중 정보 손실을 방지하기 위해 다음 기술이 자주 사용됩니다. 전체 메시지는 부분(블록)으로 나뉩니다. 각 블록에 대해 체크섬(이진수 합계)이 계산되어 블록과 함께 전송됩니다. 수신 사이트에서는 수신된 블록의 체크섬이 다시 계산되며, 원래 블록의 체크섬과 일치하지 않으면 이 블록의 전송이 반복됩니다. 이는 소스 및 대상 체크섬이 일치할 때까지 발생합니다.

정보 전송 속도단위 시간당 전송된 메시지의 정보량입니다. 정보 흐름 속도를 측정하는 단위: 비트/초, 바이트/초 등

기술 정보 통신 회선(전화선, 무선 통신, 광섬유 케이블)에는 다음과 같은 데이터 전송 속도 제한이 있습니다. 정보 채널 용량. 전송 속도 제한은 본질적으로 물리적입니다.

인터넷 리소스를 사용하여 다음 질문에 대한 답을 찾으십시오.

연습 1

1. 정보를 전송하는 과정은 무엇입니까?

정보 이전- 정보가 전달되는 물리적 과정 우주에서. 우리는 정보를 디스크에 기록하고 다른 방으로 옮겼습니다.이 프로세스는 다음 구성 요소가 있다는 특징이 있습니다.

배포 매체의 유형에 따라 커뮤니케이션 채널은 다음과 같이 구분됩니다.

통신(그리스어 텔레 - 먼 곳으로, 멀리 떨어진 곳으로, 위도 통신 - 통신)은 다양한 전자기 시스템(케이블 및 광섬유 채널, 무선 채널)을 통해 거리에 걸쳐 모든 정보(소리, 이미지, 데이터, 텍스트)를 전송하고 수신하는 것입니다. 및 기타 유무선 채널 통신).

통신 네트워크통신이 수행되는 기술적 수단의 시스템입니다.

통신 네트워크에는 다음이 포함됩니다.
1. 컴퓨터 네트워크(데이터 전송용)
2. 전화망(음성정보 전송)
3. 무선망(음성정보 전송 - 방송서비스)
4. 텔레비전 네트워크(음성 및 영상 전송 - 방송 서비스)

컴퓨터 통신은 단말 장치가 컴퓨터인 통신입니다.

컴퓨터에서 컴퓨터로 정보가 전달되는 것을 동기식 통신이라고 하며, 중간 컴퓨터를 통해 메시지가 축적되어 다른 컴퓨터로 전송될 수 있습니다. 개인용 컴퓨터사용자가 요청한 대로 - 비동기식.

컴퓨터 통신이 교육에 도입되기 시작했습니다. 고등 교육에서는 과학적 연구를 조정하고, 프로젝트 참가자 간의 신속한 정보 교환, 원격 학습 및 상담을 수행하는 데 사용됩니다. 학교 교육 시스템에서 - 효율성 향상 독립적인 활동다양한 유형과 관련된 학생들 창작 작품, 연구 방법의 광범위한 사용, 데이터베이스에 대한 무료 접근 및 국내외 파트너와의 정보 교환을 기반으로 한 교육 활동을 포함합니다.

정보 전송 속도는 정보 생성 속도(소스 성능), 인코딩 및 디코딩 방법에 따라 크게 달라집니다. 특정 채널에서 가능한 최고 정보 전송 속도를 처리량이라고 합니다. 정의에 따르면 채널 용량은 특정 채널에 대해 "최고의"(최적) 소스, 인코더 및 디코더를 사용할 때 정보 전송 속도이므로 채널의 특성만 나타냅니다.

오늘날 정보는 너무 빨리 퍼지기 때문에 정보를 이해할 시간이 항상 충분하지 않습니다. 대부분의 사람들은 정보가 전송되는 방법과 수단에 대해 거의 생각하지 않으며 정보 전송 계획을 상상하는 경우도 거의 없습니다.

기본 개념

정보의 전달은 공간에서 데이터(기호 및 기호)를 이동하는 물리적 과정으로 간주됩니다. 데이터 전송의 관점에서 이것은 정보 단위를 이동하기 위해 사전 계획되고 기술적으로 갖춰진 이벤트입니다. 시간을 정하다정보 채널 또는 데이터 전송 채널을 통해 소위 소스에서 수신기로.

데이터 전송 채널은 데이터 배포를 위한 수단 또는 매체의 집합입니다. 즉, 이는 소스에서 수신자, 특정 조건 하에서 정보의 이동을 보장하는 정보 전송 회로의 일부입니다.

데이터 전송 채널에는 다양한 분류가 있습니다. 주요 채널을 강조 표시하면 무선 채널, 광학, 음향 또는 무선, 유선을 나열할 수 있습니다.

정보 전송을 위한 기술 채널

기술 데이터 전송 채널에는 무선 채널, 광섬유 채널 및 케이블이 직접 포함됩니다. 케이블은 동축 또는 연선일 수 있습니다. 전자는 내부에 구리선이 들어있는 전기 케이블이고, 후자는 꼬인 쌍유전체 피복에 위치한 쌍으로 절연된 구리선. 이 케이블은 매우 유연하고 사용하기 쉽습니다. 광섬유는 반사를 통해 빛 신호를 전송하는 광섬유 가닥으로 구성됩니다.

주요 특징은 처리량과 잡음 내성입니다. 대역폭은 일반적으로 채널을 통해 전송될 수 있는 정보의 양으로 이해됩니다. 특정 시간. 그리고 잡음 내성은 외부 간섭(잡음)의 영향에 대한 채널의 저항 매개변수입니다.

데이터 전송 이해

적용 범위를 지정하지 않은 경우, 일반적인 계획정보 전송은 단순해 보이지만 "소스", "수신자" 및 "전송 채널"이라는 세 가지 구성 요소를 포함합니다.

섀넌 방식

미국의 수학자이자 엔지니어인 클로드 섀넌(Claude Shannon)은 정보 이론의 창시자였습니다. 그들은 기술 커뮤니케이션 채널을 통해 정보를 전송하는 방식을 제안했습니다.

이 다이어그램은 이해하기 어렵지 않습니다. 특히 친숙한 물체와 현상의 형태로 요소를 상상한다면 더욱 그렇습니다. 예를 들어, 정보의 출처는 전화 통화하는 사람입니다. 핸드셋은 음성이나 음파를 전기 신호로 변환하는 인코더가 됩니다. 이 경우 데이터 전송 채널은 통신 노드, 일반적으로 한 전화기 세트에서 다른 전화기 세트로 연결되는 전체 전화 네트워크입니다. 디코딩 장치는 가입자의 휴대폰입니다. 전기 신호를 다시 소리, 즉 음성으로 변환합니다.

정보 전송 프로세스에 대한 이 다이어그램에서 데이터는 연속적인 전기 신호로 표시됩니다. 이러한 유형의 통신을 아날로그라고 합니다.

코딩 개념

코딩은 소스에서 보낸 정보를 사용 중인 통신 채널을 통해 전송하기에 적합한 형식으로 변환하는 것으로 간주됩니다. 가장 이해하기 쉬운 코딩의 예는 모스 부호입니다. 그 안에서 정보는 일련의 점과 대시, 즉 짧고 긴 신호로 변환됩니다. 수신측에서는 이 시퀀스를 디코딩해야 합니다.

현대 기술은 디지털 통신을 사용합니다. 그 안에는 정보가 이진 데이터, 즉 0과 1로 변환(인코딩)됩니다. 이진 알파벳도 있습니다. 이러한 연결을 이산이라고 합니다.

정보 채널의 간섭

데이터 전송 회로에도 노이즈가 있습니다. 이 경우 "잡음"이라는 개념은 신호가 왜곡되어 결과적으로 손실되는 간섭을 의미합니다. 간섭의 이유는 다양할 수 있습니다. 예를 들어, 정보 채널은 서로 제대로 보호되지 않을 수 있습니다. 간섭을 방지하기 위해 다양한 기술적 보호 방법, 필터, 차폐 등이 사용됩니다.

K. Shannon은 소음 방지를 위한 코딩 이론을 개발하고 제안했습니다. 노이즈의 영향으로 정보 손실이 발생하므로 전송되는 데이터가 중복되어야 하지만 동시에 전송 속도가 느려질 정도로 많지 않아야 한다는 의미입니다.

디지털 통신 채널에서 정보는 부분(패킷)으로 나뉘며 각 부분에 대해 체크섬이 계산됩니다. 이 금액은 각 패키지와 함께 이체됩니다. 정보 수신자는 이 합계를 다시 계산하고 원래 패킷과 일치하는 경우에만 패킷을 수락합니다. 그렇지 않으면 패킷이 다시 전송됩니다. 전송된 체크섬과 수신된 체크섬이 일치할 때까지 계속됩니다.

통신 회선에서 정보를 전송하는 일반적인 방식

이전에는 정보의 출처를 정보를 생성하고 이를 메시지 형식으로 표시할 수 있는 개체 또는 주체로 정의했습니다. 물질 매체의 신호 시퀀스. 즉, 소스는 정보를 물질적 매체와 연결합니다. 소스에서 수신자로의 메시지 전송은 항상 물질적 환경에서 발생하는 일부 비정상 프로세스와 연관되어 있습니다. 정보 자체는 물질적 대상이나 물질 존재 형태가 아니기 때문에 이 조건은 필수입니다. 정보를 전송하는 방법에는 우편, 전화, 라디오, 텔레비전, 컴퓨터 네트워크 등 여러 가지가 있습니다. 그러나 통신 방법의 다양한 특정 구현을 통해 다이어그램에 표시된 공통 요소를 식별하는 것이 가능합니다 (그림 .9).

인코딩 장치가 정보 소스와 관련하여 외부에 있을 때 상황이 가능합니다(예: 작업하는 운영자와 관련된 전신 기계 또는 컴퓨터). 다음으로, 코드는 일련의 물질 신호로 변환되어야 합니다. 즉, 물질 매체에 배치되어야 합니다. 이 작업은 변환기에 의해 수행됩니다. 변환기는 인코딩 장치(예: 전신 기계)와 결합될 수 있습니다.

쌀. 9.

통신은 통신 회선의 독립적인 요소일 수도 있습니다(예: 컴퓨터 주파수의 개별 전기 신호를 전화선의 감쇠가 최소화되는 주파수의 아날로그 신호로 변환하는 모뎀). 변환기에는 메시지를 한 매체에서 다른 매체로 전송하는 장치도 포함됩니다. 예를 들어 음성 신호를 전기 신호로 변환하는 확성기 또는 전화기; 음성 신호를 전파로 변환하는 무선 송신기; 이미지를 일련의 전기 충격으로 변환하는 텔레비전 카메라. 일반적으로 변환 중에 출력 신호는 입력 메시지의 모든 기능을 완전히 재현하지는 않지만 필수 측면만 재생합니다. 즉, 변환 중에 정보의 일부가 손실됩니다. 예를 들어, 전화 통신의 주파수 대역폭은 300~3400Hz인 반면, 인간의 귀에 감지되는 주파수는 16~20,000Hz 범위에 있습니다(즉, 전화선이 "절단"됩니다). 고주파수, 이로 인해 사운드 왜곡이 발생함); 흑백 TV에서는 변환 중에 이미지의 색상이 손실됩니다. 이와 관련하여 변환 중에 원본 정보를 가장 완벽하게 표현하는 동시에 주어진 통신 회선을 통한 정보 전송 속도와 일치하는 메시지 인코딩 방법을 개발하는 작업이 발생합니다.

변환기 이후에 신호가 도착하여 다음을 통해 전파됩니다. 통신 채널."소통 채널"의 개념에는 다음이 포함됩니다. 물질적 환경,그리고 물리적또는 기타 프로세스,메시지가 전송되는 방식, 즉 시간이 지남에 따라 공간에서 신호가 전파되는 방식입니다. 표 10은 일부 통신 채널의 예를 보여줍니다.

모든 실제 통신 채널은 외부 영향을 받기 쉽습니다. 내부 프로세스도 발생할 수 있으며, 그 결과 전송된 신호 및 그에 따른 메시지가 왜곡됩니다. 그러한 영향을 소위 소음(간섭).간섭의 원인은 외부일 수 있습니다.

연결 채널

표 10

메시지가 통신 채널을 통과한 후 신호는 수신 변환기를 사용하여 정보 수신기에 필요한 형식으로 디코딩 장치에 의해 표시되는 일련의 코드로 변환됩니다. 전송 단계뿐만 아니라 수신 단계에서도 변환기는 디코딩 장치(예: 라디오 또는 TV)와 결합되거나 독립적으로 존재할 수 있습니다(예: 모뎀).

"통신 회선"의 개념은 정보 소스에서 수신자까지 다이어그램에 표시된 모든 요소를 ​​통합합니다. 모든 통신 회선의 특징은 메시지를 전송할 수 있는 속도와 전송 중 메시지 왜곡 정도입니다. 이러한 매개변수로부터 우리는 통신 채널과 직접적으로 관련된 매개변수, 즉 환경과 전송 프로세스를 특성화하는 매개변수를 분리합니다.

통신채널 특성

다음으로 전기 충격을 사용하여 메시지가 전송되는 통신 채널을 고려해 보겠습니다. 실용적인 관점과 컴퓨터 통신 회선의 관점에서 볼 때 이러한 채널이 가장 중요합니다.

대역폭

진동(전기적 또는 기계적)을 기반으로 작동하는 모든 변환기는 제한된 주파수 범위에서 신호를 생성하고 전송할 수 있습니다. (위에 전화 통신의 예가 나와 있습니다.) 라디오 및 텔레비전 통신에도 동일하게 적용되어야 합니다. 전체 주파수 스펙트럼은 각 스테이션이 차지하는 범위(LW, MW, KBI, KVP, VHF, DM V)로 나뉩니다. 자체 서브밴드이므로 다른 사람의 방송을 방해하지 않습니다.

신호를 전송하기 위해 특정 통신 채널에서 사용되는 주파수 범위를 대역폭이라고 합니다.

이론을 세우기 위해 중요한 것은 대역폭 자체가 아니라 주어진 대역(vm)의 최대 주파수 값입니다. 이는 채널을 통한 정보 전송의 가능한 속도를 결정하는 것이기 때문입니다.

기본 펄스의 지속 시간은 다음 고려 사항을 통해 결정할 수 있습니다. 신호 매개변수가 정현파로 변경되면 그림에서 볼 수 있듯이 하나의 진동 주기에 티신호에는 하나의 최대값과 하나의 최소값이 있습니다.

쌀. 10.

정현파를 근사화하면 직사각형 펄스기준점을 최소값 레벨로 이동하면 신호는 두 가지 값만 취하는 것으로 나타났습니다. "1")- 맥박,최소 (지정 가능 "에 대한")- 정지시키다.충동과 정지는 기본 신호로 간주될 수 있습니다. 선택한 근사치를 사용하면 해당 기간은 분명히 동일하고 동일합니다.

펄스가 주파수를 갖는 클록 발생기에 의해 생성되는 경우 VM,저것

따라서 0초마다 특정 코드를 해당 시퀀스와 연결하여 펄스 또는 일시 정지를 전송할 수 있습니다. 원칙적으로 t 0(예: 2 t 0)보다 긴 지속 시간의 신호를 사용하는 것이 가능합니다. 이로 인해 채널을 통한 전송 속도는 감소하지만 정보 손실로 이어지지는 않습니다. t 0보다 짧은 신호를 사용하면 정보 손실이 발생할 수 있습니다. 왜냐하면 신호가 최소값과 최대값 사이의 중간 값을 취하여 해석이 복잡해지기 때문입니다.

따라서 vm 기본 신호의 지속 시간을 결정합니다. 0, 메시지를 전달하는데 사용됩니다.

통신채널 용량

하나의 펄스 전송이 1.tr 정보량과 연관되어 시간에 맞춰 전송되는 경우 0, 나에 대한 비율 0, 분명히 단위 시간당 채널을 통해 전송되는 평균 정보량을 반영합니다. 이 값은 통신 채널의 특성이며 채널 용량 C라고 합니다.

만약에 G tr비트로 표현되고 t 0 - 초 단위이면 측정 단위 C는 다음과 같습니다. bps이전에는 이러한 단위를 보드(baud)라고 불렀으나 그 이름이 붙지 않았기 때문에 통신 채널의 처리량은 비트/초로 측정됩니다. 파생 단위는 다음과 같습니다.

• 1Kbit/s = 10 3bit/s,
• 1Mbit/s = 10 6bit/s,
• 1기가비트/초 = 10 9비트/초.

정보 전송 속도

시간에 맞춰 통신 채널을 통해 보자 티전송된 정보의 양 I. 정보 전송 속도 - 정보 전송 속도 J를 특성화하는 값을 도입할 수 있습니다.

치수 제이, C와 마찬가지로 비트/초입니다. 이러한 특성들 사이에는 어떤 관계가 있나요? m 0 은 기본 신호의 최소 지속 시간이므로 C가 주어진 통신 회선을 통한 정보 전송의 최대 속도, 즉 J J max에 해당한다는 것이 명백합니다. 따라서, 최대 속도통신 채널을 통한 정보 전송은 처리량과 동일합니다.

엔트로피와 정보

무작위 사건은 "확률"이라는 개념을 사용하여 설명할 수 있습니다. 확률 이론의 관계를 통해 단일 무작위 사건과 여러 독립적이거나 상호 연결된 사건을 결합하는 복잡한 실험의 확률을 찾는(계산) 것이 가능합니다. 그러나 무작위 사건은 확률로만 설명할 수 없습니다.

사건이 무작위적이라는 사실은 사건 발생에 대한 완전한 확실성이 없다는 것을 의미하며, 이는 결국 이 사건과 관련된 실험 결과에 불확실성을 초래합니다. 물론, 불확실성의 정도는 상황에 따라 다릅니다. 예를 들어, 실험이 무작위로 선택된 대학의 정규 1학년 학생의 나이를 결정하는 것으로 구성된 경우 높은 신뢰도를 가지고 그가 30세 미만일 것이라고 말할 수 있습니다. 상황에 따라 35세 미만의 사람도 풀타임으로 공부할 수 있지만, 대부분 다음 몇 학급의 학교를 졸업하고 풀타임으로 공부하는 경우가 많습니다. 유사한 경험은 무작위로 선택된 학생의 연령이 18세 미만인지 여부를 확인하면 확실성이 훨씬 떨어집니다. 실제로 다양한 실험의 불확실성을 수치적으로 평가할 수 있는 것이 중요합니다. 이러한 불확실성의 정량적 측정을 도입해 보겠습니다.

경험이 있는 간단한 상황부터 시작해 보겠습니다. 피똑같이 예상되는 결과. 분명히, 그들 각각의 불확실성은 다음에 달려 있습니다. 피,즉. 불확실성의 척도는 결과 수 f(n)의 함수입니다.

일부를 지정할 수 있습니다. 속성이 기능:

• 1. 에프(엘)= 0, 왜냐하면 n = 1 실험 결과는 무작위가 아니므로 불확실성이 없습니다.
• 2. 에프(엔)성장에 따라 증가 피,가능한 결과의 수가 많을수록 실험 결과를 예측하기가 더 어려워지기 때문입니다.

두 가지 가능한 동일 가능성에 대한 불확실성 측정 단위

실험의 결과를 비트라고합니다.

실험의 불확실성 척도를 설명하는 함수의 명시적인 형태가 확립되었습니다. 피똑같이 예상되는 결과:

이 수량을 엔트로피. 안에다음에서 우리는 그것을 나타낼 것입니다 N.성명.엔트로피는 그 안에 담긴 경험에 대한 정보와 같습니다.

다음을 명확히 할 수 있습니다.

경험의 엔트로피는 경험의 결과로 우리가 받는 정보와 같습니다.

정보 속성:

• 1. /(a,P) > 0 및 /(a,|3) = 0 실험은 독립적입니다.
• 2. /(a,p) = /(P,a), 즉, 정보는 실험 순서에 대해 대칭입니다.

3. 5 즉, 경험의 정보는 그 결과 중 하나에 포함된 정보량의 평균값과 같습니다.

얻기 쉬운 공식의 결과 경우에 대해

모두 피결과가 나올 확률은 동일합니다. 이 경우 모든 것과 따라서

이 공식은 1928년 미국 엔지니어에 의해 도출되었습니다. R. 하틀리그의 이름을 딴 것입니다. 이는 동일하게 일어날 수 있는 상태의 수와 관련이 있습니다. (피)그리고 메시지(/)에 있는 이러한 상태 중 하나가 발생했다는 정보의 양. 그 의미는 어떤 세트에 다음이 포함되어 있다면 피요소와 x는 이 세트에 속하며, 다른 요소 중에서 이를 분리(명확한 식별)하려면 log 2'와 동일한 양의 정보가 필요합니다.

Hartley의 공식을 적용한 특별한 경우는 다음과 같습니다. 피= 2 k. 이 값을 Hartley의 공식에 대입하면 다음과 같은 결과를 얻을 수 있습니다.

섀넌의 공식

알려진 확률 , 시스템은 상태 중 하나를 가정합니다.

- Shannon의 공식 - 시스템의 엔트로피 - 정보량을 측정하는 공식.

엔트로피의 성질

2. . (하틀리 공식)

엔트로피가 최대인 경우입니다.

섀넌의 첫 번째 정리.

간섭이 없는 경우 코드 중복이 임의로 0에 가까워지는 방식으로 메시지를 인코딩하는 것이 항상 가능합니다.

섀넌의 두 번째 정리.

시끄러운 채널을 통해 정보를 전송할 때 전송 속도가 채널 용량을 초과하지 않으면 임의의 높은 신뢰성으로 메시지를 전송하는 코딩 방법이 항상 있습니다.