通信-信息论-开坑自埋

通信-信息论-开坑自埋
WIFI
名字
频段
调制手段
标准制定
理论与实际
傅里叶变换
引言
fourier-transform
实际应用-除噪
inverse-fourier
质心与傅里叶公式的关系
缺点
短时傅里叶变换
信息熵-如何度量信息
哈特莱
香农
基尼系数
欧拉式-两点分布
交叉熵-相对熵
单位
极化码
信道容量-最大互信息
香农极限
极化码-PolarCodes
音频
有-无损压缩
借物表

draft 此文章点子来自: 你不了解的「WiFi」从技术原理应用讲到行业的未来一个视频彻底讲清楚「硬核无线技术」系列视频 WiFi 篇
一串听下来发现对于通信这方面的知识还是很欠缺, 甚至有些家常知识点都没太了解.

WIFI

名字

音响领域有高保真 HIFI (High Fidelity), 之后出现的无线起名 WIFI (Wireless Fidelity),

Science Fiction -> SciFi (发音与上面类似,一方面考虑好记)

频段

2.4G 频段: 2.4~2.4835 GHz

5G 频段: 5.15~5.85 GHz

每个频段可分为若干信道(频宽从 1~160MHz 不等), 满足多连接/多设备尽可能不互相干扰下使用.

在小区/宿舍里经常发现信号范围内有一排别人的 WIFI/热点
甭管有没有密码, 必然会对我们当前设备使用 WIFI 无线电信号产生干扰
2.4G 频段窄而且电磁波穿透力比 5G 频段强,另外默认用 2.4G 频段的设备多
所以, 把自己的设备切换使用为 5G 频段可以一定程度上抗干扰
其实也不止 WIFI 影响 WIFI,还要好多设备也是用 2.4G 频段通信会有干扰:
蓝牙,无线鼠标,无线录音麦…etc

调制手段

何为调制?

把数字信号转为电磁波通过天线发送, 接收端再把电磁波解为数字信号的过程,如下图

https://www.txrjy.com/thread-1080059-1-1.html

编/解码过程用到傅里叶变换和逆变

从 802.11b 到 802.11ax 应用的三种调制方式:
802.11 (eight O two eleven, 0 读 O, dot 不用读)
DSSS (D triple S, 直接序列扩频)
FHSS (调频)
OFDM (Orthogonal Frequency-Division Multiplexing. 正交频分复用/同频分解多调制)
由于民用频宽范围比较有限,DSSS 这种依靠大频宽保证可靠性的技术不适用,逐渐过渡到了 OFDM:
这种调制方式大幅降低所需频宽, 图中上面为 OFDM

标准制定

上面所提到的 802.11 xxx 就是无线电协会所制定的 WIFI 标准, 其每次更新是为了规划未来一段时间的 WIFI 走向, 避免各做各的无法正常通信.

802.11ac 引入波束赋形 Beam Forming, 追踪设备并把信号尽可能聚束到此方向

2019 年协会才把标准整体命名为 WIFI1-WIFI6, 调制方式 OFDM -> OFDMA(4GLTE 蜂窝网络的调制方式)

WIFI 发展越加偏向/近似蜂窝网络

理论与实际

无线通信理论速率与实际速率差距蛮大的:
生活中都有经验,离路由器越近越好
用不用追新设备?
先上结论: 不用
我们大多数人不咋组内网,组内网的话也是插线而不是走 WIFI,路由器唯一线路就是走公网
路由器跑的快不快在于宽带套餐,100-300M 宽带还是绝大部分家庭/学校的选择,而出于 2013 年的 WIFI5 标准完完全全够跑满
WIFI6 标准的路由器可以认为, 杀鸡用牛刀

傅里叶变换

引言

傅里叶变换的精彩讲解
简单来说傅里叶变换的作用: 从混合的波(声波/电磁波)中分离出某个频率的波
高数确实是一门神秘且棘手的学科,所以听到这个傅里叶变换心理也是略有抵触的.
后话: 不做应用的单纯的数学雀食烦…但是结合应用的话就有趣起来了 \(^o^)/

多个不同频率的波叠加
傅里叶变换就是在研究如何从混合波中分析出其组成波 (类似从混合色中分析原色)

fourier-transform

对于某个混合波,我们想知道它是哪几种波混合的结果,如何得知?
1. 我们把波形绕成环,并且可以调整 cycles/second -> Frequency 的比例
2. 视圆环图像质量均匀,取"质心 center of mass" 的坐标 (x,y)
3. 取 x 坐标为 Y 轴, Frequency 为 X 轴作图
4. 可见 2Hz+3Hz 的波,Frequency 在 2 和 3 出出现明显波峰
分别叠加也符合:

实际应用-除噪

比如现有声波里有一个已知高频噪音 (蚊子),但我们无法从声波中直接过滤掉,如何去掉它?
1. 做傅里叶变换
2. 找到那个频率的波峰并通过某种方法干掉它
3. 傅里叶反变换得到没有蚊子叫的声波

inverse-fourier

对傅里叶变换的图像再次变换可以大致获得原始波

质心与傅里叶公式的关系

"质心"实际指的就是公式变换的结果,下面分别为离散/连续的计算公式
需要注意的是,上面公式与傅里叶变换公式有小小的区别:
上面的公式只是在求 单点,实际傅里叶变换公式不需要除以时间
使得对应频率的 x 根据时间 t 倍增延长 (也就是变换后产生波峰的原因)
比如某频率的波持续 3 秒,其对应大小乘 3 倍
持续时间越长,对应频率的波峰越大

缺点

比如有一段 2s 的声波,第一秒为 1Hz,第二秒为 2Hz

通过傅里叶变换只能识别出存在 1Hz 和 2Hz 的波,并可以比较持续时间,但并不能分析其在时间轴上的定位

针对其不能时频联合分析的缺点, 出现了 短时傅里叶变换

短时傅里叶变换

一文道破傅里叶变换的本质，优缺点一目了然

信息熵-如何度量信息

所用代码及结果展示

哈特莱

哈特莱首先提出使用对数 log 来描述信息

$后称信息熵: H(p) = n\log_{10} s = \log_{10} s^{n}$

信息符合加法: $h(x,y)=h(x)+h(y)$

概率符合乘法: $p(x,y)=p(x)p(y)$

log 可以把乘法变加法: $\log p(x,y) = \log p(x)p(y) = \log p(x)+\log p(y)$

操作原理就是 通过概率间接量化信息, 哈特莱这里底数取得是 10, 下面香农改为了 2 (更适合计算机计算)

香农

香农首先提出信息熵来度量信息,可以粗略解释为:
n 个连续的 “是(1)” 或 “否(0)” 可以消除 $2^{n}$ 比特内容的不确定性(疑义度)
$信息熵: H(p) = -k \sum_{i=1}^{n} p_{i} \log_{2} p_{i}$
比如:
常用的汉字大约有 7000 个,假设每个字使用概率相等,至少需要用 13 比特表示才能完全消除一个字的疑义度 ( $2^{13}$ =8192 > 7000)
那么在此条件下每个字的信息熵为 13 比特
现实中每个字的使用频率概率, 出现场景, 上下文关联都会影响实际的信息熵 (比如文盲说话的信息熵不如学者高)
信息的度量——信息熵
关于为什么前面带了个 -k
与直觉相反, 一个事件发生概率越大,实际所带的信息越小
比如太阳从东边升起,没什么信息含量; 换为从西边升起,即使概率无限接近 0, 它所含信息权重也是很高的 ^[3]
具体计算一个:
$H(0.1) = 0.1 \cdot log_2 (0.1) = 0.33 \\ H(0.2) = 0.2 \cdot log_2 (0.2) = 0.46 \\ H(0.3) = 0.3 \cdot log_2 (0.3) = 0.52$

基尼系数

我们把曲线 $- \log P$ 换为 $1-P$ , 得到的就是基尼系数

$基尼系数: G(p) = \sum_{i=1}^{n} p_i (1-p_i) = 1- \sum_{i=1}^{n} p_{i}^2$

基尼系数与熵是十分近似的, 在决策树中可以用基尼系数来代替熵 (效率更高)

第二定义: 社会财富分配

欧拉式-两点分布

两点分布的熵:
$令 P(0) = 1-p \qquad p(1) = p \\ \ \\ \begin{aligned} H(p) &= - (1-p) \log_2 (1-p) - p \log_2 p \\ Gini(p) &= (1-p) \cdot [1-(1-p)] + p \cdot (1-p) \\ &= 2p(1-p) \end{aligned}$
可见在概率为 0.5 时,信息熵 (不确定度) 最高

交叉熵-相对熵

交叉熵, 定义上是一个事件的概率 p, 乘上另外一个事件的熵 H(q)
$\begin{aligned} 交叉熵 H(P,Q) &= \sum_{i=1}^{n} p_{i} \cdot H(q) \\ &= \sum_{i=1}^{n} p_{i} (-\log{q_{i}}) \end{aligned}$
相对熵也叫互熵/交叉熵/鉴别信息/Kullback 熵/KL 散度/K-L 距离…
它衡量的是两个事件的概率的差异距离 (等于 0 时两事件概率相同)
$\begin{aligned} 相对熵 D_{KL}(P||Q) &= \sum_{i=1}^{n} p_{i} (H(p_i)-H(q_i)) \\ &= \sum_{i=1}^{n} p_{i} ((-\log{p_{i}})-(-\log{q_{i}})) \\ &= \sum_{i=1}^{n} p_{i} (-\log{q_{i}}) - \sum_{i=1}^{n} p_{i} (-\log{p_{i}})) \\ &= H(P,Q) - \sum_{i=1}^{n} p_{i} (-\log{p_{i}})) \end{aligned}$

单位

经典熵底数为 2,单位为 bit
在做数据分析时有用 e 为底数的定义, 单位为 nat (奈特)
$H(p) = -k \sum_{i=1}^{n} p_{i} \ln p_{i}$

极化码

信道容量-最大互信息

信道容量(Channel Capacity) 也叫最大互信息
互信息: 它是一个随机变量包含另一个随机变量信息量的度量
比如一条河从 A->B 端, 但只有 70% 的河水能流到 B,其他的河水流失了; 那么在这里 A->B 端河水的互信息为 70%
当然, 互信息的度量单位并不是百分比, 概念上也略有偏颇
视频中的例子: X->Y 传递信息熵为 H(X) 的信息, 传递过程中丢失/不能还原的信息熵为 H(X|Y), 那么
$互信息: I(X|Y) = H(X) - H(X|Y)$
什么是信道/信道容量? 举个栗子:
有个工厂里有好多流水线从 A->B 处输送产品; 每条流水线可以理解为是一个信道
流水线运输速度太快会使产品不合格,需要限制在 T 时间内运输 N(T) 件产品才可以保证质量; 同样道理通信时一味地加速发送会使通信状态变差,也需要限制在一定范围之内,这个范围就是信道容量
(理论条件下,单位时间内可以传过去的信息量)
$信道容量: C=\operatorname{Lim}_{T \rightarrow \infty} \frac{\log N(T)}{T}$

香农极限

实际条件下,通信接收方会因为丢包/信号干扰/磁场等噪声无法接收到部分信息,导致无法真实达到信道容量

香农提出通过合适的编码,信道容量 C 可以被尽可能的无限逼近,但对于大于 C 的速率不成立.即香农极限(香农提出,后人证明)

经典教材计算机网络也有提及

极化码-PolarCodes

核心思想: 通过异或操作把信息分流
通过异或操作,把信道一/二两个实际信道转换成信道 $W^-/W^+$
这里可能会疑惑信道 $W^+$ 第四种情况 “U2=U1=Y1” 中 U1 从何得知?
实际上这里我们让 $W^-$ 信道不传输信息,U1 是通信双方预先约定好的内容
当处理的码长(信道数)足够多时,好信道的互信息会无限逼近 1 ^[1]
当然凡事不是越多越好:
1. 这里信息传输的条件是信道连接能保持稳定
2. 每增加信道数,需要做的处理指数级增长