什么是信息熵-什么是信息熵

信息熵这东西，对于搞科研的要么做数据分析的来说，实际上挺抽象的，它不像光波那样一眼就能看到，更像是一个看不见的“混乱指数”，用来衡量那堆凌乱无章的数据到底有多少“不确定性”要么“信息量”。 想象一下你手里拿着一箱刚拆封的快递，里面全是拆开的信封、散落的信件和没拆的袋子。
这时候，门牌号、收件人、事由这些关键信息全都不见了，你只能翻箱倒柜地找，彻底不知道接下来会形成啥，要么知道啥。
这时候，整个系统的“不确定性”就最大，对吧？这种混乱程度，就是信息熵最大的时候。
反过来想，要是你把那箱东西整理得整规整齐，每个信封都有个清楚的标签，你知道这箱快递里到底装的是啥商品，数量多少，就连还能预测下一个要送啥，那不确定性就最小了，信息熵也就变小了。 在信息论的框架里，我们常常用一种叫“负熵”要么“信息量”来衡量这个程度。
这个“信息量”说白了，就是“少走了多少弯路，少猜错了多少次”。
比如你在猜一个密码，你猜对了，你确实少猜了一步，也就是获取了一点点信息；但你猜错了，你多走了好几步，反而没拿到多少信息，就连白白浪费了一次机会。
故此，信息熵低，意味着你对系统的了解挺深，要么系统本身就挺规律；信息熵高，说明你对系统了解极少，情况贼不明朗。 这就好比你在打扑克牌，你能够看看牌面，知道这一手大约能博多少分，牌型大约是啥。
这时候你的信息量就不大，出于你已经“猜”出来大局部的结构了。但你手里牌型乱七八糟，反正都不知道如何出，这个牌局的信息量就极高。
要是这时候你突然有人告诉你：“这张黑桃三，是必出的牌”，那你的信息熵就瞬间掉下来了，出于你目前知道了大量确定的信息。再比如天气预报，平时你看着天气图猜降雨概率，信息量有限；一旦气象局发布确切预报，你就知道了落雨工夫、地点、强度，信息量就爆炸式增长了。 再打个比方，咱们平时上网，有时候搜一个词，连个结局都没有，系统就给你个“无结局”要么乱码，这时候搜索请求里传递的信息量挺小，出于系统根本不知道你要找啥。但一旦你搜进了数据库，哪怕只是首条结局，系统也能告诉你大约是啥，哪怕这只是个初筛，你依然能从中获取到有价值的信息。
要是数据库里全是垃圾数据，你搜索半天也找不到有用信息，那系统的“噪声”就忒大了，这就叫高信息熵。
反之，要是数据库里全是经过清洗的、结构明确的规范数据，你输入就能秒出精准结局，那这就接近零熵的状态。 在机器学习和深度学习里，我们常提到“特征工程”要么数据清洗，说白了就是为了下降数据的熵，让模型更好办搞懂。
要是你拿一堆乱糟糟的原始数据扔给神经网络，它就像是在瞎蒙，每层训练都像是在猜谜，出于数据忒乱，它无法建立稳定的规律。
这时候，算法就面临一个难题：到底是把噪声当成信号，还是干脆扔掉？大量模型发现，要是数据熵忒高，它就会陷入“过拟合”，也就是死记硬背，学到了数据里那些细碎的、偶然的波动，而不是数据背后的真规律。
这时候，要是略微降噪一点，把那些重复的、无涉紧要的噪声删掉，剩下的规律就清楚多了，模型的训练效果就会蹭蹭涨。 举个具体的例子，咱们看一个电商订单数据。原始数据可能包含成千上万条记录，每一行都有价格、数量、用户 ID、工夫戳，就连包含一些无涉的随机字符。
这时候，要是你试图直接用这些原始数据去训练一个销量预测模型，你会发现模型往往学不到啥，出于它被那些无涉的随机干扰淹没了。
这时候，要是你做一个好办的“去重”要么“抽样”，只保留前几个主要的用户订单，要么过滤掉那些价格波动挺小的记录，你就大大下降了数据的熵。你会发现，预测模型一启动就能准预测出大约的销量，就连能识别出哪些是高潜用户。
这就是通过下降信息熵，提升了系统的可预测性。 还有人在用熵来评价一个数据集的“健康度”。
要是熵挺低，说明数据忒规整划一，忒规律，这往往意味着数据质量挺差，要么样本忒少，就连可能形成了系统性偏差。
比方说，你的实验数据里，A 组所有人都得了高症，B 组所有人都没症，这种极端的情况，别看看起来挺怪，但从信息熵的角度看，可能意味着你把样本过滤得忒干净利落，要么你观察到的现象就忒单一了，少了充足的多样性。
这时候，研究者就会去想办法引入更多的变量，要么扩大样本基数，来增添数据的“混乱度”和丰富性，让模型有机会去发现那些隐藏在凌乱背后的复杂关系。 自然，把数据降熵不是坏事。
有时候，我们故意引入一点随机性要么杂音，是为了让系统变得更鲁棒一点，不那么好办被骗，要么为了测试系统的极限承受本事。
这就像给系统加一点点噪声，别看让它看起来有点乱，但这让它在面对真世界的复杂混乱时，反而能表现得更从容，出于它不再是一个完美的、僵化的小模型，而是一个更像真世界的、有弹性的系统。 最终说句实在话，信息熵这东西，实际上不是一味地追求低。它更像是一个尺子，一把好尺子能帮你精准地定位难题所在。
有时候数据忒乱，根本没法分析；有时候数据忒规整，可能掩盖了关键的风险点。
故此，甭管是做数据挖掘、做机器学习，还是做系统架构，咱们都得学会如何在这个“混乱”与“有序”之间找那个平衡点。别急着把数据压缩得忒死板，也别让它忒乱，得让它既有规律可循，又保留了充足的弹性空间，这样，你的分析才能走得更远，你的模型才能活得更久。