熵！熵增！！逆熵！！！（1/2）

熵（shāng），

热力学中表征物质状态的参量之一，

用符号S表示，

其物理意义是体系混乱程度的度量！

熵，

最初是根据热力学第二定律引出的，

一个反映自发过程不可逆性的物质状态参量。

热力学第二定律，

是根据大量观察结果总结出来的规律：

在孤立系统中，

体系与环境没有能量交换，

体系总是自发地向混乱度增大的方向变化，

总使整个系统的熵值增大，

此即熵增原理。

摩擦使一部分机械能不可逆地转变为热，

使熵增加，

所以说整个宇宙可以看作一个孤立系统，

是朝着熵增加的方向演变的！

从一个自发进行的过程来考察：

热量q由高温(t1)物体传至低温(t2)物体，

高温物体的熵减少dS1=dq\/t1，

低温物体的熵增加dS2=dq\/t2，

把两个物体合起来当成一个系统来看，

熵的变化是dS=dS2－dS1＞0，

即熵是增加的。

在信息论中，

熵（英语：entropy）是接收的每条消息中包含的信息的平均量，

又被称为信息熵、信源熵、平均自信息量。

这里，

“消息”代表来自分布或数据流中的事件、样本或特征！

（熵最好理解为不确定性的量度

而不是确定性的量度，

因为越随机的信源的熵越大。）

来自信源的另一个特征是样本的概率分布。

这里的想法是，

比较不可能发生的事情，

当它发生了，会提供更多的信息！

由于一些其他的原因，

把信息（熵）定义为

概率分布的对数的相反数是有道理的。

事件的概率分布和每个事件的信息量

构成了一个随机变量，

这个随机变量的均值（即期望）

就是这个分布产生的信息量的平均值（即熵）。

熵的单位通常为比特，

但也用Sh、nat、hart计量，

取决于定义用到对数的底。

采用概率分布的对数，

作为信息的量度的原因是其可加性。

例如，

投掷一次硬币提供了1Sh的信息，

而掷次就为位。

更一般地，

你需要用log2(n)位，

来表示一个可以取n个值的变量。

熵增

??熵增?是?热力学中的一个基本概念，

描述了一个系统从有序状态

向无序状态的自发转变过程。?

熵增定律，

也称为热力学第二定律，

表明在一个封闭系统中，

热量总是从高温物体流向低温物体，

系统的总能量不变，

但可用能量减少，

最终导致系统达到最大混乱状态。

熵增的过程是不可逆的，

意味着系统会逐渐失去其组织结构和功能，

本章未完，点击下一页继续阅读。