エントロピー(entropy) エントロピー(entropy)：確率変数がどの値を取るかを言い当てにくさ(乱雑さ)、不確かさを測る尺度。 確率変数を持つ離散分布に対して、確率変数のエントロピーは ※はロピタルの定理から? ここで、ギブスの不等式より、とすれば、 エン…