DennyQi's Blog

DennyQi's Blog

Intelligence is Compression

00 什么是概率

DennyQi · February 27, 2026 · 3 min read

贝叶斯学派认为，概率首先只是degree of belief的一维度量。然后人们总结出这一度量要满足的几条基本性质。然后人们发现这几条基本形式一定会推出一个形式化的概率论体系，kolmogorov总结了这个体系，从而将这个体系还原为了测度论（也就是实分析，因而也就还原到了一阶逻辑）。而在这个纯粹的形式体系内部，概率论证明了大数定律。从形式…

Read more »

01 Information Entropy 2

DennyQi · February 24, 2026 · 48 min read

“信息(information)”是什么呢？提到信息，我们会联想到填表时的个人信息表格，联想到计算机中数字的二进制表示。在日常语言中，我们会这样使用“信息”这一词汇：这一句话是信息量很大的；这是一句废话（信息量几乎为0）；……在自然语言中，“信息”一词和“文字”、“符号”、“句子”、“语言”、“特征”等词语相关联，但并没有精确回答“什么是…

Read more »

2025 海上钢琴师

DennyQi · February 23, 2026 · 3 min read

I think you land people waste a lot of time wondering why. Winter comes and you can't wait for summer, summer comes and you live in dread of winter. That's why you never…

Read more »

© 2026 DennyQi