标签: 图像生成

在机器学习和信息论中,有一个著名的直觉叫流形假说。 现实世界产生的数据,在名义上往往拥有极高维度:一张高清图片可能对应数百万个像素维度,自然语言、声音、蛋白质序列、行为轨迹也都存在于极其庞大的状态空间中。 但有意义的数据并不会均匀散落在这些空间里,它会被压缩在一个极小、极其特殊的结构区域中。 一张随机生成的百万像素图片几乎不可能恰好构成一张真实人脸,因为自然图像同时受到身份、姿态、光照、透视、物体结构和物理规律等大量约束。 流形,只是…

在机器学习和信息论中,有一个著名的直觉叫流形假说。 现实世界产生的数据,在名义上往往拥有极高维度:一张高清图片可能对应数百万个像素维度,自然语言、声音、蛋白质序列、行为轨迹也都存在于极其庞大的状态空间中。 但有意义的数据并不会均匀散落在这些空间里,它会被压缩在一个极小、极其特殊的结构区域中。 一张随机生成的百万像素图片几乎不可能恰好构成一张真实人脸,因为自然图像同时受到身份、姿态、光照、透视、物体结构和物理规律等大量约束。 流形,只是…

研究者 Phoenix Yin 在 X 上发布长文,用流形假说、互信息、Kolmogorov 复杂度和信息瓶颈串起一条论证:智能成立的前提是现实世界存在可压缩的稳定结构,因此学习在本质上接近压缩,而大模型的记忆、泛化、类比和推理只是同一机制在不同尺度上的表现。这是一篇观点性长文,不是产品发布。