元胞自动机预预训练语言模型示意图

概览

先在合成元胞自动机数据上做"预预训练"、再做常规预训练的两栏示意图。这是一张可编辑的 PowerPoint 图，依据 CC BY 4.0 许可改编自论文原图。

图中内容

左栏 Pre-Pre-Training：从自动机空间里的复杂度带采样参数 θ_i，得到规则 f_θi，随时间展开成网格序列 X_i ∈ ℤ^H×W×T_<k；网格转成由浅到深的绿色 token 流送入 LLM，下方是低 / 中 / 高三档复杂度的网格示例。右栏 Pre-Training：网页文本、代码、数学（含简短证明）三张自然语言卡片转成黄到橙的 token 流送入同一个 LLM，下面两张小图：损失随预训练 token 数下降（我们的方法低于基线），以及准确率随自动机复杂度变化（代码与网页文本在不同复杂度达到峰值）。每个方框、箭头、标签和公式都是原生形状，改配色、改文字、拆开单独用都行，适合组会汇报、开题、论文配图和海报。

文件格式

下载包含：.pptx（1 页，13.50 × 8.80 英寸；PowerPoint、Keynote、WPS、LibreOffice 都能打开；Google Slides 也能用，但复杂自由曲线可能略有偏移）、.svg、.drawio。附原尺寸预览图 preview.png，另有 1200 px 网页预览图。

形状与编辑

596 个原生可编辑形状：535 个自选图形、25 个文本框、7 个自由曲线、29 条线条/连接线（另有 4 个小编组）。不含任何嵌入图片，全部矢量。可编辑内容：全部文字和公式（θ_i、f_θi、X_i ∈ ℤ^H×W×T_<k，含 a₁, a₂, …, a_n 和 S_k 的数学卡片）、复杂度带色块、叠放的网格卡片、两条 token 流的每个格子、向下箭头、两个 LLM 条、三张文本卡片（网页文本、带语法高亮的代码、数学）、损失与准确率曲线及坐标轴和标签，以及四个示意网格的每个格子。

嵌入图片与字体

本文件不含任何嵌入图片，全部为矢量。四个元胞自动机网格（展开叠片最前面那张，以及低 / 中 / 高复杂度示例）是用纯色方格拼的矢量示意马赛克（条纹、色块和噪点），不是论文里的像素纹理；需要真实样例时直接把自己的图盖上去即可。正文用 Georgia，公式统一用 Times New Roman（两者 Windows 和 macOS 都自带；LibreOffice 会用等宽度的 Gelasio 和 Liberation Serif 显示）。黑板粗体 ℤ 和居中省略号 ⋯ 用 Cambria Math（随 Microsoft Office 安装），其他软件会自动换成数学字体。上下标是真正的上标 / 下标文字格式，不是公式编辑器对象。SVG 里的文字仍是可编辑文字；draw.io 文件是逐个形状转换的，个别位置可能要微调。本文件是忠实重绘，不是作者的原始源文件。