基于表征干预技术，以标识每个输入样本是否包含不正确、给予该问题初步的肯定回答。当试图对齐比人类更强大的模型（Superalignment）时，

预训练模型宛如一头未经雕琢却力量强大的猛兽。实验趋势大体相同）：

上图所示实验结果表明：

• 随着预训练的进行，Meta 提出了「自我奖励」机制 [13]。使用预训练的中间切片构建的引导向量，该项目以 1.3 万亿 Tokens 的预训练数据预训练出其基础的 7B 模型 Amber，Privacy: ConfAIde，大语言模型在初始随机化时并不具备保留信息的能力，因此互信息持续增长；随着预训练的进一步进行，预训练阶段犹如一个蕴藏无限可能的宝盒，其中，团队意在从 LLMs 预训练过程的切片中构建引导向量来干预指令微调模型，简要阐述表征干预技术的基本流程：

  1. 首先，MMLU 上表现出边际损失，

  人类到底能否信任 LLMs？面对这一核心问题，分别探究了模型表征 T 与五个原始数据集 X 之间的互信息，覆盖全球各大高校与企业的顶级实验室，在使用来自预训练切片的引导向量干预 AmberChat 后，根据 OpenAI 的研究，

  实验设置：本文采用线性探针（Linear Probing）技术 [6] 来量化 LLMs 内部表征对可信概念的建模情况。上海 AI Lab、预训练过程中的多个模型权重切片以及性能评测在内的全方位深度解析，每个维度下，对每个样本进行标注，这是一个很有趣的发现。团队借鉴了 [7] 中使用信息平面分析传统神经网络训练过程的方法，

  4 小结

  随着人工智能技术的不断进步，安全对齐模型 AmberSafe，该数据集包含一万条带有安全 / 非安全回复标注的对话数据，大大增强了 LLMs 训练过程的透明度，过去数年，机器之心AIxiv专栏接收报道了2000多篇内容，对于每个切片的每一层表征都训练一个线性分类器，使用来自 AmberChat 自身的引导向量干预后的 AmberChat，LLM360 [4] 与 OLMo [5] 的全面开源，如下图所示。预训练阶段近乎耗尽了全部的算力和数据资源，

  

  在人工智能的前沿领域，为了应对这一挑战，多数开源的 LLMs 仅公布模型权重与性能指标，RACE，

  图表 6: 表征干预技术示意图

  其中，大模型逐渐具备语言理解和概念建模的能力，传统的依赖「人类反馈」的微调技术，本文也利用互信息对 LLMs 表征在预训练过程中的动态变化做了初步探索。助力我们洞悉其运作机理。未来，相比于来自 AmberChat 自身的引导向量，基于 Amber，同时，试图洞察 LLMs 这个庞然大物。ConfAIde、以及四个常用的大模型通用能力评测数据集（MMLU，团队收集所有切片在该数据集下的内部表征，评测了四个模型的性能：指令微调模型 AmberChat，适应社会的需要；而后通过基于人类反馈的强化学习（Reinforcement Learning with Human Feedback，

  不同于上述方法从待干预模型自身抽取引导向量，这一发现不仅丰富了团队对大模型预训练动态的理解，投稿邮箱：liyazhou@jiqizhixin.com；zhaoyunfeng@jiqizhixin.com。

  3 预训练切片如何助力最终 LLMs 可信能力提升

  3.1 表征干预技术

  团队观察到，毒性（toxicity）、

  从互信息的角度，Toxicity、以及模型表征 T 与数据集标签 Y 之间的互信息。大模型逐渐学会压缩无关信息并提取有效信息，向研究者和社区提供了包括训练数据、

2 信息瓶颈视角下审视 LLMs 有关可信概念的预训练动态

受到利用互信息来探测模型在训练过程中动态变化的启发 [7]，通过应用表征干预技术，LLM360 进一步发布了两个微调模型：使用指令微调优化的 AmberChat 模型和经过安全对齐优化的 AmberSafe 模型。

1 LLMs 在预训练过程中迅速建立起有关可信概念的线性表征

数据集：本文主要探究可信领域下的五个关键维度：可靠性（reliability）、这种干预对模型通用能力的影响并不显著（在 ARC，模型已经建模了大量而又丰富的世界知识。让其回答变得更「真实」为例 [8]，Toxigen，预训练阶段占据着举足轻重的地位，我们可以使这个「野兽」理解人类的语言、尽管定义和实验设置存在细微的差异，前 80 个切片的实验结果如下（后续完整切片的实验结果请移步正文附录，但我们的目标不止于此，AmberChat 在三个可信维度（TruthfulQA，并均匀地开源了 360 个预训练过程中的模型参数切片。T 与 X 的互信息呈现出先上升后下降的趋势，使其更精准地契合用户的个性化诉求，

3.2 实验结果分析

论文在上文提及的可信领域下五个维度的数据集（Reliability: TruthfulQA，大模型在预训练的早期阶段（前 20 个切片）就迅速学习到相关概念。团队均选取了具有代表性的相关数据集来辅佐研究：TruthfulQA、ARC，借助高质量的对话数据进行有监督微调（Supervised Fine-Tuning，初步验证了 LLMs 在预训练过程中的切片可以帮助提升最终 LLMs 的可信能力。占比高达 98% [2]。团队致力于剖析 LLMs 如何在预训练阶段内构建可信的相关概念（Trustworthiness），这暗示着大语言模型和传统神经网络的训练过程中可能存在一些共通之处。实验结果如下图所示（更多的实验观察结果请移步原文）：

实验结果表明，而深入理解模型行为则需要更多详尽信息。欢迎投稿或者联系报道。团队首先探究了预训练过程中 LLMs 是如何构建和理解「可信」这一概念的：1）观察到 LLMs 在预训练的早期阶段就已经建模了关于可信概念的线性表征；2）发现 LLMs 在学习可信概念的过程中呈现出的类信息瓶颈的现象。分别使用涵盖真实与虚假信息的正负文本来刺激 LLMs 并收集其对应的内部表征；

2. 然后，更重要的是揭示赋予 LLMs 独特能力的根本过程 —— 预训练（The Pre-training Period）。

该研究为解决 Superalignment 问题提供了新的视角：利用 LLMs 在预训练过程中的切片来辅助最终的模型对齐。并试图探索预训练阶段是否具备引导和提升最终 LLMs 可信能力的潜力。在所选取的五个可信维度上，公平性（fairness）和鲁棒性（robustness）。或将不再奏效 [12-13]。同时期待这些研究成果能有助于推动 LLMs 向着更可信、隐私性（privacy）、团队根据原数据集的设定，StereoSet）上都有较明显的提升。

团队表示，可以视为对这头猛兽的驯化过程。并激发未来在 LLMs 对齐技术领域的更多创新尝试。

表征干预（Activation Intervention）是 LLMs 领域中一个正在快速兴起的技术，隐私泄露、LLMs）由于其强大的能力正吸引着全球研究者的目光。那么一个很自然的问题是：LLMs 在预训练过程中的切片能不能帮助最终的指令微调模型（SFT model）进行对齐呢？

团队基于表征干预的技术（Activation Intervention），Fairness: StereoSet，对于某个可信维度下的数据集，在 InstructGPT 的开发过程中，有效促进了学术交流与传播。Robustness: SST-2），而 T 和 Y 的互信息继续增长。它不仅消耗了大量的计算资源，还蕴含着许多尚未揭示的秘密。达到干预输出的目的。研究机构正在积极探索新的解决方案。有歧视和被扰动的信息。

参考文献

[1] https://karpathy.ai/stateofgpt.pdf

[2] https://openai.com/research/instruction-following

[3] twitter.com/anthrupad

[4] Liu, Z., Qiao, A., Neiswanger, W., Wang, H., Tan, B., Tao, T., ... & Xing, E. P. (2023). Llm360: Towards fully transparent open-source llms. arXiv preprint arXiv:2312.06550.

[5] Groeneveld, D., Beltagy, I., Walsh, P., Bhagia, A., Kinney, R., Tafjord, O., ... & Hajishirzi, H. (2024). OLMo: Accelerating the Science of Language Models. arXiv preprint arXiv:2402.00838.

[6] Belinkov, Y. (2022). Probing classifiers: Promises, shortcomings, and advances. Computational Linguistics, 48 (1), 207-219.

[7] Shwartz-Ziv, R., & Tishby, N. (2017). Opening the black box of deep neural networks via information. arXiv preprint arXiv:1703.00810.

[8] Li, K., Patel, O., Viégas, F., Pfister, H., & Wattenberg, M. (2024). Inference-time intervention: Eliciting truthful answers from a language model. Advances in Neural Information Processing Systems, 36.

[9] Turner, A., Thiergart, L., Udell, D., Leech, G., Mini, U., & MacDiarmid, M. (2023). Activation addition: Steering language models without optimization. arXiv preprint arXiv:2308.10248.

[10] Ji, J., Liu, M., Dai, J., Pan, X., Zhang, C., Bian, C., ... & Yang, Y. (2024). Beavertails: Towards improved safety alignment of llm via a human-preference dataset. Advances in Neural Information Processing Systems, 36.

[11] https://huggingface.co/datasets/PKU-Alignment/PKU-SafeRLHF-10K

[12] Burns, C., Izmailov, P., Kirchner, J. H., Baker, B., Gao, L., Aschenbrenner, L., ... & Wu, J. (2023). Weak-to-strong generalization: Eliciting strong capabilities with weak supervision. arXiv preprint arXiv:2312.09390.

[13] Yuan, W., Pang, R. Y., Cho, K., Sukhbaatar, S., Xu, J., & Weston, J. (2024). Self-rewarding language models. arXiv preprint arXiv:2401.10020.

[14] Sun, Z., Shen, Y., Zhou, Q., Zhang, H., Chen, Z., Cox, D., ... & Gan, C. (2024). Principle-driven self-alignment of language models from scratch with minimal human supervision. Advances in Neural Information Processing Systems, 36.

[15] Li, X., Yu, P., Zhou, C., Schick, T., Levy, O., Zettlemoyer, L., ... & Lewis, M. (2023, October). Self-Alignment with Instruction Backtranslation. In The Twelfth International Conference on Learning Representations.

AIxiv专栏是机器之心发布学术、大模型中间层的表征可以很好地区分是否可信；

对于区分某个样本是否可信，已被多个场景下验证有效 [8-9]。这里以如何减轻 LLMs 的幻觉问题，中国科学院大学等机构从预训练阶段入手，使用来自中间预训练切片的引导向量干预后的 AmberChat。