Deepseek的Engram是一个条件记忆模块，旨在大语言模型中平衡存储与推理能力。原有模块依赖于基于分词器的token级别$N$-gram哈希，这导致不同分词器的模型需从头训练Engram嵌入。本文提出更改哈希方法，实现不同分词器间Embeddings的兼容。通过视$N$-gram为一种从所有token的字节序列中采样的方式，替换原来的异或哈希为多项式哈希和联合嵌入空间，达到类似性能并实现对分词器无依赖性，即对字节等价token序列哈希等价。
这条 研究论文 信号说明，来自 arXiv cs.CL 的信息已经不只是单点新闻，而是值得放进产品、研究和行业判断里的趋势线索。
arXiv cs.CL 发布了这条关于 研究论文 的更新：Deepseek的Engram是一个条件记忆模块，旨在大语言模型中平衡存储与推理能力。原有模块依赖于基于分词器的token级别$N$-gram哈希，这导致不同分词器的模型需从头训练Engram嵌入。本文提出更改哈希方法，实现不同分词器间Embeddings的兼容。通过视$N$-gram为一种从所有token的字节序列中采样的方式，替换原来的异或哈希为多项式哈希和联合嵌入空间，达到类似性能并实现对分词器无依赖性，即对字节等价token序列哈希等价。
该方法解决了Engram模块对特定分词器的依赖，提升了模型嵌入的复用性和通用性，推动大语言模型在多样化应用中的灵活部署。
研究员、模型团队和技术战略负责人 应该重点关注这条信号，尤其是正在跟踪 research、papers 的团队。
接下来观察这条信号是否出现开发者采用、竞品回应、研究复现、企业部署或政策/平台层面的后续动作。
存储是每个智能代理AI工作流程的重要组成部分。在代理访问企业知识、持久内存及重用键值缓存数据时，存储性能尤为关键。NVIDIA发布的Vera存储基准工具，优化了加密、压缩、完整性检查和恢复过程，提升了AI原生存储系统的整体效率。
通用多模态嵌入（UME）将多样化的多模态输入映射到共享的嵌入空间。现有的UME模型要么通过单次前向编码生成嵌入，要么通过显式推理标记和潜在自回归状态增加计算，导致检索延迟和对中间状态依赖。本文分析了独立训练UME模型每层的正负相似度分离，发现初期层负责多模态上下文化，中后期层形成检索区分特征，最终层映射到嵌入空间。基于此，提出ReLoop-UME，通过早期层一次执行、参数共享的检索形成模块递归重用以及最终映射层，借助可学习检索寄存器在循环间累积和交换证据，并以最终寄存器作为嵌入读出。在MMEB-V2和MRMR数据集上，ReLoop-UME在多种骨干网络下均提升检索性能，且速度分别比UME-R1快44.9倍，比PLUME快1.5倍。
安全关键的生物特征和取证应用需要准确的预测和可靠的置信度估计，尤其在分布偏移条件下。这对深度伪造检测尤为重要，因基础模型常在分布外操作中表现出过度自信，限制实际部署。本文提出一个不确定性感知的深伪检测框架，通过识别互补证据来源间的不一致性来发现伪造。框架集成视觉流（基于改编的CLIP编码器）、语义流（通过可微约束建模面部属性一致性）和结构流（捕捉语义和取证特征间的类别依赖模式）。引入分支间分歧校准（IBDC），一个关联预测不确定性与证据流冲突的机制。大量交叉数据集实验表明，该框架在多个分布外基准上实现了最先进的泛化能力，并持续提升校准和选择性预测性能，证明该方法在分布偏移下为可信赖且校准良好的深伪检测构建了坚实基础。