这项由蚂蚁集团和浙江大学联完成的研究发表于2025年，论文编号为arXiv:2602.14492v1，有兴趣入了解的读者可以通过该编号查询完整论文。

当你开支付宝时，系统是如何瞬间知道该向你荐什么服务的？当银行需要评估你的信用风险时，它又是如何从海量数据中准确判断你的还款能力的？这些看似奇的能力背后，都依赖于项关键技术——用户画像。

传统的用户画像就像是给每个人制作张固定的身份证，论在什么场景下都是同个样子。但现实生活中，你在购物时关心的是价格和品质，在理财时关注的是收益和风险，在社交时重视的是兴趣和话题。同个人在不同场景下会展现出不同的特征和需求。

蚂蚁集团的研究团队注意到了这个问题。他们发现，现有的用户画像系统就像是用把钥匙去开所有的锁——虽然能用，但果并不理想。在支付宝这样的应用中，用户的行为数据其丰富多样，包括支付记录、小程序使用、搜索历史、应用列表等等，但这些数据在不同业务场景下的重要截然不同。

棘手的是，这些数据往往是稀疏的、符号化的，与大语言模型习惯处理的连续文本数据存在巨大差异。就像让个只会读书的人突然去解读密码本样困难。同时，工业的用户画像系统还面临着实时要求、计成本限制严格等现实挑战。

为了解决这些问题，研究团队提出了个创新的解决案——Query-as-Anchor（查询作为锚点）框架。这个名字听起来很技术化，但其核心思想其实很简单：与其为每个用户制作张固定的身份证，不如根据具体的使用场景，为同个用户生成不同版本的画像。

这就像是个智能化的变龙系统。当系统需要进行风险评估时，它会关注用户的支付行为、信用记录等相关信息，而淡化购物偏好等关数据。当进行商品荐时，它又会突出用户的消费习惯、兴趣好，而减少对金融数据的依赖。

、构建工业用户理解数据集

要让AI真正理解用户，先需要教会它什么是"理解"。研究团队面临的个挑战是，市面上缺乏门针对用户画像训练的大规模数据集。现有的大语言模型虽然在文本理解面表现优异，但对于用户行为数据的理解能力相对薄弱。

为了填补这个空白，团队构建了个名为UserU的工业预训练数据集。这个数据集的构建过程可以比作教孩子学习的过程——既要教给他事实知识，也要培养他的理能力。

具体来说，UserU数据集包含两个核心组成部分。部分是基于行为的交互数据集，它通过分析用户的历史行为来预测未来行为。这就像是通过观察个人过去三个月的消费记录，来猜测他下个月可能购买什么。系统会将用户的多模态行为记录整理成时间序列，然后通过特定的模板问题，如"这个用户在下个时期可能的行为是什么？"，来训练模型理解行为模式和时间规律。

二部分加有趣，它是个成的问答数据集。由于现实中很难获得大量质量的用户理解问答对，研究团队采用了种自我反思的成数据生成法。他们先让大语言模型分析72个与生活相关的用户理解主题，比如财务规划、健康管理、购物偏好等。然后，对于每个具体用户，系统会从这些主题中选择相关的10个，并基于用户的实际行为数据生成相应的问题和答案。

重要的是，为了确保答案的准确和致，系统还加入了个"自我反思"机制。生成答案后，模型会重新检查这个答案是否与用户的实际行为数据致，如果发现不匹配或不理的地，就会进行修正。这个过程就像是让AI当自己的老师，不断检查和改进自己的理解能力。

通过这种式，UserU数据集成功地将用户行为数据与语义理解能力结起来，为后续的模型训练提供了坚实的基础。

二、分层次的用户行为编码系统

面对支付宝用户产生的海量多模态行为数据，如何让大语言模型有理解和处理这些信息是个巨大挑战。传统的法要么过于粗糙，丢失了重要的细节信息，要么过于复杂鹤壁橡塑胶，致计率低下。

研究团队设计了个巧妙的分层编码架构，这个系统的工作原理就像是个智能的信息筛选器。它分为三个层次，每个层次都注于不同粒度的信息提取和整。

底层是事件编码，它处理的是原始、细粒度的用户行为数据。每笔支付记录、每次小程序使用、每个搜索查询都被单编码成向量表示。这就像是为每个具体行为贴上个属标签，保留了行为的完整细节信息。

中间层是模态编码，它的作用是对同类型的行为进行汇总和抽象。比如，将个月内所有的支付行为整成个支付模态的总体特征，将所有的搜索记录整成搜索偏好的概括描述。这个过程通过平均池化等技术实现，既保留了关键信息，又显著降低了数据复杂度。

顶层是用户编码，它将所有模态的信息进步整，形成用户的全局行为特征。这就像是从各个角度观察个人后，形成对这个人的整体印象。

这种分层设计的巧妙之处在于，它允许大语言模型根据具体的查询需求，选择地关注不同层次的信息。当需要进行精细分析时，模型可以入到事件别；当需要快速判断时，模型可以依赖用户的抽象特征。这种灵活大大提了系统的率和准确。

重要的是，这个分层架构还通过门的适配器网络，将稀疏的行为数据转换成与大语言模型兼容的密集向量表示，有解决了模态差异问题。

三、查询锚定的双塔训练架构

Query-as-Anchor的核心创新在于它的双塔训练架构。这个设计可以比作个智能的翻译系统，边处理用户的行为"语言"，另边处理业务场景的需求"语言"，然后在中间建立起准确的对应关系。

锚点塔负责处理用户数据和查询指令。它接收前面提到的分层用户行为编码，然后在序列末尾添加个自然语言查询作为"锚点"。这个查询可能是"这个用户的风险如何？"或者"这个用户对外服务的兴趣程度是多少？"等具体的业务问题。通过将查询放在序列末尾，大语言模型就像个业顾问样，会根据具体问题来重新审视和整用户信息，终输出个针对的用户表示。

语义塔则门处理答案信息。它将标准答案或目标结果编码成向量表示，为锚点塔提供学习目标。这两个塔虽然立工作，但共享相同的大语言模型参数，确保它们在同个语义空间内理解和表示信息。

训练过程采用了个精心设计的联优化策略。面，系统使用对比学习来确保相关的用户-查询-答案三元组在向量空间中距离近，而不相关的组距离远。这就像是训练系统识别"物以类聚"的规律。

另面，系统还使用了下词预测任务来增强语义理解能力。锚点塔不仅要生成用户表示，还要能够逐词生成目标答案，这大大提了模型对用户行为层含义的理解能力。

特别值得注意的是，训练过程还加入了个智能的负样本过滤机制。在对比学习中，选择适的负样本至关重要。系统会自动识别和排除那些可能造成误的"假负样本"——即看似不匹配但实际上理的用户-答案组。这种机制显著提了训练果的稳定和准确。

四、场景适应的软提示调优

虽然Query-as-Anchor框架已经具备了很强的场景适应能力，但研究团队发现，在面对具体业务场景时，仍然存在通用预训练与门业务逻辑之间的语义鸿沟。为了解决这个问题，他们引入了个巧妙的软提示调优机制。

这个机制的工作原理就像是给通用模型配备了"智能眼镜"。不同的业务场景对应不同的"镜片"，当模型需要处理特定任务时，就戴上相应的"眼镜"鹤壁橡塑胶，从而能够清楚地看到该场景下的关键信息。

具体来说，软提示调优通过引入少量可学习的提示词向量来实现场景定制化。这些提示词就像是给模型提供的"小抄"，告诉它在当前场景下应该关注哪些信息。重要的是，这个过程只需要训练这些新增的提示词参数，而不需要修改庞大的基础模型参数，因此既又经济。

训练过程采用了基于聚类的原型对比损失函数。系统为每个业务类别维护个可学习的原型中心，训练过程中会将同类用户的表示向对应的原型中心拉近，pvc管道管件胶同时开不同类别的表示。这种设计确保了模型在不同场景下能够形成清晰的决策边界。

令人惊喜的是，通过对比分析软提示调优前后的注意力权重变化，研究团队发现模型确实学会了场景化的信息筛选。比如，在外兴趣预测场景下，模型对支付行为数据的关注度提了26，因为支付数据能反映用户的购买力。而在蚂蚁森林参与度预测中，模型对航路径数据的关注度提升了6.4，因为这类数据能体现用户的应用内活跃度。

五、部署的缓存优化策略

工业应用的个关键要求是能够同时支持多个业务场景的实时理，而且要在严格的延迟限制下完成。Query-as-Anchor框架通过个巧妙的键值缓存优化策略解决了这个挑战。

这个优化策略的核心思想是"次编码，多次使用"。系统将用户行为编码过程分为两个阶段：重计量的用户前缀编码和轻量的查询后缀处理。

在用户前缀编码阶段，系统会将用户的完整行为数据进行次的度编码，生成对应的键值缓存。这个过程虽然计量大，但只需要执行次，生成的缓存可以在多个查询中重复使用。

当需要针对不同场景生成用户表示时，系统只需要处理相应的查询指令，并将其与已缓存的用户前缀进行拼接。由于查询指令通常很短，这个过程的计开销微乎其微。

这种设计带来了显著的率提升。假设需要为同用户生成N个不同场景的表示，传统法需要进行N次完整的编码过程，而Query-as-Anchor只需要次用户编码加上N次轻量的查询处理。当N较大时，率提升非常明显。

在支付宝的实际部署中，这种优化策略使得系统能够用单个额外的L20 GPU就支持个新的业务场景，而传统法可能需要重新部署整个100 GPU的集群。这大大降低了多场景服务的成本和复杂度。

六、的实验验证与果分析

为了验证Query-as-Anchor框架的有，研究团队进行了全位的实验评估，包括离线实验和大规模在线A/B测试。

离线实验覆盖了支付宝生产系统中的10个真实业务场景，分为用户参与度、风险控制和营销敏感度三大类。每个场景都包含约50万个测试样本，确保了评估结果的可靠。

在用户参与度场景中，Query-as-Anchor在所有4个子任务上都取得了佳能。特别是在蚂蚁森林参与度预测中，AUC指标达到了0.9716，相比强基线模型提升了约13。这表明模型能够准确识别哪些用户可能参与环保活动。

风险控制场景的结果加令人印象刻。在反检测中，系统的KS值（用于衡量模型区分能力的关键指标）达到了0.7086，大幅越了传统法。在反洗钱场景中，AUC指标达0.9439，这意味着系统能够以很的准确率识别可疑的资金流动模式。

营销敏感度场景的表现同样出。在敏感度预测中鹤壁橡塑胶，Query-as-Anchor的AUC从基础版本的0.7979提升到软提示调优版本的0.8535，提升幅度接近7。这种改进对于营销具有重大意义，能够显著提营销活动的转化率。

重要的是，消融实验清楚地展示了框架各个组件的贡献。移除对比学习组件后，平均AUC从0.8104下降到0.7667，证明了对比学习在建立用户-场景对应关系中的关键作用。移除分层编码结构后，能也有明显下降，验证了这种设计的有。

大规模在线A/B测试进步证实了系统的实用价值。在智能语音外呼的现金储备广场景中，使用Query-as-Anchor的策略使提取率提了12.5，人均未偿余额增加了5.3。在信贷风险识别场景中，关键的KS指标提升了1.96，这在风控域是个相当显著的改进。

七、技术创新的度剖析

奥力斯    保温护角专用胶批发    联系人：王经理    手机：13903175735（微信同号）    地址：河北省任丘市北辛庄乡南代河工业区

Query-as-Anchor框架的技术创新体现在多个层面，每个创新点都针对工业用户表示学习的特定挑战。

先是数据层面的创新。UserU数据集的构建解决了用户理解训练数据稀缺的根本问题。通过结规则基础的未来行为预测和大语言模型生成的问答理解任务，系统获得了丰富的监督信号。特别是自反思数据生成机制，确保了成数据与真实用户行为的致，这对于提模型的实用至关重要。

架构层面的创新主要体现在分层编码和双塔设计上。分层编码有解决了多模态异构数据的整问题，而双塔架构则实现了行为理解和场景适配的解耦。这种设计不仅提了模型的灵活，还为后续的优化和扩展提供了便利。

训练策略的创新体现在联对比-生成优化目标上。对比学习确保了表示的判别，而生成任务增强了语义理解能力。这种结避了单目标可能致的表示坍缩或语义贫乏问题。

部署优化的创新则解决了工业应用的率需求。键值缓存策略实现了计复用，软提示调优提供了轻量的场景定制化能力。这些创新使得系统能够在保持能的同时，满足大规模部署的成本和延迟要求。

八、实际应用果与业务价值

Query-as-Anchor框架在支付宝的实际部署展现了显著的业务价值。系统目前每日为数亿用户生成个化表示，支撑着风险控制、营销、用户运营等多个核心业务场景。

在风险控制域，系统的部署大大提了检测和反洗钱的准确。传统的规则基础系统往往存在较的误报率，而Query-as-Anchor通过度理解用户行为模式，能够准确地区分正常用户和风险用户。这不仅降低了业务风险，还了正常用户的使用体验。

营销面的改进同样令人印象刻。通过准确地识别用户对不同产品和服务的兴趣程度，系统能够实现的内容荐和营销投放。这不仅提了营销活动的转化率，还减少了对用户的骚扰，提升了整体用户满意度。

用户运营场景中，系统能够帮助业务团队好地理解用户需求和行为模式，从而制定有的用户增长和留存策略。比如，通过分析用户对不同的使用模式，可以优化产品设计和布局。

从技术角度来看，Query-as-Anchor的部署也带来了显著的运维益。传统的多场景用户表示系统需要为每个场景维护立的模型，致系统复杂度、维护成本大。而Query-as-Anchor通过统的框架支持多个场景，大大简化了系统架构和运维流程。

九、局限分析与未来展望

尽管Query-as-Anchor框架取得了显著成功，但研究团队也诚实地分析了其局限和改进空间。

先是模型规模的悖论问题。实验发现，在固定的训练数据和计预下，大的模型（1.5B和3B参数）并不定带来好的能，有时甚至出现能下降。这种现象被称为"嵌入缩放悖论"，表明嵌入质量的提升多依赖于训练数据的质量和多样，而非简单的参数增加。

其次是跨域泛化能力的限制。虽然系统在支付宝生态内表现优异，但在迁移到其他平台或域时可能面临适应挑战。这主要是因为不同平台的用户行为模式和业务逻辑存在差异。

另外，软提示调优虽然提供了场景定制化能力，但对于快速变化的业务需求，仍然需要定的重训练时间。如何实现加灵活和快速的场景适配仍是个待解决的问题。

针对这些局限，研究团队提出了几个重要的未来研究向。先是探索梯度恢复和自适应参数调优技术，以克服大模型训练中的优化平台期，从而充分发挥大模型的潜力。其次是研究加通用的跨域迁移法，使系统能够容易地适应不同的应用场景。

此外，团队还计划探索加动态的场景适配机制，比如基于元学习的快速适应法，以及实时的用户行为模式检测和适配技术。这些创新有望进步提升系统的灵活和实用。

说到底，Query-as-Anchor框架代表了用户表示学习域的个重要进展。它不仅解决了工业应用中的多个技术挑战，还为这域的未来发展指明了向。随着技术的不断成熟和完善，我们可以期待看到多基于这框架的创新应用，进步我们的数字生活体验。

这项研究的成功也展示了产学作的力量。通过结蚂蚁集团的丰富应用场景和数据资源，以及学术机构的理论创新能力，研究团队能够开发出既具有理论度又有实用价值的技术案。这种作模式值得在多域广和借鉴。

Q&A

Q1：Query-as-Anchor框架解决了什么核心问题？

A：Query-as-Anchor解决了传统用户画像"刀切"的问题。传统法为每个用户生成固定的表示，法根据不同业务场景调整。而这个框架能根据具体查询（如风险评估或商品荐）动态生成针对的用户表示，就像个智能变龙，在不同场景下展现不同特征。

Q2：这个技术在支付宝的实际应用果如何？

A：在支付宝的大规模A/B测试中，Query-as-Anchor在多个场景都取得显著提升。智能语音外呼场景中提取率提12.5，信贷风险识别的KS指标提升1.96。同时大大降低了系统复杂度，新增业务场景只需个额外GPU，而传统法需要整个100-GPU集群。

Q3：软提示调优技术是如何工作的？

A：软提示调优就像给通用模型配备智能眼镜。不同业务场景对应不同镜片鹤壁橡塑胶，当模型处理特定任务时戴上相应眼镜，就能清楚看到关键信息。它只训练少量提示词参数，不修改基础模型，既又经济。实验显示，外场景下模型对支付数据关注度提26。