TradeTrap 交易智能体可靠性压力测试(arXiv 2025)

原题:TradeTrap: Are LLM-based Trading Agents Truly Reliable and Faithful?

一句话总结:TradeTrap 对市场信息、策略提示、记忆和仓位状态逐点注入扰动;仅篡改流程型智能体看到的持仓,就使总收益从 0.91% 降至 -61.02%、最大回撤升至 91.97%,说明局部状态错误会被闭环放大为灾难性损失。

问题与动机

交易智能体的风险来自整个闭环,而不只是模型单次回答。TradeTrap 把系统分为市场信息、策略制定、组合与账本、交易执行四个组件,对开放工具调用型和固定流程型两类架构施加相同扰动,观察错误如何沿决策链传播。

关键观察 / 隐含假设

  • 观察 1:开放工具调用型智能体更容易放大被污染的新闻;固定流程型智能体对输入噪声较稳,却会盲信被破坏的持仓状态(§4.5)。
    • 依赖假设:两种实现代表各自架构类别,而不是某个提示词或模型的偶然结果。
  • 观察 2:状态篡改不必改变真实成交记录,只要改变智能体读取的仓位,就能造成重复买入或持续卖空(§4.4.2,图 8–9)。
    • 可能失效场景:真实券商的限仓、保证金和订单拒绝可能阻断部分损失路径。
  • 假设 1:一次只启用一种攻击足以识别因果影响。
    • 证据强度:中;有利于归因,但生产事故常由多种故障共同触发。

核心方法

TradeTrap 在相同美国股票历史回放和 5,000 美元初始资金下运行两类智能体。它分别注入伪造新闻、模型上下文协议(Model Context Protocol,MCP)工具劫持、反向提示、持久记忆投毒和状态读取钩子,并从真实执行日志计算收益、回撤、波动率、仓位利用率与集中度。

状态篡改实验把智能体视图与不可修改的真实执行日志分离,这是全文最有价值的设计:系统可以直接测量“智能体认为自己持有什么”和“券商实际持有什么”之间的差异。

设计取舍

  • 单变量注入换取因果解释:便于定位攻击面,但低估组合攻击和自然故障的复杂性。
  • 历史回放换取可复现性:所有条件使用同一价格路径,却不能验证真实接口延迟、拒单与尾部市场冲击。

实验与结果

  • 在一个月、约 100 只 NASDAQ-100 股票的相同价格回放中,伪造新闻使开放工具调用型智能体收益从干净新闻条件的 11.59% 降至 5.26%,Sharpe 比率从 4.34 降至 3.20;流程型智能体仍获得 5.83%(§4.2.1,表 1)。
  • 在相同回放和 5,000 美元初始资金下,反向提示使开放工具调用型智能体收益从 7.81% 降至 0.89%,交易次数从 47 升至 391,最大单资产集中度接近 100%(§4.3.1,表 2)。
  • 在相同回放中,记忆投毒使流程型智能体收益从干净基线的 0.99% 变为 -0.17%,Sharpe 比率从 1.92 变为 -0.24(§4.4.1,表 3)。
  • 在相同回放中,状态篡改使流程型智能体最终净值从 5,000 美元降至 1,928.82 美元;相对干净基线 0.91% 的收益,攻击后总收益为 -61.02%、最大回撤为 91.97%、仓位利用率为 646.86%(§4.4.2,表 4)。

论断—证据表

论断证据评测边界置信度
局部状态错误会形成自强化损失§4.4.2,图 8–9、表 4一个月、约 100 只 NASDAQ-100 股票、无费用和滑点
固定流程能缓冲信息污染§4.2.1,表 1单一流程型实现
两类架构具有不同主要攻击面§4.5 的跨架构比较未做跨模型、跨实现重复

批判性分析

论证链条

论文对“状态视图与真实账本分离会造成损失”的论证最完整;对“架构类别决定脆弱性”的外推较弱,因为每类只有有限实现,模型、提示和风险规则没有交叉控制。

实验可信度

单变量设计和真实日志提高了内部效度,但评价只有一个月,且不含费用、滑点、保证金规则和券商保护。部分年化指标从短窗口外推,绝对值不应视为长期收益证据。

系统性缺陷

执行攻击面在框架中出现,但实验主要覆盖信息、提示和状态;工具超时、重复订单、部分成交、重试语义与崩溃恢复仍未系统测量。

局限与后续工作

  • 局限 1:未证明结论跨模型、跨智能体实现和跨市场稳定。
  • 局限 2:攻击脚本是预设的,未覆盖自然数据修订或异步竞态。
  • 后续工作 1:加入订单重复、乱序结果、部分成交和恢复后重放的故障注入。
  • 后续工作 2:评价签名数据源、双账本对账、风险限额和人工熔断分别能阻断多少损失。

相关