小红书推荐系统评测 Agent：上下文驱动的 LLM-as-Judge 实践

小红书构建了上下文驱动的推荐评测 Agent，以一次推荐请求为最小评测单元，通过确定性规则与 LLM-as-Judge 分工，对用户当时看到的内容做分维度语义判断。系统采用 0/1/2 三档评分，并固定输入快照与评测版本，使结果可比较、可回放、可下钻到具体请求与单篇内容。团队还探索 LLM-as-User 连续用户模拟，目前定位为上线前的离线预筛工具，不替代线上 A/B 实验。