TG咨询大促开始后，服务器请求量上升并不等于攻击。真正困难的是在正常抢购、搜索和比价流量中，找出由脚本、代理池或账号池产生的异常请求。黑产爬虫流量识别不能只看单个IP是否高频，而要把访问行为、会话关系和业务结果放在一起判断。
以下六项建议适用于服装、家电、食品、票务周边等多种电商场景。实施时应优先采用分级处置，避免把公共网络、企业出口或移动网络中的正常用户一并拦截。
一、先建立大促前后的正常基线
没有基线，就很难判断“异常”。建议在大促前至少记录一段稳定时段的数据，并按页面、接口、用户类型分别统计：每分钟请求数、请求间隔、登录成功率、商品详情访问比例、加购到下单的转化路径，以及响应状态码分布。
大促期间，首页和搜索接口的请求通常会自然增长，但请求间隔仍会有波动；脚本流量则常表现为固定间隔、长时间持续或多个接口同步增长。可以按5分钟、15分钟和1小时三个窗口观察，避免仅凭某一分钟的峰值做出封禁决定。
二、从访问节奏识别自动化特征
黑产爬虫流量识别的第二个重点是节奏。真实用户会在阅读、输入、切换页面时产生不规则停顿，自动化程序更容易出现重复、密集和机械化请求。
- 统计单个会话的请求间隔、连续请求数量和最长空闲时间。
- 比较商品详情、评价、库存、优惠和下单接口的访问比例。
- 筛选在数十分钟内反复访问同一批商品、但几乎没有正常浏览路径的会话。
- 将固定间隔、高并发和异常接口组合起来评分，而不是单独以请求量判定。
例如，连续数百次读取库存接口，却没有搜索、详情停留、购物车操作等前置行为，风险通常高于一个短时间内正常完成购买流程的用户。速率限制可先应用于单会话或单设备，再根据风险逐步收紧。
三、关联设备、账号与代理网络
只看IP容易误判。家庭宽带、校园网和企业网络可能共享出口，而黑产也会通过代理IP分散请求。因此应建立“账号—设备—IP—会话”的关联图，观察一个设备是否在短时间内切换大量账号，或多个账号是否呈现完全相同的访问顺序。
建议重点观察的信号
- 同一设备标识在短时间内登录多个账号，且操作时间高度重叠。
- 多个IP使用相同的设备特征、相同的页面顺序和相近的请求间隔。
- 代理来源频繁变化，但账号、购物车或收货信息之间存在稳定关联。
- 设备环境缺少正常浏览器常见的脚本执行、Cookie更新或页面交互痕迹。
设备指纹不应作为永久封禁依据。更稳妥的做法是将它作为风险分的一部分，并设置较短的观察周期；用户更换浏览器、清理数据或使用隐私模式，都可能造成设备特征变化。
四、检查接口路径与业务顺序
许多爬虫不一定高频访问公开页面，而是直接调用商品列表、库存、优惠或订单相关接口。分析日志时，应把请求路径、调用顺序和权限结果放在同一条会话链路中。
- 列出大促涉及的关键接口，并标注登录前、登录后和下单后的正常调用顺序。
- 筛选绕过页面流程、直接大量调用内部数据接口的会话。
- 检查参数格式、分页方式和返回字段是否长期保持机械一致。
- 对高风险接口实施身份校验、参数校验和按会话限速，避免只在前端隐藏入口。
接口访问异常不等于一定是黑产。例如移动端应用、无障碍工具和搜索引擎可能采用不同调用路径，因此规则上线前应保留人工复核和白名单机制。
五、把业务结果纳入风险判断
仅看流量会漏掉低频但高价值的黑产操作。建议同时检查请求产生的业务结果，例如大量获取优惠资格却很少形成有效订单、反复提交失败的支付请求、频繁取消订单，或集中尝试不存在的商品编号。
可以将异常访问节奏、账号切换、接口绕行、验证码失败、库存查询后无正常转化等信号分别计分。达到较低分值时增加验证，达到中等分值时降低接口频率，只有在多个独立信号同时出现时，才考虑临时阻断。
六、建立分级处置与复盘闭环
黑产爬虫流量识别的结果必须能转化为动作。推荐采用以下流程：
- 采集：保留时间、会话、账号、设备、网络来源、接口、状态码和业务结果等必要字段，并控制数据保存权限。
- 评分：按风险等级标记正常、观察、挑战和阻断，避免“一条规则全站封禁”。
- 处置：低风险采用速率限制，中风险要求重新登录或完成交互验证，高风险临时限制关键接口。
- 复核：比较正常用户通过率、误拦截率、接口延迟和投诉变化，按小时或活动阶段调整规则。
- 复盘：活动结束后保留命中样本与误判样本，区分代理变化、账号滥用和接口设计问题。
处置时还应准备回滚开关。大促流量变化快，规则发布后先小范围观察约10至30分钟，确认正常用户的登录、搜索和支付没有明显受影响，再扩大范围。
常见问题
1. 请求量高就能判定是爬虫吗？
不能。大促时真实用户也会集中刷新和搜索，应结合请求节奏、会话路径、设备关联及业务结果判断。
2. 为什么不直接封禁代理IP？
代理IP可能被多人共享，也可能被正常企业或移动用户使用。IP更适合作为风险信号，不宜单独决定永久封禁。
3. 验证码能解决所有爬虫吗？
不能。验证码可能增加正常用户成本，也可能被自动化绕过。它应与限速、会话分析和接口权限控制结合使用。
4. 小团队应先做哪一项？
优先记录关键接口和会话链路，建立大促前基线，再对高价值接口实施分级限速。这样比一次性部署复杂规则更容易验证效果。
总体来看，黑产爬虫流量识别应从“找一个可疑IP”转向“判断一组行为是否符合正常业务”。以基线、关联分析、业务结果和分级处置形成闭环，才能在保护库存与接口的同时，尽量减少对真实消费者的影响。
