1. 实验背景与核心发现
最近安全研究员Kasra Rahjerdi进行了一项引人深思的实验:测试主流AI模型在移动应用安全测试中的实际表现。他构建了一个名为BookNook的React Native应用,故意植入Firebase相关的安全漏洞,然后让包括GPT-5.5、Claude、Gemini等在内的十余款大模型尝试发现并利用这个漏洞。
实验结果显示,GPT-5.5以70%的成功率领先,而部分模型甚至得0分。这个结果不仅展示了当前AI在安全测试领域的能力差异,也揭示了不同模型在漏洞挖掘思路上的显著区别。
关键发现:成功模型往往能快速识别Firebase这一关键攻击面,而失败模型则容易陷入API分析的死胡同。
2. 实验设计与技术细节
2.1 测试环境搭建
Kasra使用Expo框架构建了一个React Native应用,后端采用Python开发。这个名为BookNook的应用表面上是读书社区,实际上包含精心设计的漏洞:
- 前端:React Native构建的跨平台移动应用
- 后端:Python实现的API服务
- 数据存储:Firebase实时数据库
- 漏洞类型:Firebase权限配置错误
测试包包含:
- 完整的APK安装包
- 应用功能说明文档
- 明确的任务目标:获取指定用户的私有书评内容
2.2 测试参数设置
为确保公平性,所有模型采用统一配置:
- 推理模式:最高精度
- Temperature:0.7
- 单次预算上限:10美元
- 单次最长运行时间:2小时
- 最大测试次数:10次
实际测试中,部分模型因成本问题未能完成全部轮次。值得注意的是,Kasra已获得OpenAI的安全研究授权,因此GPT系列不会因涉及安全分析而拒绝任务。
3. 模型表现深度分析
3.1 优胜者:GPT-5.5的技术路径
GPT-5.5的成功可归因于以下几个关键行为模式:
快速定位关键攻击面:
- 平均在解压APK后5分钟内识别Firebase配置
- 优先检查Firebase安全规则而非API接口
- 准确判断出数据库权限配置错误
高效的资源分配:
- 将主要计算资源用于验证Firebase漏洞
- 避免在客户端逆向工程上过度消耗Token
- 平均每次测试消耗约40万Token
稳定的攻击路径:
# GPT-5.5典型的攻击流程 1. 解压APK获取Firebase配置 2. 分析google-services.json中的项目ID 3. 构造未经认证的Firebase数据库请求 4. 直接读取目标用户的私有书评数据
3.2 其他模型的表现差异
3.2.1 DeepSeek V4 Pro
- 成功率:30%
- 优势:成本效益高(平均0.19美元/次)
- 问题:50%的测试完全忽略Firebase
3.2.2 Claude系列
- 典型行为:接近成功时被安全策略中断
- 记录显示多次在最后一步失败
- 可能原因:安全对齐策略过于保守
3.2.3 Gemini系列
- 3.1 Pro:直接拒绝任务(仅消耗9000Token)
- 3.5 Flash:接近关键步骤时触发安全策略
3.2.4 中国模型特点
- Qwen 3.7 Max:过度关注API漏洞
- Kimi K2.6:唯一一次测试即成功
- 共同特点:更积极地尝试数据库操作
4. 技术难点与突破
4.1 关键挑战解析
APK分析复杂度:
- React Native应用的混合特性
- 需要同时理解Java和JavaScript代码
- 资源文件分布在多个位置
Firebase漏洞特征:
// 典型的错误配置示例 { "rules": { "users": { "$uid": { "private_reviews": { ".read": "true" // 错误地设置为公开可读 } } } } }环境认知难度:
- 需要理解移动应用、后端API和云服务的完整架构
- 准确判断各组件间的信任边界
4.2 成功模型的技术共性
优先检查云服务配置:
- 快速定位google-services.json
- 解析Firebase项目ID和API密钥
最小化逆向工程:
- 不过度分析React Native打包的JS代码
- 聚焦于可快速验证的攻击路径
有效的假设验证:
- 先构建理论攻击模型
- 再设计最小化验证方案
5. 实操建议与避坑指南
5.1 针对AI安全测试的优化建议
模型选择:
- 优先考虑具有长上下文能力的模型
- 验证模型对安全任务的接受度
提示工程技巧:
- 明确提供关键文件位置提示 - 分阶段设置子目标 - 建议采用"假设-验证"的工作流成本控制方法:
- 设置严格的Token预算
- 监控实时消耗并设置警报
- 考虑使用成本更低的模型进行初步筛选
5.2 常见问题解决方案
| 问题现象 | 可能原因 | 解决方案 |
|---|---|---|
| 模型拒绝任务 | 安全策略限制 | 提前获取研究授权 |
| 过度消耗Token | 陷入代码细节 | 提供更明确的引导 |
| 错过关键漏洞 | 攻击面认知偏差 | 人工补充架构说明 |
| 频繁超时 | 低效的分析路径 | 设置中间检查点 |
5.3 移动应用安全自查清单
基于此次实验发现,建议开发者在发布应用前检查:
- Firebase安全规则是否最小化授权
- google-services.json是否包含敏感信息
- API接口是否实施完整的身份验证
- 客户端是否存储不应公开的配置信息
6. 未来展望与技术演进
从这次实验可以看出几个明显趋势:
AI安全测试的可行性:
- GPT-5.5已展现初级安全研究员水平
- 在特定场景下效率可能超过人工
模型间的能力差异:
- 不仅体现在准确率上
- 更反映在分析路径的选择效率
需要突破的瓶颈:
- 长上下文理解能力
- 工具使用的熟练度
- 安全策略的平衡
在实际工作中,我已经发现将AI作为安全分析的辅助工具可以显著提高效率。特别是在处理大量重复性分析任务时,合理引导的AI模型能够快速缩小排查范围。不过目前仍需人工进行最终验证和复杂场景的判断。