Fay数字人Agent框架实战指南:5个问题连上业务系统
2026/8/24 7:25:08
BulkWrite(批量写入)是MongoDB提供的核心批量操作接口,能够将插入、更新、删除等多个操作打包成一批发送到服务端,大幅减少客户端与服务端的网络往返次数(Round-Trip),相比循环单条操作可提升数倍甚至数十倍的性能。
BulkWrite的使用与优化思路。pymongo(3.12+)为例(Node.js/Java驱动语法逻辑一致)pip install pymongo python-dotenvfrompymongoimportMongoClient,InsertOne,UpdateOne,DeleteOnefrompymongo.errorsimportBulkWriteErrorimporttimeimportrandomimportstring# 1. 连接MongoDB(本地/远程)client=MongoClient("mongodb://localhost:27017/")# 2. 选择数据库和集合db=client["test_db"]collection=db["bulk_demo"]# 清空测试集合(仅测试用)collection.delete_many({})| 操作类型 | 网络往返次数 | 性能特点 | 适用场景 |
|---|---|---|---|
| 循环单条操作 | N次(N=操作数) | 网络开销大、吞吐量低 | 少量操作(<100) |
| BulkWrite批量 | 1次(分块时少量) | 网络开销极小、吞吐量高 | 大量操作(≥100) |
frompymongoimportMongoClient,InsertOne,UpdateOne,DeleteOnefrompymongo.errorsimportBulkWriteErrorimporttimeimportrandomimportstring# 1. 连接MongoDB(本地/远程)client=MongoClient("mongodb://localhost:27017/")# 2. 选择数据库和集合db=client["test_db"]collection=db["bulk_demo"]# 清空测试集合(仅测试用)collection.delete_many({})# 生成测试数据(随机字符串)defgenerate_random_str(length=10):return''.join(random.choice(string.ascii_letters)for_inrange(length))# 测试数据量TEST_COUNT=10000test_data=[{"name":generate_random_str(),"age":random.randint(18,60)}for_inrange(TEST_COUNT)]# ========== 测试1:循环单条插入 ==========start_time=time.time()fordocintest_data:collection.insert_one(doc)single_cost=time.time()-start_timeprint(f"循环单条插入{TEST_COUNT}条耗时:{single_cost:.2f}秒")# 清空集合,准备批量测试collection.delete_many({})# ========== 测试2:BulkWrite批量插入 ==========start_time=time.time()# 构造批量插入操作列表bulk_operations=[InsertOne(doc)fordocintest_data]# 执行批量操作result=collection.bulk_write(bulk_operations)b