企业官网建设流程全解析

请求参数

• 注意：请求提供动态参数后，将会直接覆盖应用配置中的状态值。

返回参数

执行阶段枚举

• 由于模型原因 step_change 值可能为不存在，请尽可能使用持久化的标志step

• 空包情况下 step、step_change、group 字段的值可能不存在

• plan、generation 均由 xxx_start 事件 和 xxx_end 事件两个事件组成

• tool_call 由 tool_call_start、tool_calling、tool_return 三个事件组成

• tool_call_start 表示工具调用开始、tool_calling 表示获取到完整工具调用的参数并会抛出完整的工具调用参数、tool_return 表示工具调用返回结果，同时会携带结构化的工具返回信息。

Agent tool call message和工具名映射

当有工具调用时，在消息中的["extra"]["step"]字段中，会显示“tool_calling_xx”，显示正在调用的工具是什么。具体消息中的工具调用消息和实际的工具名的映射关系如下表所示。

文本问答

多模态问答

相比于文本问答，新增了 2 个工具图搜图，文搜图。

本地生活 POI 工具

工具调用状态信息

参数

工具调用的状态在消息中的["extra"]["step_change"]字段中，工具调用的信息在["extra"]["step_info"]中，工具调用状态和工具调用信息的映射如下：

以联网搜索工具为例，其工具调用的状态信息会经历如下这个状态：

"step_change": "tool_call_start", "step": "tool_calling_search","step_info": "开始调用联网检索工具" "step_change": "tool_calling", "step": "tool_calling_search","step_info": "正在调用联网检索工具" "step_change": "tool_return", "step": "tool_calling_search", "step_info": "联网检索工具调用完成，检索到10个网页"

图文并茂消息协议

在开启图文并茂后，模型输出的消息中，会穿插图片，图片在消息正文中的为 html 标准图片格式，示例如下：

<img src=\"xxx\" data-type=\"image\" data-url=\"xxx\" data-title=\"台风后的杭州:蓝天白云如漫画般清新️\" alt=\"杭州 晴天 蓝天\" width=\"1080\" height=\"1410\">

标签中：

• data-type：数据类型，image 为图片数据

• src ：图片的 url 地址

• data-url ：图片的来源网址

• data-tile ：图片标题

• width/height ：图片的尺寸宽和高

在包含图片的模型消息中，additional_kwargs 字段中包含了如下两个字段：

• data_type，如果为图文并茂的图片消息，则值为 image

• data_json，包含当前内容相关的所有图片，正文中只显示一张。这里是所有相关图片的集合，数据类型为 json。

  • 在 data_json 中，每张图片的消息体如下所示：

    • idx：图片编号 id

    • url：图片来源网址

    • title：图片标题

    • published：网址发布日期

    • image_info["url"]：图片网址

    • image_info["width"]：图片宽

    • image_info["height"]：图片高

{"idx": 15, "query": "杭州 晴天 蓝天", "url": "xxx", "title": "xx", "published": "2024-11-04 03:04:04", "image_info": {"url": "xxx", "width": 1080, "height": 1410}}

以下展示了图文并茂消息完整的 3 个消息包示例：

data: { "status_code": 200, "code": "", "message": "", "output": { "choices": [ { "finish_reason": "", "message": { "content": "游玩。\n\n", "additional_kwargs": {}, "response_metadata": {}, "type": "ai", "name": null, "id": "run--019e63e4-e728-7421-b3e5-57b408d6d4b0", "example": false, "tool_calls": [], "invalid_tool_calls": [], "usage_metadata": null, "tool_call_chunks": [], "reasoning_content": "", "role": "assistant", "extra": { "group": "generating", "step_change": "", "step": "generating" } } } ] }, "usage": null, "request_id": "chenwen-test-web-search-01" } data: { "status_code": 200, "code": "", "message": "", "output": { "choices": [ { "finish_reason": "", "message": { "content": "<img src=\"http://miaobi-lite.bj.bcebos.com/miaobi/5mao/b%275Y%2Bw6aOO6L%2BH5ZCO55qE5Zu%2B54mHXzE3MzA2NTY4MTMuMTQ0MDA1NQ%3D%3D%27/0.png\" data-type=\"image\" data-url=\"http://mbd.baidu.com/newspage/data/dtlandingsuper?nid=dt_4158884509151638702\" data-title=\"台风后的杭州:蓝天白云如漫画般清新\" alt=\"杭州 晴天 蓝天\" width=\"1080\" height=\"1410\">\n\n\n", "additional_kwargs": { "data_type": "image", "data_json": [ { "idx": 15, "query": "杭州 晴天 蓝天", "url": "http://mbd.baidu.com/newspage/data/dtlandingsuper?nid=dt_4158884509151638702", "title": "台风后的杭州:蓝天白云如漫画般清新", "published": "2024-11-04 03:04:04", "image_info": { "url": "http://miaobi-lite.bj.bcebos.com/miaobi/5mao/b%275Y%2Bw6aOO6L%2BH5ZCO55qE5Zu%2B54mHXzE3MzA2NTY4MTMuMTQ0MDA1NQ%3D%3D%27/0.png", "width": 1080, "height": 1410 } }, { "idx": 16, "query": "杭州 晴天 蓝天", "url": "http://m.dianping.com/ugcdetail/175828244?sceneType=0&bizType=29&msource=baiduappugc", "title": "杭州的天空也太美了吧!", "published": "2023-07-26 00:00:00", "image_info": { "url": "http://qcloud.dpfile.com/pc/VWohABccM5j2sRMTT4YdH7qapT46U8bLlM3Wp-xKeMm3OVoihIkmurvV3052Y9Xt.jpg", "width": 2048, "height": 2731 } }, { "idx": 17, "query": "杭州 晴天 蓝天", "url": "http://m.dianping.com/ugcdetail/175964222?sceneType=0&bizType=29&msource=baiduappugc", "title": "杭州蓝天白云很美,只是每次去人都要晒黑两", "published": "2023-07-27 00:00:00", "image_info": { "url": "http://qcloud.dpfile.com/pc/6ScKLghe1ZcE15OpzbomPigY1VkO6o_UTx9z6UB_BoNtf5OGAsnbF-AFIAJjozRl.jpg", "width": 2048, "height": 2731 } } ] }, "response_metadata": {}, "type": "ai", "name": null, "id": "run--019e63e4-e728-7421-b3e5-57b408d6d4b0", "example": false, "tool_calls": [], "invalid_tool_calls": [], "usage_metadata": null, "tool_call_chunks": [], "reasoning_content": "", "role": "assistant", "extra": { "group": "generating", "step_change": "", "step": "generating" } } } ] }, "usage": null, "request_id": "chenwen-test-web-search-01" } data: { "status_code": 200, "code": "", "message": "", "output": { "choices": [ { "finish_reason": "", "message": { "content": "**总结**：", "additional_kwargs": {}, "response_metadata": {}, "type": "ai", "name": null, "id": "run--019e63e4-e728-7421-b3e5-57b408d6d4b0", "example": false, "tool_calls": [], "invalid_tool_calls": [], "usage_metadata": null, "tool_call_chunks": [], "reasoning_content": "", "role": "assistant", "extra": { "group": "generating", "step_change": "", "step": "generating" } } } ] }, "usage": null, "request_id": "chenwen-test-web-search-01" }