企业官网建设流程全解析

终极Recog XML指纹编写指南：从模式定义到参数提取

【免费下载链接】recogPattern recognition for hosts, services, and content项目地址: https://gitcode.com/gh_mirrors/re/recog

Recog是一个强大的模式识别框架，专为识别主机、服务和内容而设计。这个开源项目通过XML指纹文件来匹配网络服务返回的各种数据，帮助安全研究人员和网络管理员快速识别目标系统的软件版本、操作系统和设备类型。在本篇完整指南中，我将带您深入了解如何编写高质量的Recog XML指纹，从基础模式定义到高级参数提取技巧。

📋 Recog指纹基础结构

每个Recog XML指纹文件都遵循特定的结构规范，位于项目的xml/目录中。让我们从一个简单的示例开始：

<?xml version='1.0' encoding='UTF-8'?> <fingerprints matches="http_header.server" protocol="http" database_type="service" preference="0.90"> <fingerprint pattern="^Apache/([\d.]+)"> <description>Apache HTTP Server</description> <example service.version="2.4.38">Apache/2.4.38</example> <param pos="0" name="service.vendor" value="Apache"/> <param pos="0" name="service.product" value="HTTPD"/> <param pos="0" name="service.family" value="Apache"/> <param pos="1" name="service.version"/> </fingerprint> </fingerprints>

🎯 核心元素解析

1. fingerprints根元素

   • matches属性：标识指纹数据库类型，如http_header.server
   • protocol属性：指定协议名称，如http、ssh、ftp
   • database_type属性：定义数据库类型，常用值有service和util.os
   • preference属性：优先级设置，范围0.0-1.0

2. fingerprint元素

   • pattern属性：正则表达式模式，用于匹配目标数据
   • flags属性（可选）：正则表达式标志位

3. description元素

   • 提供人类可读的指纹描述信息

4. example元素

   • 包含测试用例，验证指纹匹配是否正确
   • 可添加属性来验证参数提取结果

5. param元素

   • pos属性：捕获组位置，0表示静态值
   • name属性：参数名称
   • value属性：参数值，支持变量插值

🔧 正则表达式模式编写技巧

基础模式匹配

Recog使用正则表达式进行模式匹配，以下是一些实用技巧：

<!-- 简单字符串匹配 --> <fingerprint pattern="^nginx$"> <description>nginx web server</description> <example>nginx</example> <param pos="0" name="service.product" value="nginx"/> </fingerprint> <!-- 版本号提取 --> <fingerprint pattern="^nginx/([\d.]+)$"> <description>nginx with version</description> <example service.version="1.18.0">nginx/1.18.0</example> <param pos="0" name="service.product" value="nginx"/> <param pos="1" name="service.version"/> </fingerprint> <!-- 复杂模式匹配 --> <fingerprint pattern="^Microsoft-IIS/([\d.]+) \(([^)]+)\)$"> <description>Microsoft IIS with OS info</description> <example service.version="10.0" os.product="Windows">Microsoft-IIS/10.0 (Windows)</example> <param pos="0" name="service.vendor" value="Microsoft"/> <param pos="0" name="service.product" value="IIS"/> <param pos="1" name="service.version"/> <param pos="2" name="os.product"/> </fingerprint>

常用正则表达式模式

📊 参数提取与变量插值

基础参数提取

<fingerprint pattern="^OpenSSH_([\d.]+)(?:p\d+)?"> <description>OpenSSH server</description> <example service.version="8.4">OpenSSH_8.4</example> <example service.version="7.9">OpenSSH_7.9p1</example> <param pos="0" name="service.vendor" value="OpenBSD"/> <param pos="0" name="service.product" value="OpenSSH"/> <param pos="1" name="service.version"/> </fingerprint>

高级变量插值

Recog支持在参数值中使用变量插值，这在处理复杂的产品名称时特别有用：

<fingerprint pattern="^Eltex (TAU-\d+[A-Z]*(?:\.IP)?)$"> <description>Eltex TAU model VoIP gateway</description> <example hw.product="TAU-72">Eltex TAU-72</example> <example hw.product="TAU-1.IP">Eltex TAU-1.IP</example> <param pos="0" name="os.vendor" value="Eltex"/> <param pos="0" name="os.product" value="{hw.product} Firmware"/> <param pos="0" name="os.device" value="VoIP Gateway"/> <param pos="0" name="hw.vendor" value="Eltex"/> <param pos="1" name="hw.product"/> <param pos="0" name="hw.device" value="VoIP Gateway"/> </fingerprint>

临时变量使用

使用_tmp.前缀创建临时变量，这些变量不会出现在最终输出中：

<fingerprint pattern="^foo baz switchThing-(\d{4})$"> <description>NetCorp NX series switches</description> <example hw.product="NX8200">foo baz switchThing-8200</example> <param pos="0" name="hw.vendor" value="NetCorp"/> <param pos="0" name="hw.product" value="NX{_tmp.001}"/> <param pos="1" name="_tmp.001"/> </fingerprint>

🧪 测试用例编写最佳实践

基本测试用例

<fingerprint pattern="^MySQL Community Server - GPL \(([\d.]+)\)$"> <description>MySQL Community Server</description> <!-- 简单测试用例 --> <example>MySQL Community Server - GPL (5.7.32)</example> <!-- 带验证属性的测试用例 --> <example service.version="5.7.32">MySQL Community Server - GPL (5.7.32)</example> <!-- 多个测试用例 --> <example service.version="8.0.23">MySQL Community Server - GPL (8.0.23)</example> <param pos="0" name="service.vendor" value="Oracle"/> <param pos="0" name="service.product" value="MySQL"/> <param pos="1" name="service.version"/> </fingerprint>

Base64编码测试用例

对于包含不可打印字符的测试数据，可以使用Base64编码：

<fingerprint pattern="^\x00\x00.*"> <description>Binary protocol example</description> <example _encoding="base64"> dGllczGEAAAAlQQWMS4yLjg0MC4xMTM1NTYuMS40LjgwMAQuZGF0YS5yZW1vdmVkLjCEAAAAK AQdZG9tYWluQ29udHJvbGxlckZ1bmN0aW9uYWxpdHkxhAAAAAMEATc= </example> </fingerprint>

外部文件测试用例

对于较长的测试数据，可以使用外部文件：

<fingerprint pattern="^HTTP/1\.1 200 OK.*Server: Apache.*$"> <description>Apache full HTTP response</description> <example _filename="apache_response.txt"/> </fingerprint>

文件结构：

xml/ http_servers.xml http_servers/ apache_response.txt

📁 指纹文件组织与管理

文件命名规范

Recog项目中的指纹文件按照协议和功能进行组织：

数据库类型选择

在fingerprints根元素中设置合适的database_type：

<!-- 服务识别 --> <fingerprints matches="ssh.banner" protocol="ssh" database_type="service" preference="0.85"> <!-- 操作系统识别 --> <fingerprints matches="util.os" protocol="tcp" database_type="util.os" preference="0.50">

🛠️ 实用工具与验证

使用recog_match测试指纹

# 测试单个指纹匹配 echo -n 'Apache/2.4.38' | bin/recog_match xml/http_servers.xml - # 批量测试 cat test_banners.txt | bin/recog_match xml/http_servers.xml -

指纹验证工具

Recog提供了recog_verify工具来验证指纹文件的正确性：

# 验证单个指纹文件 bin/recog_verify xml/http_servers.xml # 验证所有指纹文件 find xml -name "*.xml" -exec bin/recog_verify {} \;

常见验证错误

1. XML语法错误：确保XML格式正确
2. 正则表达式错误：测试正则表达式是否有效
3. 参数引用错误：检查变量插值是否正确
4. 测试用例不匹配：确保example能匹配pattern

🔍 高级技巧与最佳实践

1. 优先级设置策略

<!-- 高优先级：常见且精确的指纹 --> <fingerprints matches="http_header.server" preference="0.90"> <!-- 中优先级：一般指纹 --> <fingerprints matches="ftp_banners" preference="0.75"> <!-- 低优先级：备用或实验性指纹 --> <fingerprints matches="experimental" preference="0.20">

2. CPE标识符生成

Recog支持自动生成CPE标识符：

<fingerprint pattern="^Apache/([\d.]+)"> <description>Apache HTTP Server</description> <example service.version="2.4.38">Apache/2.4.38</example> <param pos="0" name="service.vendor" value="Apache"/> <param pos="0" name="service.product" value="HTTPD"/> <param pos="0" name="service.family" value="Apache"/> <param pos="1" name="service.version"/> <param pos="0" name="service.cpe23" value="cpe:/a:apache:http_server:{service.version}"/> </fingerprint>

3. 多协议支持

<!-- 支持多个协议的通用指纹 --> <fingerprints matches="generic.banner" protocol="tcp" database_type="service"> <fingerprint pattern="^Product: ([\w\s]+) v([\d.]+)$"> <description>Generic product banner</description> <example service.product="MyApp" service.version="1.0">Product: MyApp v1.0</example> <param pos="1" name="service.product"/> <param pos="2" name="service.version"/> </fingerprint> </fingerprints>

📈 性能优化建议

1. 正则表达式优化

<!-- 优化前：低效的正则 --> <fingerprint pattern="^.*Apache.*/([\d.]+).*$"> <!-- 优化后：高效的正则 --> <fingerprint pattern="^Apache/([\d.]+)">

2. 避免过度匹配

<!-- 不推荐：过于宽泛 --> <fingerprint pattern="^.*server.*$"> <!-- 推荐：精确匹配 --> <fingerprint pattern="^Apache.*Server.*$">

3. 合理分组测试用例

为每个指纹提供2-3个代表性的测试用例，覆盖不同版本和变体。

🚀 实战示例：编写完整的指纹文件

让我们创建一个完整的HTTP服务器指纹文件：

<?xml version='1.0' encoding='UTF-8'?> <fingerprints matches="http_header.custom" protocol="http" database_type="service" preference="0.80"> <!-- 自定义Web框架识别 --> <fingerprint pattern="^MyFramework/([\d.]+) \(Python/([\d.]+)\)$"> <description>MyFramework Python web framework</description> <example service.version="1.2.0" os.product="Python/3.8.5">MyFramework/1.2.0 (Python/3.8.5)</example> <example service.version="2.0.1" os.product="Python/3.9.0">MyFramework/2.0.1 (Python/3.9.0)</example> <param pos="0" name="service.vendor" value="MyCompany"/> <param pos="0" name="service.product" value="MyFramework"/> <param pos="1" name="service.version"/> <param pos="2" name="os.product"/> </fingerprint> <!-- 嵌入式设备识别 --> <fingerprint pattern="^Embedded-Web-Server v([\d.]+) on ([\w\s]+)$"> <description>Embedded web server on specific hardware</description> <example service.version="3.1" hw.product="Raspberry Pi 4">Embedded-Web-Server v3.1 on Raspberry Pi 4</example> <param pos="0" name="service.product" value="Embedded-Web-Server"/> <param pos="1" name="service.version"/> <param pos="2" name="hw.product"/> <param pos="0" name="hw.device" value="Embedded Device"/> </fingerprint> </fingerprints>

🎯 总结与下一步

通过本指南，您已经掌握了Recog XML指纹编写的核心技能。从基础的模式匹配到高级的参数提取，从简单的测试用例到复杂的变量插值，您现在可以：

1. ✅ 创建规范的XML指纹文件
2. ✅ 编写高效的正则表达式模式
3. ✅ 提取和转换匹配参数
4. ✅ 添加全面的测试用例
5. ✅ 优化指纹性能和准确性

要深入了解Recog的更多功能，请查看项目中的其他指纹文件作为参考，特别是xml/http_servers.xml和xml/ssh_banners.xml这两个文件包含了丰富的实际示例。

记住，好的指纹应该：

• 🎯 精确匹配目标数据
• 📊 提取有用的信息
• 🧪 包含充分的测试用例
• ⚡ 保持高性能
• 🔄 易于维护和更新

现在就开始为您的项目创建自定义指纹吧！通过实践这些技巧，您将能够构建强大的识别系统，准确识别网络中的各种服务和设备。

【免费下载链接】recogPattern recognition for hosts, services, and content项目地址: https://gitcode.com/gh_mirrors/re/recog