企业官网建设流程全解析

UserCF协同过滤算法：3种相似度度量方法的Python实现与性能对比

推荐系统已经成为现代互联网服务的核心技术之一，而协同过滤算法作为其中最经典的方法，至今仍在各类场景中广泛应用。本文将深入探讨基于用户的协同过滤（UserCF）算法中最关键的相似度计算环节，通过Python代码实现Jaccard、余弦相似度和皮尔逊相关系数三种度量方法，并分析它们在稀疏和稠密数据集上的表现差异。

1. 协同过滤算法基础

协同过滤的核心思想是利用群体智慧进行推荐，主要分为两类：

• 基于用户的协同过滤（UserCF）：通过寻找兴趣相似的用户群体，将相似用户喜欢的物品推荐给目标用户
• 基于物品的协同过滤（ItemCF）：通过分析用户历史行为，推荐与其过去喜欢的物品相似的物品

UserCF算法包含两个关键步骤：

1. 计算用户之间的相似度，找到与目标用户最相似的K个用户
2. 根据相似用户的评分，预测目标用户对未评分物品的兴趣程度

# UserCF算法伪代码示例 def UserCF(user_item_matrix, target_user, k=5): # 步骤1：计算用户相似度矩阵 sim_matrix = calculate_similarity(user_item_matrix) # 步骤2：找到最相似的k个用户 similar_users = find_topk_similar_users(sim_matrix, target_user, k) # 步骤3：预测目标用户对未评分物品的评分 predictions = predict_ratings(user_item_matrix, similar_users) return predictions

2. 相似度度量方法对比

相似度计算是UserCF算法的核心，不同的度量方法会直接影响推荐效果。下面我们详细分析三种主流方法。

2.1 Jaccard相似系数

Jaccard系数适用于仅记录用户是否与物品交互（如点击、购买）的二值数据场景，计算两个用户交互物品集合的交集与并集之比：

$$ sim_{uv} = \frac{|N(u) \cap N(v)|}{|N(u) \cup N(v)|} $$

其中$N(u)$表示用户$u$交互过的物品集合。

def jaccard_similarity(user1_items, user2_items): intersection = len(set(user1_items) & set(user2_items)) union = len(set(user1_items) | set(user2_items)) return intersection / union if union != 0 else 0

特点：

• 仅考虑用户行为的重合度，忽略具体评分
• 计算简单快速，适合大规模稀疏数据
• 对热门物品敏感，可能高估活跃用户间的相似度

2.2 余弦相似度

余弦相似度将用户评分视为向量，通过计算向量夹角的余弦值衡量相似度：

$$ sim_{uv} = \frac{\sum_{i \in I} r_{ui} \cdot r_{vi}}{\sqrt{\sum_{i \in I} r_{ui}^2} \cdot \sqrt{\sum_{i \in I} r_{vi}^2}} $$

from numpy import dot from numpy.linalg import norm def cosine_similarity(user1_ratings, user2_ratings): common_items = set(user1_ratings) & set(user2_ratings) if not common_items: return 0 vec1 = [user1_ratings[item] for item in common_items] vec2 = [user2_ratings[item] for item in common_items] return dot(vec1, vec2) / (norm(vec1) * norm(vec2))

特点：

• 考虑评分大小，能捕捉更细致的用户偏好
• 对评分尺度不敏感，不同评分习惯的用户也可比较
• 计算复杂度高于Jaccard，适合中小规模数据

2.3 皮尔逊相关系数

皮尔逊系数通过中心化处理消除用户评分偏置，衡量评分变化的趋势相似性：

$$ sim_{uv} = \frac{\sum_{i \in I} (r_{ui} - \bar{r}u)(r{vi} - \bar{r}v)}{\sqrt{\sum{i \in I} (r_{ui} - \bar{r}u)^2} \cdot \sqrt{\sum{i \in I} (r_{vi} - \bar{r}_v)^2}} $$

from scipy.stats import pearsonr def pearson_similarity(user1_ratings, user2_ratings): common_items = set(user1_ratings) & set(user2_ratings) if len(common_items) < 2: # 至少需要两个共同评分 return 0 ratings1 = [user1_ratings[item] for item in common_items] ratings2 = [user2_ratings[item] for item in common_items] return pearsonr(ratings1, ratings2)[0]

特点：

• 消除用户评分习惯差异（如严格或宽松的打分者）
• 对异常值敏感，需要足够多的共同评分项
• 计算复杂度最高，适合评分数据丰富的场景

3. 完整Python实现

下面我们实现一个完整的UserCF推荐系统，集成三种相似度度量方法。

3.1 数据准备

使用MovieLens 100K数据集作为示例，包含943名用户对1682部电影的10万条评分（1-5分）。

import pandas as pd from collections import defaultdict # 加载数据 ratings = pd.read_csv('ml-100k/u.data', sep='\t', names=['user_id', 'item_id', 'rating', 'timestamp']) # 构建用户-物品评分字典 user_ratings = defaultdict(dict) for _, row in ratings.iterrows(): user_ratings[row['user_id']][row['item_id']] = row['rating']

3.2 相似度矩阵计算

实现三种相似度计算方法，并构建相似度矩阵。

class UserCF: def __init__(self, user_ratings, sim_method='cosine'): self.user_ratings = user_ratings self.sim_method = sim_method self.sim_matrix = {} def compute_similarity(self, u1, u2): if self.sim_method == 'jaccard': return jaccard_similarity(self.user_ratings[u1], self.user_ratings[u2]) elif self.sim_method == 'cosine': return cosine_similarity(self.user_ratings[u1], self.user_ratings[u2]) elif self.sim_method == 'pearson': return pearson_similarity(self.user_ratings[u1], self.user_ratings[u2]) else: raise ValueError("不支持的相似度计算方法") def build_sim_matrix(self): users = list(self.user_ratings.keys()) for i, u1 in enumerate(users): self.sim_matrix[u1] = {} for u2 in users[:i]: # 利用对称性减少计算 sim = self.compute_similarity(u1, u2) self.sim_matrix[u1][u2] = sim self.sim_matrix[u2][u1] = sim self.sim_matrix[u1][u1] = 1.0 # 用户与自身的相似度为1

3.3 推荐生成

基于相似用户预测目标用户对未评分物品的兴趣。

def predict_rating(self, target_user, item, k=20): if item in self.user_ratings[target_user]: return self.user_ratings[target_user][item] # 找到评分过该物品的相似用户 rated_users = [u for u in self.user_ratings if item in self.user_ratings[u]] if not rated_users: return 0 # 按相似度排序 rated_users.sort(key=lambda u: self.sim_matrix[target_user].get(u, 0), reverse=True) topk_users = rated_users[:k] # 加权平均预测评分 sum_sim = sum_ratings = 0 for user in topk_users: sim = self.sim_matrix[target_user][user] user_mean = np.mean(list(self.user_ratings[user].values())) sum_ratings += sim * (self.user_ratings[user][item] - user_mean) sum_sim += abs(sim) target_mean = np.mean(list(self.user_ratings[target_user].values())) return target_mean + (sum_ratings / sum_sim) if sum_sim != 0 else 0 def recommend(self, target_user, k=20, n=10): # 预测目标用户对所有未评分物品的评分 items_rated = set(self.user_ratings[target_user]) all_items = set().union(*[set(ratings) for ratings in self.user_ratings.values()]) items_unrated = all_items - items_rated predictions = [] for item in items_unrated: pred = self.predict_rating(target_user, item, k) predictions.append((item, pred)) # 返回评分最高的n个推荐 predictions.sort(key=lambda x: x[1], reverse=True) return predictions[:n]

4. 性能对比与分析

我们在MovieLens 100K数据集上对比三种相似度度量的效果，评估指标采用均方根误差（RMSE）和推荐覆盖率。

关键发现：

1. 计算效率：Jaccard最快，皮尔逊最慢，这与算法复杂度一致
2. 预测精度：皮尔逊表现最佳，因其考虑了用户评分偏置
3. 覆盖率：余弦相似度能覆盖更多物品，适合长尾推荐
4. 数据稀疏性影响：
   • 稀疏数据（共同评分少）下，Jaccard更稳定
   • 稠密数据下，皮尔逊能发挥优势

# 稀疏性影响测试代码示例 def test_sparsity_impact(): # 人为控制数据稀疏程度 sparsity_levels = [0.1, 0.3, 0.5, 0.7, 0.9] results = [] for sparsity in sparsity_levels: # 创建不同稀疏度的数据集 sparse_data = make_sparse_data(user_ratings, sparsity) # 测试三种方法 for method in ['jaccard', 'cosine', 'pearson']: model = UserCF(sparse_data, method) model.build_sim_matrix() rmse = evaluate_rmse(model) results.append((sparsity, method, rmse)) return pd.DataFrame(results, columns=['sparsity', 'method', 'rmse'])

5. 工程优化建议

在实际系统中应用UserCF时，还需考虑以下优化方向：

1. 相似度计算加速：

   • 使用物品倒排索引，避免全用户对比较
   • 采用近似最近邻算法（如LSH）降低计算复杂度

2. 冷启动处理：

   def hybrid_recommend(user_id, n=10): if is_new_user(user_id): # 新用户 return popular_items(n) else: # 老用户 return UserCF_recommend(user_id, n)

3. 实时更新策略：

   • 增量更新相似度矩阵，而非全量重算
   • 对活跃用户采用更频繁的更新策略

4. 多维度融合：

   def combined_similarity(u1, u2): jaccard = jaccard_similarity(u1, u2) cosine = cosine_similarity(u1, u2) return alpha*jaccard + (1-alpha)*cosine

UserCF作为经典的推荐算法，虽然面临深度学习等新方法的挑战，但其直观的原理和良好的解释性使其仍在许多场景中具有实用价值。理解不同相似度度量的特性，根据数据特点和业务需求选择合适的实现方式，是构建高效推荐系统的关键。