从协同过滤到深度学习：Spark机器学习实战三部曲

1. 协同过滤Spark推荐系统的基石推荐系统是机器学习最接地气的应用场景之一。我在电商平台做算法优化时发现协同过滤(CF)始终是新手最容易上手的推荐算法。Spark MLlib提供了两种经典实现基于物品的协同过滤(Item CF)和基于用户的协同过滤(User CF)。先说说Item CF它的核心思想是喜欢这个商品的人也喜欢那些商品。举个例子当你在购物网站浏览了一款机械键盘系统会推荐键帽、手托等关联商品。这种推荐方式在Spark中实现起来特别直观val ratings new CoordinateMatrix(parseData) val matrix ratings.toRowMatrix() val similarities matrix.columnSimilarities()这段代码构建了物品相似度矩阵。实际项目中我常用余弦相似度计算物品关联性但要注意处理数据稀疏性问题。有一次我们遇到推荐效果不佳的情况后来发现是用户行为数据太稀疏通过引入时间衰减因子才解决。User CF则是和你相似的人喜欢什么。比如豆瓣读书会根据和你口味相似的用户的书单来推荐。Spark实现时需要转置矩阵val matrix ratings.transpose().toRowMatrix() val similarities matrix.columnSimilarities()两种方法各有优劣Item CF在用户多样性高时表现更好User CF则更适合物品更新频繁的场景。我通常会先用小规模数据测试两种方法的效果再决定采用哪种方案。2. 矩阵分解ALS算法的实战技巧当协同过滤遇到数据稀疏问题交替最小二乘法(ALS)就派上用场了。这个算法通过将用户-物品矩阵分解为两个低维矩阵能发现潜在的特征关联。在Spark中实现ALS特别简单val als new ALS() .setMaxIter(5) .setRegParam(0.01) .setUserCol(userId) .setItemCol(movieId) .setRatingCol(rating) val model als.fit(training)但这里有几个坑要特别注意隐式反馈处理实际项目中很多用户行为是隐式的如浏览未购买需要调整alpha参数冷启动问题新用户或新商品没有历史数据可以设置coldStartStrategy参数参数调优rank(潜在因子数)和regParam(正则化参数)需要交叉验证我做过一个音乐推荐项目通过调整rank从10增加到50推荐准确率提升了18%。但要注意rank不是越大越好太大反而会导致过拟合。3. 分类模型从随机森林到神经网络当推荐系统需要结合更多业务特征时就该分类模型登场了。Spark MLlib提供了丰富的分类算法这里重点说两个实用的。随机森林特别适合结构化数据比如金融风控场景。它的优势是能自动处理特征交互不需要复杂的特征工程。下面是一个贷款风险评估的示例val classifier new RandomForestClassifier() .setImpurity(gini) .setMaxDepth(5) .setNumTrees(20) .setFeatureSubsetStrategy(auto) val model classifier.fit(trainingData)调参时我发现numTrees在20-50之间效果最好继续增加提升有限但计算成本大幅上升。maxDepth一般设置在5-10层太深容易过拟合。对于文本分类这种非结构化数据多层感知器(MLP)表现更好。比如垃圾邮件过滤val layers Array[Int](100,6,5,2) val mlpc new MultilayerPerceptronClassifier() .setLayers(layers) .setBlockSize(512) .setMaxIter(128)网络结构设计有讲究输入层维度要匹配特征向量大小输出层节点数等于类别数隐藏层通常2-3层。我习惯先用小网络快速验证效果再逐步增加复杂度。4. 构建端到端的Spark机器学习管道实际项目很少只用单一算法更多是需要构建完整的数据处理流程。Spark ML的Pipeline API让这个变得简单val pipeline new Pipeline() .setStages(Array( featureAssembler, stringIndexer, rfClassifier )) val model pipeline.fit(trainingData)这种管道化开发有三大优势避免中间数据反复落地提升性能方便模型版本管理和部署支持交叉验证等高级功能我曾用Pipeline重构过一个推荐系统训练时间从4小时缩短到40分钟。关键是把特征工程、模型训练、评估等步骤都整合到一个管道中。最后分享一个实用技巧Spark的分布式计算虽然强大但小数据量时反而可能变慢。我通常会先采样小数据集在本地调试确认逻辑正确后再用全量数据训练。