公司动态
基于Spring Boot与Hadoop的豆瓣图书推荐系统实践
1. 项目背景与核心价值豆瓣电子图书推荐系统是一个典型的大数据应用场景它需要处理海量用户行为数据如浏览、评分、收藏等和图书元数据通过算法挖掘用户潜在兴趣。这个毕设选题结合了当前企业级开发的主流技术栈Spring Boot Hadoop具有以下核心价值技术栈的工业级实践Spring Boot作为微服务开发的事实标准Hadoop作为大数据处理的基石框架这种组合在电商、内容平台的推荐系统中广泛应用完整项目生命周期体验从数据采集、存储、处理到推荐算法实现和可视化覆盖大数据项目的全流程可扩展的架构设计系统可以平滑扩展接入更多数据源如豆瓣电影、音乐或推荐算法协同过滤→深度学习提示选择Hadoop而非Spark等新框架的考虑在于1) 高校教学仍以Hadoop生态为主 2) MapReduce编程模型更利于理解分布式计算原理 3) HDFSHBase的存储方案对结构化/非结构化数据兼容性更好2. 系统架构设计2.1 技术选型依据组件选型理由替代方案对比Spring Boot 2.71) 内嵌Tomcat简化部署 2) Starter依赖自动配置 3) 与Hadoop生态兼容性好Flask/Django(Python生态)Hadoop 3.3.41) 教学资料丰富 2) YARN资源管理成熟 3) 本地/伪分布式模式适合毕设开发Spark/Flink(实时性更强但复杂度高)HBase 2.41) 列式存储适合用户画像 2) 与MapReduce天然集成 3) 支持海量数据随机读写MongoDB/CassandraMahout1) 内置协同过滤算法 2) 与Hadoop无缝集成 3) 适合中小规模数据Spark MLlib/TensorFlow2.2 模块化设计// 典型的多模块Maven项目结构 douban-book-recommend ├── recommend-common // 公共工具类 ├── recommend-dao // 数据访问层(HBase/Mysql) ├── recommend-service // 业务逻辑(MapReduce作业) ├── recommend-web // Spring MVC控制器 └── recommend-algorithm // 推荐算法实现(Mahout)关键集成点Spring Boot与Hadoop集成通过hadoop-common配置核心参数Configuration public class HadoopConfig { Value(${hadoop.fs.defaultFS}) private String fsUri; Bean public Configuration hadoopConfiguration() { Configuration conf new Configuration(); conf.set(fs.defaultFS, fsUri); conf.set(dfs.replication, 1); // 伪分布式模式 return conf; } }MapReduce作业调度通过JobLauncher启动作业RestController public class JobController { Autowired private JobLauncher jobLauncher; PostMapping(/run/recommend) public String runJob() throws Exception { Job job UserSimilarityJob.createJob(); jobLauncher.run(job, new JobParameters()); return Job Started; } }3. 核心实现细节3.1 数据采集与预处理豆瓣数据获取方案通过公开API获取基础图书元数据需申请API Key使用WebMagic爬虫框架补全用户行为数据// 示例爬虫定义 public class DoubanPageProcessor implements PageProcessor { Override public void process(Page page) { page.putField(bookId, page.getHtml().xpath(//div[idwrapper]/data-id)); page.putField(ratings, page.getHtml().xpath(//strong[propertyv:average]/text())); // 防止被封设置5秒间隔随机UserAgent } }HDFS数据组织/user/hadoop/input/ ├── book_meta/ # 图书元数据(JSON格式) ├── user_behavior/# 用户行为日志(CSV) └── temp/ # MapReduce中间结果3.2 推荐算法实现基于用户的协同过滤(UserCF)计算用户相似度矩阵余弦相似度public static class SimilarityMapper extends MapperLongWritable, Text, Text, Text { Override protected void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException { // 输入: user1:item1:rating,user2:item2:rating... String[] pairs value.toString().split(,); // 输出: 用户对, 评分乘积 如 user1_user2, 4*5 } }生成TopN推荐public ListBook recommend(String userId, int topN) { // 1. 从HBase读取相似用户 ListUserSimilarity similars hbaseTemplate.get( user_similarity, userId, new UserSimilarityRowMapper()); // 2. 加权汇总评分 MapString, Double recommends new HashMap(); for (UserSimilarity similar : similars) { ListUserRating ratings getRatings(similar.getUserId()); ratings.forEach(r - recommends.merge(r.getBookId(), r.getScore() * similar.getSimilarity(), Double::sum)); } // 3. 过滤已读排序 return recommends.entrySet().stream() .filter(e - !userReadBooks.contains(e.getKey())) .sorted(Map.Entry.comparingByValue().reversed()) .limit(topN) .map(e - getBook(e.getKey())) .collect(Collectors.toList()); }3.3 性能优化技巧MapReduce调优!-- 设置Combiner减少网络传输 -- property namemapreduce.job.combine.class/name valuecom.douban.recommend.SimilarityCombiner/value /property !-- 合理设置Reduce数量 -- property namemapreduce.job.reduces/name value10/value !-- 建议为集群节点数的0.95~1.75倍 -- /propertyHBase查询优化// 使用BloomFilter加速读取 HTableDescriptor tableDesc new HTableDescriptor(TableName.valueOf(user_behavior)); tableDesc.addFamily(new HColumnDescriptor(cf) .setBloomFilterType(BloomType.ROW)); // 按行键过滤 // 批量查询避免多次RPC Get get1 new Get(Bytes.toBytes(user1)); Get get2 new Get(Bytes.toBytes(user2)); Result[] results hTable.get(Arrays.asList(get1, get2));4. 毕设开发实战指南4.1 环境搭建要点伪分布式模式配置修改core-site.xmlconfiguration property namefs.defaultFS/name valuehdfs://localhost:9000/value /property /configuration避免端口冲突# 检查端口占用 netstat -tulnp | grep java # 修改YARN端口 property nameyarn.resourcemanager.webapp.address/name value0.0.0.0:18088/value /property4.2 常见问题解决方案问题1Spring Boot无法连接HDFS检查项hadoop.http.authentication.signature.secret是否一致防火墙是否关闭sudo ufw disable主机名映射是否正确/etc/hosts问题2MapReduce作业卡住排查步骤# 查看YARN日志 yarn logs -applicationId app_id # 检查ResourceManager状态 yarn rmadmin -getServiceState rm1 # 增加堆内存 export HADOOP_HEAPSIZE20484.3 答辩演示技巧数据可视化方案// 使用ECharts展示推荐结果 option { series: [{ type: graph, layout: force, data: [{ name: 用户A, category: 0 },{ name: 图书B, category: 1 }], links: [{ source: 用户A, target: 图书B, value: 0.78 }] }] }演示脚本设计#!/bin/bash # 自动化演示脚本 echo 1. 启动HDFS... start-dfs.sh echo 2. 导入测试数据... hadoop fs -put data/* /input echo 3. 运行推荐作业... curl -X POST http://localhost:8080/run/recommend5. 扩展方向建议算法升级路径阶段1加入基于物品的协同过滤(ItemCF)阶段2引入时间衰减因子weight 0.8^(current_day - behavior_day)阶段3迁移到Spark MLlib实现ALS矩阵分解工程化改进# 使用Airflow实现调度 with DAG(douban_recommend, schedule_intervaldaily) as dag: preprocess BashOperator(task_idpreprocess, bash_commandhadoop jar preprocess.jar) recommend BashOperator(task_idrecommend, bash_commandhadoop jar recommend.jar) preprocess recommend商业场景延伸冷启动问题解决方案结合图书元数据做内容推荐AB测试框架通过user_id % 10分流不同算法推荐解释功能展示因为您喜欢《XXX》...
)
