基于Hadoop的电子商务推荐系统的设计研究

计研究

摘要：在现代科学技术快速发展的背景下，电子商务领域发展速度不断提高，已经成为现代商业发展的重要基础模式。在电子商务行业发展过程中，推荐系统具有重要的作用，主要功能是将商品通过一定的方式推荐给消费者，使得消费者能够接收到商品信息，能够有效提高商品销量，其中Hadoop技术具有良好的应用效果，能够提高推荐系统应用实效性。因此，本文将对基于Hadoop的电子商务推荐系统的设计方面进行深入地研究与分析，并提出一些合理的意见和措施，旨在进一步提高系统设计科学性。

关键词：Hadoop；电子商务；推荐系统；系统设计；优化措施

在用户规模不断扩大以及业务快速发展的趋势下，电子商务系统中的用户数量以及商品种类不断提升，数据规模增长速度较快，但是能够有效利用的展示区域较少，大量的信息资源因为被淹没无法得到展示，信息过载问题较为严重。推荐系统是一项重要的数据过滤机制，在解决信息过载问题中具有良好的效果，利用挖掘用户和信息资源之间的联系规律，能够帮助用户在大量的信息中找到其需要的商品，所以需要通过Hadoop构建完善的电子商务推荐系统。

1Hadoop简要分析

Hadoop是一项针对大规模数据处理和分析的、用于构建分布式系统的基础框架，具有简单易用的特点，用户能够在不充分关注分布式地层细节的情况下，对其进行开发与应用，能够使得集群协同计算和协同存储充分利用，从而完成横向扩展系统设计目标。Hadoop利用数据分布式存储、迁移代码而非迁移数据的机制，在处理大规模数据过程中能够有效防止耗时数据传输问题发生；通过采用数据的适度冗余机制，允许系统从节点失效中恢复。基于Hadoop平台开发分布式系统，用户不需要额外关注数据分割、任务调度以及集群拓扑结构和节点间的通

[1]

信管理工作，只需要做好应用逻辑开发工作即可。Hadoop平台具有较强的可拓展性、低成本性、高可靠性以及便捷性等多项特点，核心为HDFS分布式文件系统以及MapReduce框架，DFS分布式文件系统能够在成本可控的情况下处理大量的数据，MapReduce框架为一种采用分治策略、专门在大规模分布式并行数据处理中应用的简化编程模型，以函数编程思想为基础。

2基于Hadoop的电子商务推荐系统的设计方案分析 2.1推荐系统流程

在电子商务推荐系统设计中，首先需要经过数据抽取、数据转换、数据清洗以及数据装载等多个环节，从异构、多源、含噪声的原始业务数据中提取消费者信息、商品信息以偏好信息等，构建消费者模型和商品模型，之后采用多种不同的算法与策略，构建多个相互独立的推荐引擎，利用不同的推荐引擎产生独立的推荐结果集，最后将这些推荐结果通过相应的策略混合，构成初始推进集。按照电子商务的业务需求，部分情况下需要将制定产品推荐给消费者，比如一般需要在首页优先展示新加入的产品，这种情况下需要建设一个包括此类型的候选推荐集，在过滤之后经过筛选的初始推荐集进行混合，过滤过程中主要过滤掉以下几种商品：（1）消费者已经购买过的商品。由于推荐系统的主要目的是帮助消费者发现新的商品，为消费者推进已经购买过的商品不具有实际意义，但是这也不具有决定性，针对一次消费商品而言必须被过滤，对于可以重复消费的商品可以选择不对其进行过滤。（2）质量较差的商品。推进系统的最终目标是提高消费者体验，并提升服务品质，将评价较差的供应商、商品等推进给消费者会损害其对推荐系统的信任。（3）具有明显季节特征的商品。将该季节没有提供的或该季节用户不需要的商品推荐给消费者明显不够合理。

经过过滤后的推荐结果能够直接展现给消费者，但是需要考虑到商品的新颖性、多样性以及时间等因素，对其进行科学排布，从而能够更好地提高消费者满意度。在采用协同过滤引擎时，推荐结构自然包括排名依据，可以直接按照消费者推荐向量中各分量的取值大小进行排列；采用静态规则引擎与关联规则引擎推荐结果需要按照产品的其他属性进行排列，主要按照商品的流行度，选择流行度

[2]

倒数值为产品进行降序排列，利用将热门畅销商品降低权重的方式，能够有效解决多项问题，经过排名后的推荐结果列表能够具有表现力地展现给消费者。

2.2推荐系统架构设计

基于Hadoop的电子商务推荐系统采用分层架构进行实现，不同层级承担着不同的功能，各个层级之间利用接口实现交互，各层级之间采用模块化方式，从而能够保证电子商务推进系统具有高内聚、低耦合以及良好拓展性的特征。应用层包括推荐展示、引擎管理、引擎方案管理以及消费者行为管理；推荐引擎层包括静态规则引擎、关联规则引擎以及协同过滤引擎；算法策略层包括相似度计算、关联规则挖掘、聚类分析以及协同过滤等；数据模型层包括消费者属性集、商品属性集以及偏好模型。

在数据访问层中，数据作为电子商务推荐系统的重要内容，是算法和模型处理的主要对象，整合异构、多元以及多类型的原始业务数据，从中提取消费者和商品特征，能够全面提高推进准确性；数据访问层需要负责对来自Hadoop集群的大规模数据分析后结果的解析，所以数据访问层主要实现业务计算环境和集群计算环境之间的数据迁移功能。在数据模型层中，消费者模型包含消费者的基本资料、消费者行为以及消费者信用等多项内容，商品模型包括商品元数据以及反馈评价信息等，利用数据访问层对原始数据进行调取与解析，从而能够获取消费者属性集和商品属性集，生成消费者特征向量与商品特征向量。在算法策略层中，传统的经典算法都具有抽象特点，难以覆盖推荐系统需求和业务需求，策略主要体现业务需求，具有驱动器的功能，需要将业务规则封装并提供给上层，本层中常见的数据挖掘算法与机器学习算法包括相似度计算等。在推荐引擎层中，该层是电子商务推荐系统的核心层，将算法和策略包装成功独立的推进引擎，通过调用算法策略层的算法对数据模型进行相似度计算、偏好计算以及关联计算等。因为电子商务推荐系统的需求具有多样化特点，不同的推荐需求一般可以采用一种引擎实现，设计独立的推荐引擎层能够将更多的推荐引擎进行整合，从而实现功能拓展。应用层为电子商务推荐系统的最顶层，是消费者和推荐系统交互的接口，包括常见的配置功能、管理功能、交互功能以及展示功能都能够，允许配置混合模型参与和混合方式，从而能够提高推荐系统灵活性。

[3]

通过采用Terminal/Cluster模式的架构，满足现代电子商务推荐系统中的大量数据分析需求，利用多阶段推荐流程支持混合推荐模式，容易实现推荐解释功能；通过纵向分层、横向模块化的方式构成推荐系统的主要结构，在实际应用中具有良好的可靠性，能够满足消费者对于电子商务推荐系统的多样化需求，从而促进电子商务领域发展。

结束语

综上所述，本文简要阐述了Hadoop平台的基本内涵，并结合Hadoop平台，设计开发了一种分布式的电子商务推荐系统，希望能够对电子商务系统开发工作起到一定的借鉴和帮助作用，不断提高电子商务推荐系统实效性。

参考文献

[1]李胜华. 基于Hadoop的电商数据分析系统的设计与实现[J]. 移动信息, 2020(006):2-2.

[2]任璇炫. 基于Hadoop的东盟电子商务平台的研究与设计[J]. 全国流通经济, 2020(24):3-3.

[3]王萍, 王明松. 基于Hadoop的旅游景点推荐系统的设计与实现[J]. 信息与电脑, 2020, 32(004):2-2.