spark mllib 协同过滤推荐算法ALS） python 实现 完整程序

一个完成的spark mllib 协同过滤推荐算法ALS 完整实例程序，基于 spark yarn-client模式运行，另外，包括训练数据。

def SetLogger（sc）:

    logger = sc._jvm.org.apache.log4j
    logger.LogManager.getLogger（“org“）.setLevel（logger.Level.ERROR）
    logger.LogManager.getLogger（“akka“）.setLevel（logger.Level.ERROR）
    logger.LogManager.getRootLogger（）.setLevel（logger.Level.ERROR）

def SetPath（sc）:
    #global Path
    if sc.master[0:5] == “local“:
        path = “file:/usr/wuds/wudspy/pythonwork/ipynotebook“
    else:
        path = “hdfs://wuds.hadoop.com:50021/user/hadoop“
    return （path）

def  CreateSparkContext（）:
    from pyspark import SparkContext
    from pyspark import SparkConf
    print（“======== pyspark init ========“）
    sparkConf = SparkConf（）.setAppName（“ALS“）.set（“spark.ui.showConsoleProgress““false“）.setMaster（“yarn“）
    #sparkConf = SparkConf（）.setAppName（“spCount“）.set（“spark.ui.showConsoleProgress““false“）
    sc = SparkContext（conf = sparkConf）
    print（“master=“+sc.master）
    return （sc）

 属性            大小     日期    时间   名称
----------- ---------  ---------- -----  ----
     目录           0  2018-03-07 17:10  ALS\
     文件      236344  2018-02-26 19:45  ALS\u.item
     文件        2248  2018-03-05 12:40  ALS\Rc.py
     文件           0  2018-02-26 17:46  ALS\__init__.py
     文件     1979173  2018-02-26 19:45  ALS\u.data
     文件         913  2018-03-05 14:06  ALS\Com.py
     文件         928  2018-03-06 17:39  ALS\RcTrain.py