基于SPARK的大数据实战在线电影推荐

基于SPARK的大数据实战（在线电影推荐），使用最主流的大数据技术，实现电影的推荐，包含代码。

from flask import Blueprint
main = Blueprint（‘main‘ __name__）
 
import json
from engine import RecommendationEngine
 
import logging
logging.basicConfig（level=logging.INFO）
logger = logging.getLogger（__name__）
 
from flask import Flask request
 
@main.route（“//ratings/top/“ methods=[“GET“]）
def top_ratings（user_id count）:
    logger.debug（“User %s TOP ratings requested“ user_id）
    top_ratings = recommendation_engine.get_top_ratings（user_idcount）
    return json.dumps（top_ratings）
 
@main.route（“//ratings/“ methods=[“GET“]）
def movie_ratings（user_id movie_id）:
    logger.debug（“User %s rating requested for movie %s“ user_id movie_id）
    ratings = recommendation_engine.get_ratings_for_movie_ids（user_id [movie_id]）
    return json.dumps（ratings）
 
 
@main.route（“//ratings“ methods = [“POST“]）
def add_ratings（user_id）:
    # get the ratings from the Flask POST request object
    ratings_list = request.form.keys（）[0].strip（）.split（“\n“）
    ratings_list = map（lambda x: x.split（““） ratings_list）
    # create a list with the format required by the negine （user_id movie_id rating）
    ratings = map（lambda x: （user_id int（x[0]） float（x[1]）） ratings_list）
    # add them to the model using then engine API
    recommendation_engine.add_ratings（ratings）
 
    return json.dumps（ratings）
 
 
def create_app（spark_context dataset_path）:
    global recommendation_engine 

    recommendation_engine = RecommendationEngine（spark_context dataset_path）    
    
    app = Flask（__name__）
    app.register_blueprint（main）
    return app 

 属性            大小     日期    时间   名称
----------- ---------  ---------- -----  ----

     文件        338  2016-11-20 15:21  An on-line movie recommender using Spark\.git\config

     文件         73  2016-11-20 15:21  An on-line movie recommender using Spark\.git\description

     文件         23  2016-11-20 15:21  An on-line movie recommender using Spark\.git\HEAD

     文件        478  2016-11-20 15:21  An on-line movie recommender using Spark\.git\hooks\applypatch-msg.sample

     文件        896  2016-11-20 15:21  An on-line movie recommender using Spark\.git\hooks\commit-msg.sample

     文件        189  2016-11-20 15:21  An on-line movie recommender using Spark\.git\hooks\post-update.sample

     文件        424  2016-11-20 15:21  An on-line movie recommender using Spark\.git\hooks\pre-applypatch.sample

     文件       1642  2016-11-20 15:21  An on-line movie recommender using Spark\.git\hooks\pre-commit.sample

     文件       1348  2016-11-20 15:21  An on-line movie recommender using Spark\.git\hooks\pre-push.sample

     文件       4951  2016-11-20 15:21  An on-line movie recommender using Spark\.git\hooks\pre-rebase.sample

     文件       1239  2016-11-20 15:21  An on-line movie recommender using Spark\.git\hooks\prepare-commit-msg.sample

     文件       3611  2016-11-20 15:21  An on-line movie recommender using Spark\.git\hooks\update.sample

     文件        908  2016-11-20 15:22  An on-line movie recommender using Spark\.git\index

     文件        240  2016-11-20 15:21  An on-line movie recommender using Spark\.git\info\exclude

     文件        187  2016-11-20 15:21  An on-line movie recommender using Spark\.git\logs\HEAD

     文件        187  2016-11-20 15:21  An on-line movie recommender using Spark\.git\logs\refs\heads\master

     文件        187  2016-11-20 15:21  An on-line movie recommender using Spark\.git\logs\refs\remotes\origin\HEAD

     文件       5272  2016-11-20 15:21  An on-line movie recommender using Spark\.git\objects\pack\pack-6cfbeba311f591d7fe587af919fa9192339ad03b.idx

     文件      52325  2016-11-20 15:21  An on-line movie recommender using Spark\.git\objects\pack\pack-6cfbeba311f591d7fe587af919fa9192339ad03b.pack

     文件        107  2016-11-20 15:21  An on-line movie recommender using Spark\.git\packed-refs

     文件         41  2016-11-20 15:21  An on-line movie recommender using Spark\.git\refs\heads\master

     文件         32  2016-11-20 15:21  An on-line movie recommender using Spark\.git\refs\remotes\origin\HEAD

     文件        167  2016-11-20 15:21  An on-line movie recommender using Spark\.gitignore

     文件          0  2016-11-20 15:22  An on-line movie recommender using Spark\.Rhistory

     文件        235  2016-11-20 15:22  An on-line movie recommender using Spark\.Rproj.user\BB6CF845\pcs\files-pane.pper

     文件         24  2016-11-20 15:22  An on-line movie recommender using Spark\.Rproj.user\BB6CF845\pcs\source-pane.pper

     文件        293  2016-11-20 15:22  An on-line movie recommender using Spark\.Rproj.user\BB6CF845\pcs\windowlayoutstate.pper

     文件         65  2016-11-20 15:22  An on-line movie recommender using Spark\.Rproj.user\BB6CF845\pcs\workbench-pane.pper

     文件          5  2016-11-20 15:22  An on-line movie recommender using Spark\.Rproj.user\BB6CF845\rmd-outputs

     文件         27  2016-11-20 15:22  An on-line movie recommender using Spark\.Rproj.user\BB6CF845\saved_source_markers

............此处省略44个文件信息