推荐系统实现

推荐系统实现

# coding=utf-8 
import urllib2
import sysreMySQLdbtime
reload（sys）
string=“魔幻“
descriptionList=[]
yearList=[]
addrList=[]
nameList=[]
scoreList=[]
imgList=[]
commentorList=[]
def movie（）:
    for i in range（4010020）:
        url = ‘https://movie.douban.com/tag/‘+string
        hash = ‘?start=%d&type=T‘ % i
        url = url + hash
        j=0
        content = urllib2.urlopen（url）.read（）
        
        #description=re.compile（r‘（.*）
‘）#获取电影描述信息
        description=re.compile（r‘‘）
        description_list=re.findall（descriptioncontent）
        for movieDescription in description_list:
            descriptionList.append（movieDescription）
        
        year=re.compile（r‘（.*）\（.*...
‘）
        year_list=re.findall（yearcontent）#获取电影年份
        for movieYear in year_list:
            yearList.append（movieYear）
        
        addr=re.compile（r‘.*\（（.*）\）.*...
‘）#获取电影地区
        addr_list=re.findall（addrcontent）
        for movieAddr in addr_list:
            addrList.append（movieAddr）        
        name = re.compile（r‘ tle=“（.*?）“>‘）#电影名称
        name_list=re.findall（namecontent）
        for movieName in name_list:
            nameList.append（movieName）
        
        score=re.compile（r‘（.*?）‘）#电影评分
        score_list=re.findall（scorecontent）
        for movieScore in score_list:
            scoreList.append（（movieScore））
        
        img=re.compile（r‘‘）#电影图片
        img_list=re.findall（imgcontent）
        for movieImg in img_list:
            imgList.append（movieImg）
        
        
        commentor=re.compile（ur‘\（（\d+）.*\）‘）#评价人数
        commentor_list=re.findall（commentorcontent）
        for movieCommentor in commentor_list:
            commentorList.append（movieCommentor）
    print ‘---爬虫已经完毕---‘
    return descriptionListyearListnameListscoreListimgListcommentorListaddrList   

def save_to_MySQL（）:
    print ‘MySQL数据库存储中......‘
    try:
        conn = MySQLdb.connect（host=“127.0.0.1“ user=“root“ passwd=“123456“ db=“movie“ charset=“utf8“）
        cursor = conn.cursor（）
        print “数据库连接成功“
        #cursor.execute（‘Drop table if EXISTS movie‘） # 如果表存在就删除
        time.sleep（3）
        num=0
        for i in range（20）:
            sql=‘insert into resource（descriptionnamescoretypeurlnumberareayear） VALUES （%s%s%s%s%s%s%s%s）‘
            param=（descriptionList[i]nameList[i]scoreList[i]““+stringimgList[i]numaddrList[i]yearList[i]）
            cursor.execute（sqlparam）
            num=num+1
            conn.commit（）
        cursor.close（）
        conn.close（）
    except Exception as e:
        print e
    print ‘MySQL数据库存储结束！‘
if __name__==“__main__“:
    try:
        movie（）
        save_to_MySQL（）
    except Exception as e:
 

 属性            大小     日期    时间   名称
----------- ---------  ---------- -----  ----
     目录           0  2018-01-15 17:11  源代码\
     目录           0  2018-01-15 17:11  源代码\getmovies\
     文件         380  2017-04-04 19:17  源代码\getmovies\.project
     文件         431  2017-04-04 19:17  源代码\getmovies\.pydevproject
     目录           0  2018-01-15 17:11  源代码\getmovies\.settings\
     文件          56  2017-04-04 19:17  源代码\getmovies\.settings\org.eclipse.core.resources.prefs
     文件        3160  2017-05-31 09:14  源代码\getmovies\movie.py
     文件       95011  2017-06-05 16:26  源代码\movie.sql
     目录           0  2018-01-15 17:11  源代码\server\
     文件         835  2017-04-13 20:12  源代码\server\.classpath
     文件        1038  2017-04-02 03:07  源代码\server\.project
     目录           0  2018-01-15 17:11  源代码\server\.settings\
     文件         503  2016-03-04 16:04  源代码\server\.settings\.jsdtscope
     文件         670  2016-03-23 01:31  源代码\server\.settings\org.eclipse.jdt.core.prefs
     文件         467  2017-04-02 01:44  源代码\server\.settings\org.eclipse.wst.common.component
     文件         345  2016-03-04 16:04  源代码\server\.settings\org.eclipse.wst.common.project.facet.core.xml
     文件          49  2016-03-04 16:04  源代码\server\.settings\org.eclipse.wst.jsdt.ui.superType.container
     文件           6  2016-03-04 16:04  源代码\server\.settings\org.eclipse.wst.jsdt.ui.superType.name
     目录           0  2018-01-15 17:11  源代码\server\build\
     目录           0  2018-01-15 17:11  源代码\server\build\classes\
     目录           0  2018-01-15 17:11  源代码\server\build\classes\com\
     目录           0  2018-01-15 17:11  源代码\server\build\classes\com\example\
     目录           0  2018-01-15 17:11  源代码\server\build\classes\com\example\bean\
     文件        3542  2017-05-15 16:25  源代码\server\build\classes\com\example\bean\resource.class
     文件        3122  2017-05-15 16:25  源代码\server\build\classes\com\example\bean\user.class
     文件        1899  2017-05-15 16:25  源代码\server\build\classes\com\example\bean\user_score.class
     目录           0  2018-01-15 17:11  源代码\server\build\classes\com\example\dao\
     文件        1772  2017-05-15 16:25  源代码\server\build\classes\com\example\dao\CreateDao.class
     文件        1413  2017-05-15 16:25  源代码\server\build\classes\com\example\dao\DeleteDao.class
     文件        9718  2017-05-15 16:25  源代码\server\build\classes\com\example\dao\SelectDao.class
     文件         826  2017-05-15 16:25  源代码\server\build\classes\com\example\dao\UpdateDao.class
............此处省略152个文件信息