TMDB500电影数据分析

用Python对TMDB电影数据进行分析，包括数据读取，数据清洗，数据分析

# coding: utf-8

# In[3]:


import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
import seaborn as sns
#首先把数据导入进来
imdb = pd.read_csv（‘e:/dataset/tmdb_5000_movies.csv‘）
#大概看一下数据是什么样的
imdb.head（3）
#imdb.info（）


# In[4]:


#首先我们查询缺失了上映日期的是哪一部电影
imdb[imdb.release_date.isnull（）.values == True]
#然后查询这个电影的上映日期
#填充缺失值
imdb.release_date = imdb.release_date.fillna（‘2014-06-01‘）
#把这一个字段的数据转化为时间格式
imdb.release_date = pd.to_datetime（imdb.release_date）
#把上映的年份提取出来新建一个列
imdb.loc[: ‘year‘] = [i.year for i in imdb.release_date]
imdb.head（2）


# In[5]:


#导入正则包
import re
#建立函数
def fenge（str）:
    pattern = re.compile（r‘\b[A-Z]\w+‘）   # 查找首字母大写
    strr = pattern.findall（str）
    return strr
#将函数应用到整列
#再将其添加到原来的数据中
imdb[‘generss‘] = list（map（fenge imdb.genres））
#由于目前解决的是问题1，所以先把这两列单独拿出来计算
q1 = pd.Dataframe（{‘generss‘: imdb.generss ‘year‘:imdb.year}）
q1.info（）
q1.head（5）


# In[6]:


#可以发现，电影类型的数据是以列表形式存储的，这不利于我们接下来的运算
#首先把电影类型和年份做成一个新的列表，再重新组合
lis1 = []
lis2 = []
for i in range（len（q1.year））:
    for j in q1.generss[i]:
        lis1.append（j）
        lis2.append（q1.year[i]）
q11 = pd.Dataframe（{‘genress‘:lis1 ‘years‘:lis2 ‘counts‘:1}）        

#先简单的看一下数据情况
#可以发现我们成功的分离了电影类型
q11.head（8）


# In[7]:


#对数据进行处理得出每年份电影总数
q12 = q11.groupby（‘years‘）.agg（np.sum）
#把年份重新变成列
q12[‘years‘] = q12.index.get_level_values（‘years‘）

#绘图
plt.plot（q12.years q12.counts‘c‘）
#设置坐标轴范围和标签
plt.axis（[1916 2016 0 700]）
#坐标轴使用中文
plt.xlabel（‘时间‘ fontproperties = ‘SimHei‘ fontsize = 15 color = ‘black‘）
plt.ylabel（‘电影类型数‘ fontproperties = ‘SimHei‘ fontsize = 15 color = ‘black‘）
#设置图例和网格
plt.grid（）
plt.legend（）
plt.show（）


# In[8]:


#在接下来绘图中，为了方便，先统一设置一下中文字体
import matplotlib
matplotlib.rcParams[‘font.family‘] = ‘STsong‘
matplotlib.rcParams[‘font.size‘] = 15
matplotlib.rcParams[‘font.style‘] = ‘normal‘


# In[9]:


#将所要电影按类型统计
q13 = q11.groupby（‘genress‘）.agg（np.sum）
#设置一下饼图的风格
plt.style.use（‘ggplot‘）
#绘图
plt.pie（q13.counts/q13.counts.sum（）#绘制的是百分比的图
        labels = q13.index         #标签为电影类型
        autopct=‘%.1f%%‘           #百分比的格式 
        radius = 3                 #饼图的半径
        textprops = {‘fontsize‘: 20 ‘color‘ : ‘black‘}#标签字体的颜色和大小
       ） 
plt.title（‘总体IMDB电影类型分布‘） #标题
plt.show（）


# In[10]:


#那么如何观察这么多年来电影类型的变化呢
#首先还是对数据进行一个透视
q14 = pd.pivot_table（q11 index = [‘genress‘ ‘years‘] values = [‘counts‘] aggfunc = np.sum）
#把年份和类型重新变成列
q14[‘years‘] = q14.index.get_level_values（‘years‘）
q14[‘genress‘] = q14.index.get_level_values（‘genress‘）


#把画布设置大一些
plt.figure（figsize = （20 10））
#循环画出每一个电影类型随着时间变化的折线图
#list1是之前对电影类型的统计
for i in set（lis1）:
    plt.plot（q14[q14.genress == i].years q14[q14.genress == i].counts label = i）
    #label用来设置图例
    plt.legend（）
#设置标题和坐标轴的字体大小和颜色
plt.title（‘电影类型随时间的变化‘ fontsize = 20 color = ‘blue‘）
plt.xlabel（‘时间‘ fontsize = 20 color = ‘blue‘）
plt.ylabel（‘数量‘ fontsize = 20 color = ‘blue‘）
plt.show（）


# In[11]:


#但是这样因为种类太多，其实不方便观察的
#这里我们选取几个类型的片子作为代表去观察
a = [‘Action‘‘Drama‘‘Thriller‘‘Comedy‘‘Romance‘]
p

 属性            大小     日期    时间   名称
----------- ---------  ---------- -----  ----

     文件       4502  2018-05-09 11:31  IMDB电影数据分析.py

    .......   5698602  2017-12-07 06:34  tmdb_5000_movies.csv

----------- ---------  ---------- -----  ----

              5703104                    2