前言
最近剛好Python學完了，所以拿這個項目來練手。要知道好多爬蟲數據僅僅憑借Excel和sql是沒辦法處理的，Python絕對是數據分析的絕佳兵器，數據清洗-數據處理-可視化都可以完成。實踐出真知，雖然過程中遇到很多問題，但是學完之后能力就提升啦！這次將自己做的項目完整記錄下來并進行分享，以備后續回憶和二次學習。也歡迎感興趣的同學評論留言，希望我們共同學習，共同進步！

文章目錄

• 1 項目背景
• • 1.1 故事背景
  • 1.2 提出問題
• 2 項目報告
• 3 理解數據
• • 3.1 數據來源
  • 3.2 數據字段
• 4 數據清洗
• • 4.1 導入數據
  • 4.2 缺失值處理
  • • 4.2.1 補全release_date
    • 4.2.2 補全runtime
  • 4.3 重復值處理
  • 4.4 日期值處理
  • 4.5 篩選數據
  • 4.6 json數據轉換
  • 4.7 數據備份
• 5 數據分析
• • 5.1 why
  • 5.2 what
  • • 5.2.1 電影類型
    • • 5.2.1.1 電影類型數量（條形圖）
      • 5.2.1.2 電影類型占比（餅圖）
      • 5.2.1.3 電影類型變化趨勢（折線圖）
      • 5.2.1.4 不同電影類型預算/利潤（組合圖）
    • 5.2.2 電影關鍵詞
  • 5.3 when
  • • 5.3.1 電影時長
    • 5.3.2 發行時間
  • 5.4 where
  • 5.5 who
  • • 5.5.1 票房分布及票房Top10的導演
    • 5.5.2 評分分布及評分Top10的導演
  • 5.6 how
  • • 5.6.1 原創VS改編占比（餅圖）
    • 5.6.2 原創VS改編預算/利潤率（組合圖）
  • 5.7 how much
  • • 5.7.1 計算相關系數
    • 5.7.2 票房影響因素散點圖

1 項目背景

1.1 故事背景

數據分析最重要的就是要講一個故事嘍！故事怎么講呢？無非就是提出問題-分析問題-解決問題。因為分析出來的數據解決了某個問題，所以，故事說出來才有賣點，別人才會覺得你的數據分析有價值，才愿意為你的數據分析買單。不多說啦，哈哈(⊙o⊙)…回歸正題。

我講故事就是，王思聰想要在海外開拓萬達電影的市場，這次他在考慮：怎么拍商業電影才能賺錢？畢竟一些制作成本超過1億美元的大型電影也會失敗 。這個問題對電影業來說比以往任何時候都更加重要。 所以，他就請來了公司的數據分析師來幫他解決問題，給出一些建議，根據數據分析一下商業電影的成功是否存在統一公式？以幫助他更好地進行決策。

1.2 提出問題

解決的終極問題是：電影票房的影響因素有哪些？

接下來我們就分不同的維度分析：

• 觀眾喜歡什么電影類型？有什么主題關鍵詞？
• 電影風格隨時間是如何變化的？
• 電影預算高低是否影響票房？
• 高票房或者高評分的導演有哪些？
• 電影的發行時間最好選在啥時候？
• 拍原創電影好還是改編電影好？

2 項目報告

國際慣例先來一份數據報告：

3 理解數據

3.1 數據來源

本次使用的數據來自于kaggle平臺（點擊鏈接下載TMDb 5000 Movie Database）。收錄了美國地區1916-2017年近5000部電影的數據，包含預算、導演、票房、電影評分等信息。

3.2 數據字段

原始數據集包含2個文件：

• tmdb_5000_movies：電影基本信息，包含20個變量
• tmdb_5000_credits：演職員信息，包含4個變量
  

4 數據清洗

4.1 導入數據

導入數據包

# 數據導入 import numpy as np import pandas as pd from pandas import DataFrame, Series#可視化顯示在界面 %matplotlib inline import matplotlib import matplotlib.pyplot as plt plt.rcParams['font.sans-serif'] = ['SimHei'] #用來顯示中文 plt.rcParams['axes.unicode_minus'] = False #用來正常顯示負號import seaborn as sns sns.set(color_codes=True) # 學習seaborn參考：https://www.jianshu.com/p/c26bc5ccf604import json import warnings warnings.filterwarnings('ignore') from wordcloud import WordCloud, STOPWORDSmovies = pd.read_csv('F:\\tmdb-movie-metadata\\tmdb_5000_movies.csv',encoding = 'utf_8') credits = pd.read_csv('F:\\tmdb-movie-metadata\\tmdb_5000_credits.csv',encoding = 'utf_8') movies.info() #查看信息 credits.info()

運行結果：

續表：

從上述信息可知，共有記錄4803條。

# 兩個數據框都有title列，以及movies.riginal_title # 以上三個數據列重復，刪除兩個 del credits['title'] del movies['original_title']# 連接兩個csv文件 merged = pd.merge(movies, credits, left_on='id', right_on='movie_id', how='left')# 刪除不需要分析的列 df=merged.drop(['homepage','overview','spoken_languages','status','tagline','movie_id'],axis=1) df.info()

運行結果：

從上可知，發行日期 和 運行時間 兩列有數據缺失。
接下來處理缺失值。

4.2 缺失值處理

缺失記錄僅3條，采取網上搜索，補全信息。

4.2.1 補全release_date

# 查找缺失值記錄-release_date df[df.release_date.isnull()]

運行結果為：

缺失記錄的電影標題為《America Is Still the Place》，日期為’ 2014-06-01 ’

# 填充缺失值 df['release_date'] = df['release_date'].fillna('2014-06-01')

4.2.2 補全runtime

# 查找缺失值記錄-runtime df[df.runtime.isnull()]

運行結果：

缺失記錄的電影runtime分別為94min和 240min

# 根據行標簽，填充缺失值 df.loc[2656] = df.loc[2656].fillna('94, limit=1') df.loc[4140] = df.loc[4140].fillna('240, limit=1')

4.3 重復值處理

len(df.id.unique())

運行結果：有4803個不重復的id，可以認為沒有重復數據。

4.4 日期值處理

將release_date列轉換為日期類型：

#轉換日期格式，增加 年份 月份 日 列 #如果日期不符合時間戳限制，則errors ='ignore'將返回原始輸入，而不會報錯。 #errors='coerce'將強制超出NaT的日期，返回NaT。df['release_year'] = pd.to_datetime(df.release_date, format = '%Y-%m-%d',errors='coerce').dt.year df['release_month'] = pd.to_datetime(df.release_date).apply(lambda x: x.month) df['release_day'] = pd.to_datetime(df.release_date).apply(lambda x: x.day) df.info()

運行結果：

養成處理完數據列就進行查看的習慣~

4.5 篩選數據

使用數據分析師最喜歡的一個語法：

df.describe()

運行結果：

• 票房、預算、受歡迎程度、評分為0的數據應該去除；
• 評分人數過低的電影，評分不具有統計意義，這里篩選評分人數大于50的數據。

df = df[(df.vote_count >= 50) &(df.budget * df.revenue * df.popularity * df.vote_average !=0)].reset_index(drop = 'True')df

查看篩選結果：

df.info()

此時剩余2961條數據，包含19個字段。

4.6 json數據轉換

**說明：**genres,keywords,production_companies,production_countries,cast,crew 這6列都是json數據，需要處理為列表進行分析。

處理方法：

json本身為字符串類型，先轉換為字典列表

再將字典列表轉換為，以’,'分割的字符串

json_column = ['genres','keywords','production_companies','production_countries','cast','crew']# 1-json本身為字符串類型，先轉換為字典列表 for i in json_column:df[i] = df[i].apply(json.loads)# 提取name # 2-將字典列表轉換為以','分割的字符串 def get_name(x):return ','.join([i['name'] for i in x]) df['cast'] = df['cast'].apply(get_name)# 提取derector def get_director(x):for i in x:if i['job'] == 'Director':return i['name']df['crew'] = df['crew'].apply(get_director)for j in json_column[0:4]:df[j] = df[j].apply(get_name)#重命名 rename_dict = {'cast':'actor','crew':'director'} df.rename(columns=rename_dict, inplace=True) df.info() df.head(5)

運行結果：

4.7 數據備份

# 備份原始數據框original_df org_df = df.copy() df.reset_index().to_csv("TMDB_5000_Movie_Dataset_Cleaned.csv")

5 數據分析

5.1 why

想要探索影響票房的因素，從電影市場趨勢，觀眾喜好類型，電影導演，發行時間，評分與關鍵詞等維度著手，給從業者提供合適的建議。

5.2 what

5.2.1 電影類型

# 定義一個集合，獲取所有的電影類型 genre = set() for i in df['genres'].str.split(','): # 去掉字符串之間的分隔符，得到單個電影類型genre = set().union(i,genre) # 集合求并集# genre.update(i) #或者使用update方法print(genre)

運行結果：

注意到genre集合中存在多余的元素：空的單引號，所以需要去除

genre.discard('') # 去除多余的元素 genre

運行結果：

#將genre轉變成列表 genre_list = list(genre) # 創建數據框-電影類型 genre_df = pd.DataFrame() #對電影類型進行one-hot編碼 for i in genre_list:# 如果包含類型 i，則編碼為1，否則編碼為0genre_df[i] = df['genres'].str.contains(i).apply(lambda x: 1 if x else 0) #將數據框的索引變為年份 genre_df.index = df['release_year'] genre_df.head(5)

運行結果：

5.2.1.1 電影類型數量（條形圖）

# 計算得到每種類型的電影總數目，并降序排列 grnre_sum = genre_df.sum().sort_values(ascending = False) # 可視化 plt.rcParams['font.sans-serif'] = ['SimHei'] #用來顯示中文 grnre_sum.plot(kind='bar',label='genres',figsize=(12,9)) plt.title('不同類型的電影數量總計',fontsize=20) plt.xticks(rotation=60) plt.xlabel('電影類型',fontsize=16) plt.ylabel('數量',fontsize=16) plt.grid(False) plt.savefig("不同電影類型數量-條形圖.png",dpi=300) #在 plt.show() 之前調用 plt.savefig() plt.show()

5.2.1.2 電影類型占比（餅圖）

gen_shares = grnre_sum / grnre_sum.sum()# 設置other類，當電影類型所占比例小于%1時，全部歸到other類中 others = 0.01 gen_pie = gen_shares[gen_shares >= others] gen_pie['others'] = gen_shares[gen_shares < others].sum()# 設置分裂屬性 # 所占比例小于或等于%2時，增大每塊餅片邊緣偏離半徑的百分比 explode = (gen_pie <= 0.02)/10# 繪制餅圖 gen_pie.plot(kind='pie',label='',explode=explode,startangle=0,shadow=False,autopct='%3.1f%%',figsize=(8,8))plt.title('不同電影類型所占百分比',fontsize=20) plt.savefig("不同電影類型所占百分比-餅圖.png",dpi=300)

5.2.1.3 電影類型變化趨勢（折線圖）

#電影類型隨時間變化的趨勢 gen_year_sum = genre_df.sort_index(ascending = False).groupby('release_year').sum() gen_year_sum_sub = gen_year_sum[['Drama','Comedy','Thriller','Action','Adventure','Crime','Romance','Science Fiction']] gen_year_sum_sub.plot(figsize=(12,9)) plt.legend(gen_year_sum_sub.columns) plt.xticks(range(1915,2018,10)) plt.xlabel('年份', fontsize=16) plt.ylabel('數量', fontsize=16) plt.title('不同電影變化趨勢', fontsize=20)plt.grid(False) plt.savefig("不同電影類型數量-折線圖2.png",dpi=600) plt.show()

5.2.1.4 不同電影類型預算/利潤（組合圖）

# 計算不同電影類型的利潤 # Step1-創建profit_dataframe profit_df = pd.DataFrame() profit_df = pd.concat([genre_df.reset_index(), df['profit']], axis=1) # Step2-創建profit_series，橫坐標為genre profit_s=pd.Series(index=genre_list) # Step3-求出每種genre對應的利潤均值 for i in genre_list:profit_s.loc[i]=profit_df.loc[:,[i,'profit']].groupby(i, as_index=False).mean().loc[1,'profit'] profit_s = profit_s.sort_values(ascending = True) profit_s# 計算不同類型電影的budget # Step1-創建profit_dataframe budget_df = pd.DataFrame() budget_df = pd.concat([genre_df.reset_index(), df['budget']], axis=1) # Step2-創建budget_series，橫坐標為genre budget_s=pd.Series(index=genre_list) # Step3-求出每種genre對應的預算均值 for j in genre_list:budget_s.loc[j]=budget_df.loc[:,[j,'budget']].groupby(j, as_index=False).mean().loc[1,'budget'] budget_s# 再接著，橫向合并 profit_s 和 budget_s profit_budget = pd.concat([profit_s, budget_s], axis=1) profit_budget.columns = ['profit', 'budget']#添加利潤率列 profit_budget['rate'] = (profit_budget['profit']/profit_budget['budget'])*100 # 降序排序 profit_budget_sort=profit_budget.sort_values(by='budget',ascending = False) profit_budget_sort.head(2)# 繪制不同類型電影平均預算和利潤率（組合圖） x = profit_budget_sort.index y1 = profit_budget_sort.budget y2 = profit_budget_sort.rate # 返回profit_budget的行數 length = profit_budget_sort.shape[0]fig = plt.figure(figsize=(12,9)) # 左軸 ax1 = fig.add_subplot(1,1,1) plt.bar(range(0,length),y1,color='b',label='平均預算') plt.xticks(range(0,length),x,rotation=90, fontsize=12) # 更改橫坐標軸名稱 ax1.set_xlabel('年份') # 設置x軸label ,y軸label ax1.set_ylabel('平均預算',fontsize=16) ax1.legend(loc=2,fontsize=12)#右軸 # 共享x軸，生成次坐標軸 ax2 = ax1.twinx() ax2.plot(range(0,length),y2,'ro-.') ax2.set_ylabel('平均利潤率',fontsize=16) ax2.legend(loc=1,fontsize=12)# 將利潤率坐標軸以百分比格式顯示 import matplotlib.ticker as mtick fmt='%.1f%%' yticks = mtick.FormatStrFormatter(fmt) ax2.yaxis.set_major_formatter(yticks)# 設置圖片title ax1.set_title('不同類型電影平均預算和利潤率',fontsize=20) ax1.grid(False) ax2.grid(False) plt.savefig("不同電影平均預算+利潤率.png",dpi=300) plt.show()# 繪制不同類型電影預算和利潤（條形圖） profit_budget_sort.iloc[:,0:2].plot(kind='bar', figsize=(12,9),color = ['darkorange','b']) plt.title('Budget and Profit',fontsize = 20) plt.xlabel('len',fontsize = 16) plt.grid(False) plt.savefig('不同類型電影預算和利潤-條形圖.png',dpi=300)

5.2.2 電影關鍵詞

#keywords關鍵詞分析 keywords_list = [] for i in df['keywords']:keywords_list.append(i)keywords_list #把字符串列表連接成一個長字符串 lis = ''.join(keywords_list) lis.replace('\'s','') #設置停用詞 stopwords = set(STOPWORDS) stopwords.add('film') wordcloud = WordCloud(background_color = 'black',random_state=9, # 設置一個隨機種子，用于隨機著色stopwords = stopwords,max_words = 3000,scale=1).generate(lis) plt.figure(figsize=(10,6)) plt.imshow(wordcloud) plt.axis('off') plt.savefig('詞云圖.png',dpi=300) plt.show()

運行結果：

5.3 when

查看runtime的類型，發現是object類型，也就是字符串
所以，先進行數據轉化

df.runtime.head(5) # 轉換數據類型 df.runtime = df.runtime.convert_objects(convert_numeric=True) df.runtime.describe()

運行結果：

5.3.1 電影時長

# 可視化 sns.set_style('white') sns.distplot(df.runtime,bins = 20) sns.despine(left = True) # 使用despine()方法來移除坐標軸，默認移除頂部和右側坐標軸 plt.xticks(range(50,360,20)) plt.savefig('電影時長直方圖.png',dpi=300) plt.show()

運行結果：

5.3.2 發行時間

fig = plt.figure(figsize=(8,6))x = list(range(1,13)) y1 = df.groupby('release_month').revenue.size() y2 = df.groupby('release_month').revenue.mean()# 每月單片平均票房# 左軸 ax1 = fig.add_subplot(1,1,1) plt.bar(x,y1,color='b',label='電影數量') plt.grid(False) ax1.set_xlabel('月份') # 設置x軸label ,y軸label ax1.set_ylabel('電影數量',fontsize=16) ax1.legend(loc=2,fontsize=12)# 右軸 ax2 = ax1.twinx() plt.plot(x,y2,'ro--',label='每月單片平均票房') ax2.set_ylabel('每月單片平均票房',fontsize=16) ax2.legend(loc=1,fontsize=12)plt.savefig('每月電影數量和單片平均票房.png',dpi=300)

運行結果：

5.4 where

本數據集收集的是美國地區的電影數據，對于電影的制作公司以及制作國家，在本次的故事背景下不作分析。

5.5 who

5.5.1 票房分布及票房Top10的導演

# 創建數據框 - 導演 director_df = pd.DataFrame() director_df = df[['director','revenue','budget','profit','vote_average']] director_df = director_df.groupby(by = 'director').mean().sort_values(by='revenue',ascending = False) # 取均值 director_df.info()# 繪制票房分布直方圖 director_df['revenue'].plot.hist(bins=100, figsize=(8,6)) plt.xlabel('票房') plt.ylabel('頻數') plt.title('不同導演執導的票房分布') plt.savefig('不同導演執導的票房分布.png',dpi = 300) plt.show()# 票房均值Top10的導演 director_df.revenue.sort_values(ascending = True).tail(10).plot(kind='barh',figsize=(8,6)) plt.xlabel('票房',fontsize = 16) plt.ylabel('導演',fontsize = 16) plt.title('票房排名Top10的導演',fontsize = 20) plt.savefig('票房排名Top10的導演.png',dpi = 300) plt.show()

5.5.2 評分分布及評分Top10的導演

# 繪制導演評分直方圖 director_df['vote_average'].plot.hist(bins=18, figsize=(8,6)) plt.xlabel('評分') plt.ylabel('頻數') plt.title('不同導演執導的評分分布') plt.savefig('不同導演執導的評分分布.png',dpi = 300) plt.show()# 評分均值Top10的導演 director_df.vote_average.sort_values(ascending = True).tail(10).plot(kind='barh',figsize=(8,6)) plt.xlabel('評分',fontsize = 16) plt.ylabel('導演',fontsize = 16) plt.title('評分排名Top10的導演',fontsize = 20) plt.savefig('評分排名Top10的導演.png',dpi = 300) plt.show()

5.6 how

5.6.1 原創VS改編占比（餅圖）

# 創建數據框 original_df = pd.DataFrame() original_df['keywords'] = df['keywords'].str.contains('based on').map(lambda x: 1 if x else 0) original_df['profit'] = df['profit'] original_df['budget'] = df['budget']# 計算 novel_cnt = original_df['keywords'].sum() # 改編作品數量 original_cnt = original_df['keywords'].count() - original_df['keywords'].sum() # 原創作品數量 # 按照 是否原創 分組 original_df = original_df.groupby('keywords', as_index = False).mean() # 注意此處計算的是利潤和預算的平均值 # 增加計數列 original_df['count'] = [original_cnt, novel_cnt] # 計算利潤率 original_df['profit_rate'] = (original_df['profit'] / original_df['budget'])*100# 修改index original_df.index = ['original', 'based_on_novel'] # 計算百分比 original_pie = original_df['count'] / original_df['count'].sum()# 繪制餅圖 original_pie.plot(kind='pie',label='',startangle=90,shadow=False,autopct='%2.1f%%',figsize=(8,8)) plt.title('改編 VS 原創',fontsize=20) plt.legend(loc=2,fontsize=10) plt.savefig('改編VS原創.png',dpi=300)

5.6.2 原創VS改編預算/利潤率（組合圖）

x = original_df.index y1 = original_df.budget y2 = original_df.profit_ratefig= plt.figure(figsize = (8,6))# 左軸 ax1 = fig.add_subplot(1,1,1) plt.bar(x,y1,color='b',label='平均預算',width=0.25) plt.xticks(rotation=0, fontsize=12) # 更改橫坐標軸名稱 ax1.set_xlabel('原創 VS 改編') # 設置x軸label ,y軸label ax1.set_ylabel('平均預算',fontsize=16) ax1.legend(loc=2,fontsize=10)#右軸 # 共享x軸，生成次坐標軸 ax2 = ax1.twinx() ax2.plot(x,y2,'ro-.',linewidth=5,label='平均利潤率') ax2.set_ylabel('平均利潤率',fontsize=16) ax2.legend(loc=1,fontsize=10) # loc=1,2,3,4分別表示四個角，和四象限順序一致# 將利潤率坐標軸以百分比格式顯示 import matplotlib.ticker as mtick fmt='%.1f%%' yticks = mtick.FormatStrFormatter(fmt) ax2.yaxis.set_major_formatter(yticks)plt.savefig('改編VS原創的預算以及利潤率.png',dpi=300)

5.7 how much

5.7.1 計算相關系數

# 計算相關系數矩陣 revenue_corr = df[['runtime','popularity','vote_average','vote_count','budget','revenue']].corr()sns.heatmap(revenue_corr,annot=True, # 在每個單元格內顯示標注cmap="Blues", # 設置填充顏色：黃色，綠色，藍色 # cmap="YlGnBu", # 設置填充顏色：黃色，綠色，藍色 # cmap="coolwarm", # 設置填充顏色：冷暖色cbar=True, # 顯示color barlinewidths=0.5, # 在單元格之間加入小間隔，方便數據閱讀# fmt='%.2f%%', # 本來是確保顯示結果是整數（格式化輸出），此處有問題) plt.savefig('票房相關系數矩陣.png',dpi=300)

運行結果：

5.7.2 票房影響因素散點圖

# 繪制散點圖 fig = plt.figure(figsize=(17,5))# # 學習seaborn參考：https://www.jianshu.com/p/c26bc5ccf604 ax1 = plt.subplot(1,3,1) ax1 = sns.regplot(x='budget', y='revenue', data=revenue_df, x_jitter=.1,color='r',marker='x') # marker: 'x','o','v','^','<' # jitter:抖動項，表示抖動程度 ax1.text(1.6e8,2.2e9,'r=0.7',fontsize=16) plt.title('budget-revenue-scatter',fontsize=20) plt.xlabel('budget',fontsize=16) plt.ylabel('revenue',fontsize=16)ax2 = plt.subplot(1,3,2) ax2 = sns.regplot(x='popularity', y='revenue', data=revenue_df, x_jitter=.1,color='g',marker='o') ax2.text(500,3e9,'r=0.59',fontsize=16) plt.title('popularity-revenue-scatter',fontsize=18) plt.xlabel('popularity',fontsize=16) plt.ylabel('revenue',fontsize=16)ax3 = plt.subplot(1,3,3) ax3 = sns.regplot(x='vote_count', y='revenue', data=revenue_df, x_jitter=.1,color='b',marker='v') ax3.text(7000,2e9,'r=0.75',fontsize=16) plt.title('voteCount-revenue-scatter',fontsize=20) plt.xlabel('vote_count',fontsize=16) plt.ylabel('revenue',fontsize=16)fig.savefig('revenue.png',dpi=300)

總結

以上是生活随笔為你收集整理的Python数据分析-TMDb 5000 Movie Database电影数据分析的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。