R语言电影数据分析:随机森林探索电影受欢迎程度因素、参数调优可视化

简介: R语言电影数据分析:随机森林探索电影受欢迎程度因素、参数调优可视化

是什么让一个电影受欢迎?也许是影片的总收入(影院条目和DVD sellings)。我们选择的变量将是票房(gross) 或观众评分(movie_facebook_likes)点击文末“阅读原文”获取完整代码数据

相关视频

image.png

众所周知,关于IMDB和番茄的好评与高收益的电影有关。我们的分析旨在回答以下研究问题:“我们能在仅知道它的类型,流派(流派变量),MPAA评级(MPAA_RATING变量),发布一个月(thtr_rel_month变量),发布日(thtr_rel_day变量),IMDB的票数(imdb_num_votes变量),评论家得分(critics_score变量)和最佳影片提名(best_pic_nom变量)等变量能否预测一部电影收入?

这篇文章帮助客户通过一些变量来预测电影的收入。文章提供了一个数据集查看文末了解数据免费获取方式,该数据集包括了1970年到2014年之间发布的美国电影的信息,使用随机抽样设计方法抽取。文章选择使用票房(gross)或观众评分(movie_facebook_likes)作为响应变量来研究,最终选择观众评分作为响应变量。

在探索数据分析部分,文章使用了直方图和盒状图的方法来了解分类变量和响应变量之间的关联性,以及数值变量和响应变量之间的交互作用。文章还使用了随机森林算法建立模型,并通过调整参数来寻找最优模型。最终,文章发现IMDB票数、评论家得分和最佳影片提名等变量对于预测电影收入非常重要。

数据

抽样设计

该数据集的目标人群是从1970年和2014年,著名的互联网数据库IMDB随机抽取的电影数据 。

推理范围

“电影”的数据集,应考虑使用一个随机抽样设计,选择美国电影有代表性的样本观察性的回顾性研究,我们的结果应该推广到1970年和2014年间发布的所有美国电影。

data=read.csv("movie_metadata.csv")

827ca638e65f90d67233f6172b066a4f.png

e1305a2000005dfe47e979187bf3b93f.png

探索数据分析

响应变量的分布。首先,我们将检查两个潜在的响应变量之间有高度相关性:票房和观众的分数。

cor(movies$gross, movies$movie_facebook_likes)

9a06db1562cfb19724444c178c4c8201.png

由于这两个变量之间的相关性相当高。在我们的研究中,我们将选择movie_facebook_likes作为响应变量。

让我们先来绘制响应变量的直方图。

ot(movies2, aes(x = movie_facebook_likes)) + geom_histogram() + xlab("Audience Score") + ylab("Coun


b31543eec9d2dd1840992f531c82da15.png

分布分数变量左侧偏斜,可能是单向或双峰。


点击标题查阅往期内容


Python信贷风控模型:Adaboost,XGBoost,SGD, SVC,随机森林, KNN预测信贷违约支付

3c0177c8b10051a268352277095198a7.png

summary(movies2$movie_facebook_likes)

b75b0886ac22b5ceb7885f0d589745e1.png

盒状图

现在,开始探索性数据分析,首先,我们将使用箱图来可视化我们感兴趣的分类变量与响应变量。

likes)) + geom_boxplot() + xlab("title_type") + ylab("movie_f

436d0c2b59816b5edc3d994906849daa.png

country和观众得分关联。

ikes)) + geom_boxplot() + xlab("content_

2a6f7d48da35b5bb0aea8f2f46b4fdb0.png

变量MPAA评级和观众得分关联不是那么明显。content_rating评级可能不适合预测。

响应变量与数值变量的散点图

现在,我们将用散点图可视化我们感兴趣的数值变量如何与我们的响应变量相互作用。

687a68ac3eeba4cb8ffdd669124c1f42.png

正如我们可以看到上面,预测变量之间的相关性不是很高,因为它有助于避免多重共线性。

随机森林建模

随机森林是一种常用的机器学习算法,用于建立预测模型。它基于多个决策树的集成,通过对每个决策树的预测结果进行综合,得出最终的预测结果。下面将介绍随机森林建模过程以及参数调优的方法。

在随机森林建模之前,我们需要先对数据进行预处理和特征选择。在这个示例中,我们以"gross-budget"作为因变量,其余列作为自变量进行建模。下面是建模代码:

randomForest( gross-budget~.-director_nam

上述代码中,"gross-budget~.-director_name"表示以"director_name"列为排除变量,其他列作为自变量进行建模。接下来,我们通过调用"randomForest"函数进行建模,其中"data"是输入的数据。

随机森林建模过程中,我们可以通过参数调优来提升模型性能。

4c73ad1481914d70fee18ec57290b4ce.png 24ef2cec8e99247881eb80a714bf48c2.png

这个结果是随机森林模型对于每个变量的重要性排序。可以看到,num_voted_users(投票用户数)是最重要的变量,其次是num_critic_for_reviews(评论家评价数量)和num_user_for_reviews(普通用户评价数量),这些变量可能与电影的知名度和受欢迎程度有关。其他变量的重要性较低,例如color(颜色)、director_facebook_likes(导演的Facebook赞数)和title_year(发行年份)等。aspect_ratio(宽高比)的重要性为负数,说明这个变量对于模型预测结果的贡献是负面的。

需要注意的是,这里给出的变量重要性仅仅是针对随机森林模型而言,并不能保证在其他的机器学习算法或统计学方法中也是同样的重要性排序。此外,变量重要性也不一定意味着因果关系,只是表明这些变量对于模型预测结果的贡献比较大。

参数调优

参数调优是指通过尝试不同的参数组合,找到最优的参数配置,以提高模型的准确性。在随机森林建模中,可以调整的参数包括ntree(决策树的数量)、mtry(每个决策树的特征选择数量)和nodesize(每个叶节点的最小观测数)等。

下面是参数调优的代码示例:

tueRF(data[1:10,-which(colnaata) %in% c("director_name","actor_2_name","genres","actor_

上述代码中,我们使用"tuneRF"函数来进行参数调优,其中"data[1:10,-which(colnames(data)) %in% c("director_name","actor_2_name","genres","actor")]"表示选择除了"director_name"、"actor_2_name"、"genres"和"actor"列之外的其他列作为自变量。ntreeTry表示尝试的决策树数量,stepFactor表示步进因子。

通过参数调优,我们可以得到最优的参数配置。

ffb085a140f04cf14d346180a5797ef8.png

082991a8235367a78deae97a8a4715ad.png

e4642a35edaf52cf96fcaaf5b49c5d09.png

用最优参数建模

在得到最优的参数配置后,我们可以使用这些参数进行建模。下面是使用最优参数建模的代码示例:

randomForest( gross-budget, ntree=1000, mtry=6, nodesize=5,

ff7f4ea6d6239ecd5d51f87842644e00.png


上述代码中,我们使用"randomForest"函数进行建模,其中"ntree=1000"表示决策树的数量,"mtry=6"表示每个决策树的特征选择数量,"nodesize=5"表示每个叶节点的最小观测数。

通过建立模型并获得结果,我们可以评估模型的性能和预测效果。

从结果来看,残差是独立的,误差在可接受范围内。

收入作为因变量

f <- randomForest( gross ~.-direc

变量重要性

8963fcfae53c71fbf120b02955aaedb7.png

ImpPlot(rf,t

8ee508ce83a8cc0ccc32b4a7401a2be3.png

发现最优参数

stmtry <- tuneRF(data[1:10,-whi

18439a539cae0f1cd50d55b4a71bcf44.png

94d49000438a476b7a5526ec18b2c656.png


最优参数建模

orest( groslangu1000, mtry=6, nodesize=5, importance=T)

4bb92d93e23992f62dc2547d7849ae29.png

相关文章
|
2月前
|
数据可视化 数据挖掘 图形学
R语言基础可视化:使用ggplot2构建精美图形的探索
【8月更文挑战第29天】 `ggplot2`是R语言中一个非常强大的图形构建工具,它基于图形语法提供了一种灵活且直观的方式来创建各种统计图形。通过掌握`ggplot2`的基本用法和美化技巧,你可以轻松地将复杂的数据转化为直观易懂的图形,从而更好地理解和展示你的数据分析结果。希望本文能够为你探索`ggplot2`的世界提供一些帮助和启发。
|
2月前
|
数据可视化 数据挖掘 数据处理
R语言高级可视化技巧:使用Plotly与Shiny制作互动图表
【8月更文挑战第30天】通过使用`plotly`和`shiny`,我们可以轻松地创建高度互动的数据可视化图表。这不仅增强了图表的表现力,还提高了用户与数据的交互性,使得数据探索变得更加直观和高效。本文仅介绍了基本的使用方法,`plotly`和`shiny`还提供了更多高级功能和自定义选项,等待你去探索和发现。希望这篇文章能帮助你掌握使用`plotly`和`shiny`制作互动图表的技巧,并在你的数据分析和可视化工作中发挥更大的作用。
|
1月前
|
数据采集 算法 搜索推荐
R语言营销数据分析:使用R进行客户分群的实践探索
【9月更文挑战第1天】R语言以其强大的数据处理和统计分析能力,在金融数据分析、营销数据分析等多个领域发挥着重要作用。通过R语言进行客户分群,企业可以更好地理解客户需求,制定精准的营销策略,提升市场竞争力和客户满意度。未来,随着大数据和人工智能技术的不断发展,R语言在营销数据分析中的应用将更加广泛和深入。
|
1月前
|
机器学习/深度学习 算法 前端开发
R语言基础机器学习模型:深入探索决策树与随机森林
【9月更文挑战第2天】决策树和随机森林作为R语言中基础且强大的机器学习模型,各有其独特的优势和适用范围。了解并熟练掌握这两种模型,对于数据科学家和机器学习爱好者来说,无疑是一个重要的里程碑。希望本文能够帮助您更好地理解这两种模型,并在实际项目中灵活应用。
|
1月前
|
机器学习/深度学习 算法
R语言超参数调优:深入探索网格搜索与随机搜索
【9月更文挑战第2天】网格搜索和随机搜索是R语言中常用的超参数调优方法。网格搜索通过系统地遍历超参数空间来寻找最优解,适用于超参数空间较小的情况;而随机搜索则通过随机采样超参数空间来寻找接近最优的解,适用于超参数空间较大或计算资源有限的情况。在实际应用中,可以根据具体情况选择适合的方法,并结合交叉验证等技术来进一步提高模型性能。
|
2月前
|
数据可视化
R语言可视化设计原则:打造吸引力十足的数据可视化
【8月更文挑战第30天】R语言可视化设计是一个综合性的过程,需要综合运用多个设计原则来创作出吸引力十足的作品。通过明确目标、选择合适的图表类型、合理运用色彩与视觉层次、明确标注与引导视线以及引入互动性与动态效果等原则的应用,你可以显著提升你的数据可视化作品的吸引力和实用性。希望本文能为你提供一些有益的启示和帮助。
|
1月前
|
数据采集 机器学习/深度学习 数据可视化
R语言从数据到决策:R语言在商业分析中的实践
【9月更文挑战第1天】R语言在商业分析中的应用广泛而深入,从数据收集、预处理、分析到预测模型构建和决策支持,R语言都提供了强大的工具和功能。通过学习和掌握R语言在商业分析中的实践应用,我们可以更好地利用数据驱动企业决策,提升企业的竞争力和盈利能力。未来,随着大数据和人工智能技术的不断发展,R语言在商业分析领域的应用将更加广泛和深入,为企业带来更多的机遇和挑战。
|
5月前
|
数据可视化 数据挖掘 API
【R语言实战】聚类分析及可视化
【R语言实战】聚类分析及可视化
|
5月前
|
机器学习/深度学习 数据可视化
R语言逻辑回归logistic模型ROC曲线可视化分析2例:麻醉剂用量影响、汽车购买行为2
R语言逻辑回归logistic模型ROC曲线可视化分析2例:麻醉剂用量影响、汽车购买行为
|
1月前
|
数据采集 数据可视化 数据挖掘
R语言在金融数据分析中的深度应用:探索数据背后的市场智慧
【9月更文挑战第1天】R语言在金融数据分析中展现出了强大的功能和广泛的应用前景。通过丰富的数据处理函数、强大的统计分析功能和优秀的可视化效果,R语言能够帮助金融机构深入挖掘数据价值,洞察市场动态。未来,随着金融数据的不断积累和技术的不断进步,R语言在金融数据分析中的应用将更加广泛和深入。