项目介绍，需求分析
项目介绍：
今天我们要对用户消费行为进行分析，用户消费行为数据分析项目旨在利用大量用户消费数据，通过数据挖掘和分析技术，深入了解用户在产品或服务上的消费行为模式和习惯。通过对数据的挖掘和分析，该项目可以帮助企业更好地了解其用户，优化产品或服务，提高用户满意度，增加用户忠诚度，并在竞争激烈的市场中获得优势
user_id:用户ID，order_dt:购买日期，order_products:购买产品数量,order_amount:购买金额
数据时间：1997年1月~1998年6月用户行为数据，约6万条
需求分析：
数据收集：项目的第一步是收集大量的用户消费数据。这些数据可以包括购买记录、浏览行为、搜索行为、点击率、用户反馈等。数据可以来自企业已有的数据库，也可以通过第三方数据提供商获得。
数据清洗与预处理：收集到的数据可能存在错误、缺失或重复项，需要进行数据清洗和预处理，确保数据的准确性和完整性，使其适合后续的分析工作。
数据探索性分析：在进行深入分析之前，需要对数据进行探索性分析，通过可视化和统计方法发现数据中的规律和趋势，发现潜在的模式和异常情况。
用户消费行为模式分析：利用数据挖掘技术，对用户的消费行为进行建模和分析，找出用户在购买产品或使用服务时的常见模式和习惯，例如购买的时间、频率、金额等。
用户群体划分：根据用户的消费行为和特征，将用户划分为不同的群体或细分市场。这有助于企业更好地了解不同群体的需求和偏好，针对性地推出营销策略。
用户留存和流失分析：分析用户的留存和流失情况，找出导致用户流失的原因，并采取措施提高用户的留存率。
个性化推荐系统：基于用户的消费行为模式和偏好，开发个性化推荐系统，向用户推荐符合其兴趣的产品或服务，提高销售和用户满意度。
可视化与报告：将分析结果以可视化的方式呈现，例如图表、报表和仪表盘，帮助企业管理层更直观地理解数据并做出决策。
数据保密与安全：在整个项目过程中，保障用户数据的隐私和安全，确保符合相关法律法规和企业内部的数据保护政策。
持续优化：数据分析是一个持续优化的过程，项目团队应与业务团队保持紧密合作，根据反馈和结果不断优化分析模型和推荐系统，确保项目的长期价值。
通过以上需求分析，用户消费行为数据分析项目将帮助企业深入了解用户需求，优化产品或服务，提高用户满意度和忠诚度，从而在竞争激烈的市场中取得竞争优势。
导入数据，初步分析数据
import numpy as np import pandas as pd import matplotlib.pyplot as plt from datetime import datetime %matplotlib inline plt.style.use('ggplot') #更改绘图风格，R语言绘图库的风格 plt.rcParams['font.sans-serif'] = ['SimHei'] # 导入数据 columns = ['user_id','order_dt','order_products','order_amount'] df = pd.read_table('CDNOW_master.txt',names=columns,sep='\s+') #sep:'\s+':匹配任意个空格 df.head()
分析输出结果可得：
- 日期格式需要转换
- 存在同一个用户一天内购买多次行为
df.describe()
3. 用户平均每笔订单购买2.4个商品，标准差2.3，稍微有点波动，属于正常。
然而75%分位数的时候，说明绝大多数订单的购买量都不多，围绕在2~3个产品左右；
4. 购买金额，反映出大部分订单消费金额集中在中小额，30~45左右
查看索引，数据类型。
df.info()
数据预处理
f['order_date'] = pd.to_datetime(df['order_dt'],format='%Y%m%d') df['month'] = df['order_date'].astype('datetime64[M]') #[M] :控制转换后的精度 df.head() # df.info()
format参数：按照指定的格式去匹配要转换的数据列。
%Y:四位的年份1994 %m:两位月份05 %d:两位月份31
%y：两位年份94 %h:两位小时09 %M：两位分钟15 %s:两位秒
将order_date转化成精度为月份的数据列
用户整体消费趋势分析（按月份）
按月份统计产品购买数量，消费金额，消费次数，消费人数
plt.figure(figsize=(20,15)) #单位时英寸 # 每月的产品购买数量 plt.subplot(221) #两行两列，占据第一个位置 df.groupby(by='month')['order_products'].sum().plot() #默认折线图 plt.title('每月的产品购买数量') # 每月的消费金额 plt.subplot(222) #两行两列 df.groupby(by='month')['order_amount'].sum().plot() #默认折线图 plt.title('每月的消费金额') # 每月的消费次数 plt.subplot(223) #两行两列 df.groupby(by='month')['user_id'].count().plot() #默认折线图 plt.title('每月的消费次数') # 每月的消费人数（根据user_id进行去重统计，再计算个数） plt.subplot(224) #两行两列 df.groupby(by='month')['user_id'].apply(lambda x:len(x.drop_duplicates())).plot() #默认折线图 plt.title('每月的消费人数')
分析结果：
- 图一可以看出，前三个月销量非常高，而以后销量较为稳定，并且稍微呈现下降趋势
- 图二可以看出,依然前三个消费金额较高，与消费数量成正比例关系，三月份过后下降严重，并呈现下降趋势，思考原因？1：跟月份有关，
- 在我国，1，2，3月份处于春节前后。2.公司在1，2，3，月份的时候是否加大了促销力度
- 图三可以看出，前三个月订单数在10000左右，后续月份的平均消费单数在2500左右
- 图四可以看出，前三个月消费人数在8000~10000左右，后续平均消费消费在2000不到的样子
- 总结：所有数据显示，97年前三月消费事态异常，后续趋于常态化
用户个体消费分析
用户消费金额，消费次数(产品数量)描述统计
user_grouped = df.groupby(by='user_id').sum() print(user_grouped.describe()) print('用户数量:',len(user_grouped))
- 从用户的角度：用户数量23570个，每个用户平均购买7个CD，但是中位数只有3，
- 并且最大购买量为1033，平均值大于中位数，属于典型的右偏分布(替购买量<7的用户背锅)
- 从消费金额角度：平均用户消费106，中位数43，并且存在土豪用户13990，结合分位数和最大值来看，平均数与75%分位数几乎相等，属于典型的右偏分布，说明存在小部分用户（后面的25%）高额消费（这些用户需要给消费金额<106的用户背锅，只有这样才能使平均数维持在106）
绘制每个用户的产品的购买量与消费金额散点图
df.plot(kind='scatter',x='order_products',y='order_amount')
- 从图中可知，用户的消费金额与购买量呈现线性趋势，每个商品均价15左右
- 订单的极值点比较少（消费金额>1000，或者购买量大于60）,对于样本来说影响不大，可以忽略不记。
用户消费分布图
plt.figure(figsize=(12,4)) plt.subplot(121) plt.xlabel('每个订单的消费金额') df['order_amount'].plot(kind='hist',bins=50) #bins:区间分数，影响柱子的宽度，值越大柱子越细。宽度=（列最大值-最小值）/bins #消费金额在100以内的订单占据了绝大多数 plt.subplot(122) plt.xlabel('每个uid购买的数量') df.groupby(by='user_id')['order_products'].sum().plot(kind='hist',bins=50)
- 图二可知，每个用户购买数量非常小，集中在50以内
- 两幅图得知，我们的用户主要是消费金额低，并且购买小于50的用户人数占据大多数（在电商领域是非常正常的现象）
用户累计消费金额占比分析用户的贡献度）
进行用户分组，取出消费金额，进行求和，排序，重置索引
user_cumsum = df.groupby(by='user_id')['order_amount'].sum().sort_values().reset_index() user_cumsum
每个用户消费金额累加
# 累加器举例： # a = [1,2,3,4,5,6,7] # print(np.cumsum(a)) user_cumsum['amount_cumsum'] = user_cumsum['order_amount'].cumsum() user_cumsum.tail()
amount_total = user_cumsum['amount_cumsum'].max() #消费金额总值 user_cumsum['prop'] = user_cumsum.apply(lambda x:x['amount_cumsum']/amount_total,axis=1) #前xx名用户的总贡献率 user_cumsum.tail()
user_cumsum['prop'].plot()
由图分析可知，前20000名用户贡献总金额的40%，剩余3500名用户贡献了60%。（2/8原则）
用户消费行为
1.首购时间
#用户分组，取最小值，即为首购时间， # A 1997-1-1 # B 1997-1-1 # 1997-1-1 ?（2个） df.groupby(by='user_id')['order_date'].min().value_counts().plot()
由图可知，首次购买的用户量在1月1号~2月10号呈明显上升趋势，后续开始逐步下降，猜测：有可能是公司产品的推广力度或者价格调整所致
2.最后一次购买时间
df.groupby(by='user_id')['order_date'].max().value_counts().plot()
- 大多数用户最后一次购买时间集中在前3个月，说明缺少忠诚用户。
- 随着时间的推移，最后一次购买商品的用户量呈现上升趋势，猜测：这份数据选择是的前三个月消费的用户在后面18个月的跟踪记录
用户分层
1.构建RFM模型分析并可视化
#透视表的使用（index:相当于groupby,values:取出的数据列，aggfunc:key值必须存在于values列中，并且必须跟随有效的聚合函数） rfm = df.pivot_table(index='user_id', values=['order_products','order_amount','order_date'], aggfunc={ 'order_date':'max',# 最后一次购买 'order_products':'sum',# 购买产品的总数量 'order_amount':'sum' #消费总金额 }) rfm.head()
用每个用户的最后一次购买时间-日期列中的最大值，最后再转换成天数，小数保留一位
rfm['R'] = -(rfm['order_date']-rfm['order_date'].max())/np.timedelta64(1,'D') #取相差的天数，保留一位小数 rfm.rename(columns={'order_products':'F','order_amount':'M'},inplace=True) rfm.head()
RFM计算方式：每一列数据减去数据所在列的平均值，有正有负，根据结果值与1做比较，如果>=1,设置为1，否则0
def rfm_func(x): #x:分别代表每一列数据 level = x.apply(lambda x:'1' if x>=1 else '0') label = level['R'] + level['F'] + level['M'] #举例：100 001 d = { '111':'重要价值客户', '011':'重要保持客户', '101':'重要发展客户', '001':'重要挽留客户', '110':'一般价值客户', '010':'一般保持客户', '100':'一般发展客户', '000':'一般挽留客户' } result = d[label] return result # rfm['R']-rfm['R'].mean() rfm['label'] = rfm[['R','F','M']].apply(lambda x:x-x.mean()).apply(rfm_func,axis =1) rfm.head()
客户分层可视化
for label,grouped in rfm.groupby(by='label'): # print(label,grouped) x = grouped['F'] # 单个用户的购买数量 y = grouped['R'] #最近一次购买时间与98年7月的相差天数 plt.scatter(x,y,label=label) plt.legend() #显示图例 plt.xlabel('F') plt.ylabel('R')
2.新老，活跃，回流用户分析
- 新用户的定义是第一次消费。
- 活跃用户即老客，在某一个时间窗口内有过消费。
- 不活跃用户则是时间窗口内没有消费过的老客。
- 回流用户：相当于回头客的意思。
- 用户回流的动作可以分为自主回流与人工回流，自主回流指玩家自己回流了，而人工回流则是人为参与导致的。
pivoted_counts = df.pivot_table( index='user_id', columns ='month', values = 'order_dt', aggfunc = 'count' ).fillna(0) pivoted_counts.head()
#由于浮点数不直观，并且需要转成是否消费过即可，用0、1表示
df_purchase = pivoted_counts.applymap(lambda x:1 if x>0 else 0) # apply:作用与dataframe数据中的一行或者一列数据 # applymap:作用与dataframe数据中的每一个元素 # map:本身是一个series的函数，在df结构中无法使用map函数，map函数作用于series中每一个元素的 df_purchase.head()
def active_status(data): #data：每一行数据（共18列） status = [] #存储用户18个月的状态（new|active|unactive|return|unreg） for i in range(18): #判断本月没有消费==0 if data[i] ==0: if len(status)==0: #前几个月没有任何记录（也就是97年1月==0） status.append('unreg') else:#之前的月份有记录（判断上一个月状态） if status[i-1] =='unreg':#一直没有消费过 status.append('unreg') else:#上个月的状态可能是：new|active|unative|reuturn status.append('unactive') else:#本月有消费==1 if len(status)==0: status.append('new') #第一次消费 else:#之前的月份有记录（判断上一个月状态） if status[i-1]=='unactive': status.append('return') #前几个月不活跃，现在又回来消费了，回流用户 elif status[i-1]=='unreg': status.append('new') #第一次消费 else:#new|active status.append('active') #活跃用户 return pd.Series(status,df_purchase.columns) #值：status,列名：18个月份 purchase_states = df_purchase.apply(active_status,axis=1) #得到用户分层结果 purchase_states.head()
把unreg状态用nan替换
purchase_states_ct = purchase_states.replace('unreg',np.NaN).apply(lambda x:pd.value_counts(x)) purchase_states_ct.head()
- 由图可知：灰色区域是不活跃用户，占比较大
- 前三个月新用户，还是活跃用户呈现了上升趋势，猜测由于活动造成的影响
- 3月份过后，紫色回流用户，红色活跃用户，都呈现下降趋势，并且趋于平稳状态
- 3月份过后，新用户量几乎没有大量增加
每月中回流用户占比情况（占所有用户的比例）
plt.figure(figsize=(12,6)) rate = purchase_states_ct.fillna(0).T.apply(lambda x:x/x.sum(),axis=1) plt.plot(rate['return'],label='return') plt.plot(rate['active'],label='active') plt.legend()
- 由图可知，前3个月，活跃用户占比比较大，维持在7%左右，而回流用户比例在上升，由于new用户还没有足够时间变成回流用户
- 4月份过后，不论是活跃用户，还是回流用户都呈现出下降趋势，但是回流用户依然高于活跃用户。
用户的购买周期
shift函数：将数据移动到一定的位置
shift函数：将数据移动到一定的位置 data1 = pd.DataFrame({ 'a':[0,1,2,3,4,5], 'b':[5,4,3,2,1,0] }) data1.shift(axis=0) #整体向下移动一个位置（默认值：axis=0） data1.shift(axis=1)
计算购买周期（购买日期的时间差值）
order_diff = df.groupby(by='user_id').apply(lambda x:x['order_date']-x['order_date'].shift()) #当前订单日期-上一次订单日期 order_diff.describe()
(order_diff/np.timedelta64(1,'D')).hist(bins = 20) #影响柱子的宽度， 每个柱子的宽度=（最大值-最小值）/bins
- 得知：平均消费周期为68天
- 大多数用户消费周期低于100天
- 呈现典型的长尾分布，只有小部分用户消费周期在200天以上（不积极消费的用户），可以在这批用户消费后3天左右进行电话回访后者短信
- 赠送优惠券等活动，增大消费频率
用户生命周期
#计算方式：用户最后一次购买日期(max)-第一次购买的日期(min)。如果差值==0，说明用户仅仅购买了一次
user_life = df.groupby('user_id')['order_date'].agg(['min','max']) (user_life['max']==user_life['min']).value_counts().plot.pie(autopct='%1.1f%%') #格式化成1为小数 plt.legend(['仅消费一次','多次消费'])
一半以上的用户仅仅消费了一次，说明运营不利，留存率不好
(user_life['max']-user_life['min']).describe() #生命周期分析
- 用户平均生命周期为134天，但是中位数==0，再次验证大多数用户消费了一次，低质量用户。
- 75%分位数以后的用户，生命周期>294天，属于核心用户，需要着重维持。
- 前三个月的新用户数据，所以分析的是这些用户的生命周期
绘制所有用户生命周期直方图+多次消费
plt.figure(figsize=(12,6)) plt.subplot(121) ((user_life['max']-user_life['min'])/np.timedelta64(1,'D')).hist(bins=15) plt.title('所有用户生命周期直方图') plt.xlabel('生命周期天数') plt.ylabel('用户人数') plt.subplot(122) u_1 = (user_life['max']-user_life['min']).reset_index()[0]/np.timedelta64(1,'D') u_1[u_1>0].hist(bins=15) plt.title('多次消费的用户生命周期直方图') plt.xlabel('生命周期天数') plt.ylabel('用户人数')
- 对比可知，第二幅图过滤掉了生命周期==0的用户，呈现双峰结构
- 虽然二图中还有一部分用户的生命周期趋于0天，但是比第一幅图好了很多，虽然进行了多次消费，但是不成长期
- 来消费，属于普通用户，可针对性进行营销推广活动
- 少部分用户生命周期集中在300~500天，属于我们的忠诚客户，需要大力度维护此类客户
复购率和回购率分析
复购率分析
计算方式：在自然月内，购买多次的用户在总消费人数中的占比（若客户在同一天消费了多次，也称之复购用户）
消费者有三种：消费记录>=2次的；消费中人数；本月无消费用户；
复购用户:1 非复购的消费用户：0 自然月没有消费记录的用户：NAN(不参与count计数)
purchase_r = pivoted_counts.applymap(lambda x: 1 if x>1 else np.NaN if x==0 else 0) purchase_r.head() #purchase_r.sum() :求出复购用户 #purchase_r.count():求出所有参与购物的用户（NAN不参与计数） (purchase_r.sum()/purchase_r.count()).plot(figsize=(12,6))
- 前三个月复购率开始上升，后续趋于平稳维持在20%~22%之间。
- 分析前三个月复购率低的原因，可能是因为大批新用户仅仅购买一次造成的。
回购率分析
计算方式：在一个时间窗口内进行了消费，在下一个窗口内又进行了消费
def purchase_back(data): status = [] #存储用户回购率状态 #1:回购用户 0：非回购用户（当前月消费了，下个未消费） NaN:当前月份未消费 for i in range(17): #当前月份消费了 if data[i] == 1: if data[i+1]==1: status.append(1) #回购用户 elif data[i+1] == 0: #下个月未消费 status.append(0) else: #当前月份未进行消费 status.append(np.NaN) status.append(np.NaN) #填充最后一列数据 return pd.Series(status,df_purchase.columns) purchase_b = df_purchase.apply(purchase_back,axis=1) purchase_b.head()
回购率可视化
plt.figure(figsize=(20,4)) plt.subplot(211) #回购率 (purchase_b.sum() / purchase_b.count()).plot(label='回购率') #复购率 (purchase_r.sum()/purchase_r.count()).plot(label='复购率') plt.legend() plt.ylabel('百分比%') plt.title('用户回购率和复购率对比图')
回购人数与购物总人数
plt.subplot(212) plt.plot(purchase_b.sum(),label='回购人数') plt.plot(purchase_b.count(),label='购物总人数') plt.xlabel('month') plt.ylabel('人数') plt.legend()
- 回购率可知，平稳后在30%左右，波形性稍微较大
- 复购率低于回购率，平稳后在20%左右，波动小较小
前三个月不困是回购还是复购，都呈现上升趋势，说明新用户需要一定时间来变成复购或者回购用户 - 结合新老用户分析，新客户忠诚度远低于老客户忠诚度。
- 前三个月购物总人数远远大于回购人数，主要是因为很多新用户在1月份进了首次购买
- 三个月后，回购人数和购物总数开始稳定，回购人数稳定在1000左右，购物总人数在2000左右。
结论
1．整体趋势：按年的月份趋势销量和销售额在1-3月份相对极高，然后骤降，原因可能跟这段时间的大力促销或与商品的季度属性有关。2．用户个体特征：每笔订单的金额和商品购买量都集中在区间的低段水平，都是小金额小批量进行购买，此类交易群体，可在丰富产品线和增加促销活动提高转换率和购买率。
3．大部分用户的消费总额和购买总量都集中刚在低段◇长尾分布◇这个跟用户需求有关，可以对商品进行多元文化价值的赋予，增强其社交价值属性，提高用户的价值需求。
4．用户的消费周期：有二次以上消费的用户，平均68天，所以在50天到60天期间，应该对这批用户进行刺激召回，细致点，比如10天回复满意度，30天发放优惠券，55天的时候提醒优惠券的使用。
5．用户的生命周期：有二次及以上消费的用户的平均生命周期是276天。用户的生命周期分别在20天内与400至500天间，应该在20天内对客户进行引导，促进其再次消费并形成消费习惯◇延长其生命周期；在100至400天的用户，也要根据其特点推出有针对性的营销活动，引导其持续消费。
6.．新客户的复购率约为12%，老客户的复购率在20％左右；新客户的回购率在15％左右，老客户的回购率在30％左右，需要营销策略积极引导其再次消费及持续消费。
7．用户质量：用户个体消费有一定规律性，大部分用户的消费集中在2000以下，用户消费反应了2/8法则，消费排名前20％的用户贡献了80%的消费额。所以说，狠抓高质量用户是万古不变的道理，这些高质量客户都是"会员"类型，需要专门为会员优化购物体验，比如专线接听、特殊优惠等等。
方法总结：
1．针对用户进行按照月份做整体和个体分析，主要分析维度是人数，消费金额，购买量
2．消费分析：首购时间，最后一次购买时间，相邻两个购物时间的间隔，用户分层（ RFM 模型＋数据透视表），分析维度主要是新用户，活跃用户，不活跃用户流失分析，回流用户占比
3．复购率和回购率进行分析
