违背基本假设6| 学习笔记

简介: 快速学习违背基本假设6。

开发者学堂课程【机器学习算法 :违背基本假设6】学习笔记,与课程紧密联系,让用户快速学习知识。

课程地址:https://developer.aliyun.com/learning/course/535/detail/7209


违背基本假设6

 

内容介绍:

一、常见不满足基本假设的情况

 

一、 常见不满足基本假设的情况

image.png

1. 异方差

2. 自相关

3. 异常值

回归分析中,一些异常或者极端的观测值可能会引起较大的残差,影响回归拟合的结果。

image.png

异常值成因

消除方法

数据录入错误

重新核实数据

数据测量错误

重新测量数据

数据随机误差

删除、或者重新观测数据

缺少重要自变量

增加相应自变量

缺少观测数据

增加观测数据

存在异方差

消除异方差,如加权回归等

模型选择错误

更改模型,如改成非线性回归

异常值的常见情况:

因变量 y 出现异常值:一般认为残差超过 image.png 即为异常值。

标注化残差:image.png

删除残差:image.png

学生化残差:image.png,其中image.png 为杠杆值,为帽子矩阵 image.png 的主对角线元素

删除学生化残差:image.png,P 为自变量个数,image.png的观测值被认为是异常值

自变量 X 出现异常值

image.png 为杠杆值,表示自变量第i次观测值与自变量平均值之间的距离,杠杆值 image.png 大的样本点为强影响电。刚感知的平均值 image.pngimage.png 大于2倍或3倍的平均值 image.png 时,被认为是大的

库克距离:image.png反应了 image.png 与残差的综合效应,当 image.png 不是异常值,当 image.png 是异常值

image.png

相关文章
|
机器学习/深度学习 算法 数据可视化
复杂网络-常用绘图软件和库
复杂网络-常用绘图软件和库
778 0
复杂网络-常用绘图软件和库
|
3月前
|
监控 搜索推荐 API
小红书开放平台评论接口全解析:从采集到情感分析
本接口可合法获取小红书笔记评论数据,支持分层评论、分页及排序功能,适用于舆情监控与用户画像分析。提供Python请求示例,兼容性强,返回数据可直接用于Pandas分析。
|
8月前
|
机器学习/深度学习 人工智能 算法
《强化学习“新势力”:策略梯度算法大揭秘》
策略梯度算法是强化学习中的核心方法,直接优化智能体的策略以最大化奖励。REINFORCE算法作为基础,通过蒙特卡洛采样估计策略梯度,但存在高方差问题,可通过引入基线或标准化累积奖励来改善。Actor-Critic算法结合价值函数估计,降低方差并实现实时更新,适用于复杂任务。DDPG扩展至连续动作空间,而TD3进一步优化稳定性。PPO和TRPO则通过限制策略更新幅度提升训练可靠性。这些算法各具特色,在机器人控制、自动驾驶等领域展现巨大潜力,推动强化学习不断突破。
284 3
|
3月前
|
缓存 前端开发 JavaScript
性能测试指标拟定参考
本文介绍性能测试关键指标与实施要点,涵盖用户数、业务量、核心场景及性能指标(如TPS、响应时间、波动率)的调查方法,指导如何科学评估系统处理能力与稳定性。
|
10月前
|
人工智能 安全 算法
《生成式AI牵手量子密码学,网络安全开启“超维”防护》
在数字时代,网络安全至关重要。传统防护手段逐渐失效,量子密码学与生成式AI的结合带来了新曙光。量子密码学基于量子力学原理,提供无条件安全的密钥分发;生成式AI则通过智能分析和模拟攻击,提升检测与防御效率。两者携手,优化密钥管理、加密算法及数据隐私保护,为网络安全带来全方位突破。学术界与产业界的共同努力将推动这一变革,构筑坚不可摧的安全防线。
440 4
|
存储 Docker 容器
docker中挂载数据卷到容器
【10月更文挑战第13天】
479 2
|
安全 异构计算
为大型语言模型 (LLM) 提供服务需要多少 GPU 内存?
为大型语言模型 (LLM) 提供服务需要多少 GPU 内存?
1080 0
为大型语言模型 (LLM) 提供服务需要多少 GPU 内存?
|
网络协议 安全 Python
Scapy一个强大的 Python 程序(二)
Scapy是Python的网络安全工具,可用于创建和修改网络包
374 1
|
机器学习/深度学习 人工智能 搜索推荐
深度学习在医疗影像诊断中的应用与前景####
本文深入探讨了深度学习技术在医疗影像诊断领域的应用现状、面临的挑战以及未来发展趋势。通过分析卷积神经网络(CNN)等深度学习模型在处理复杂医学图像时的优势,结合具体案例,如癌症早期检测、疾病分类及分割等方面取得的显著成果,展示了深度学习如何革新传统医疗影像分析方法。同时,文章也指出了数据隐私保护、模型解释性不足、临床集成难度大等问题,并展望了联邦学习、可解释AI、多模态融合等技术在解决这些问题上的潜力,为推动深度学习在医疗健康领域的更广泛应用提供了思路。 ####
742 0
|
存储 数据可视化 数据挖掘
利用Matplotlib实现地图可视化
【4月更文挑战第17天】使用Matplotlib结合GeoPandas和Basemap在Python中实现地图可视化。首先安装Matplotlib、GeoPandas和Basemap库。读取GeoJSON或Shapefile格式的地理数据,然后使用Basemap创建地图底图,绘制海岸线、国家边界和大陆湖泊。将GeoDataFrame数据转换后叠加到地图上,自定义地图样式和添加图例。利用颜色映射展示与地理位置相关的数值数据,创建颜色条。此外,可通过Folium实现交互式地图。通过学习和实践,提升地图可视化的技能。