AI分析手机实现精准扶贫:伯克利研究登上Nature

简介: AI分析手机实现精准扶贫:伯克利研究登上Nature

新冠大流行摧毁了许多低收入和中等收入国家,导致广泛的粮食不安全以及生活水平的急剧下降。为了应对这场危机,世界各国政府和人道主义组织已向超过 15 亿人分发了社会援助。但是,他们正面临着一个关键的挑战:在现有数据的情况下,快速确定最需要援助的目标人群仍是一项艰巨的任务。

在近日发表在 Nature 上的论文《Machine Learning and Phone Data can Improve Targeting of Humanitarian Aid》中,来自加州大学伯克利分校、德国曼海姆大学、美国西北大学的研究者展示了利用手机网络的数据可以提升人道主义救援的针对性。

他们使用传统调研数据来训练机器学习算法,以识别用户手机数据中的贫困状况。然后,经过训练的算法可以优先向那些最贫困的手机用户提供援助。


论文地址:https://www.nature.com/articles/s41586-022-04484-9

研究者通过研究西非国家多哥(Togo)的一个旗舰紧急现金转移项目(Novissi)对方法进行了评估,这项计划使用算法分配了价值数百万美元的新冠救济援助金。他们在分析中比较了不同目标确定机制下的结果,包括排除误差(exclusion errors,真正的穷人被错误地认为没有资格)、总体社会福利和公平性衡量。

相较于多哥政府采用的地理位置目标确定方法,研究者使用机器学习方法将排除误差减少了 4–21%。而相较于需要全面社会登记(一种假设,多哥并不存在这种登记)的方法,机器学习方法将排除误差增加了 9–35%。这些结果强调了新数据源在确定人道援助方面能够对传统方法做出补充,尤其是在传统数据缺失或过时的危机环境中。

研究背景

我们先来了解一下多哥的旗舰紧急现金转移项目 Novissi。2020 年 4 月,在首批新冠病例出现不久,多哥政府推出了这一项目。由于经济限制命令导致很多多哥人停工,并引发了广泛的粮食安全问题。Novissi 项目旨在为受影响最重的人提供生存现金援助。


项目地址:https://publicadministration.un.org/zh/Themes/Digital-Government/Good-Practices-for-Digital-Government/Compendium/CompendiumID/472

但是,当多哥政府刚开始推出 Novissi 项目时,没有可用来评估获援资格的传统社会登记系统,也抽不出时间或资源在新冠流行期间构建这类登记系统。最近的一次人口普查完成于 2011 年,没有包含家庭富裕或贫困信息。最近的国家生活水平调查仅仅涵盖了一部分家庭。

在这种情况下,Novissi 项目的援助资格根据 2019 年末更新的国家选民登记系统中包含的数据来确定。但遗憾的是,这种方法无法将多哥最贫困家庭纳入 Novissi 项目的援助范围。

该研究旨在帮助多哥政府将 Novissi 项目的援助范围从首都洛美的非正式工作者扩展到乡村地区的更贫困人群,在实现过程中还要满足多哥政府的两个既定政策目标:将援助引向该国最贫困的地理区域;优先向这些地理区域的最贫困手机用户分配援助。

基于此,研究者使用机器学习算法分析了从卫星到手机网络上的非传统数据,并最终提升了最贫困手机用户人群的目标确定。

对手机用户进行调查,确定用户财富和消费水平

第一步将机器学习算法用于高分辨率卫星图像,以获得多哥每 2.4 公里 × 2.4 公里区域财富微观估计。这些估计提供了每个小网格单元中所有家庭相对财富,之后对这些网格单元进行人口加权平均,从而得出多哥最小行政单元财富估计。

第二步通过机器学习算法对多哥两家移动电话运营商提供的移动电话元数据进行处理,以估计每个移动电话用户的平均日消费。

具体而言,该研究从多哥两家移动网络运营商那里获得了 2018-2021 年特定时间段的手机元数据(呼叫详细记录 (CDR))。该研究重点关注移动网络数据的三个分段片:2018 年 10 月至 12 月、2019 年 4 月至 6 月和 2020 年 3 月至 9 月。CDR 数据包含以下信息。通话:来电者电话号码、接收者电话号码、通话日期和时间、通话时长、拨打电话的基站 ID;SMS 消息:发送方电话号码、接收方电话号码、消息的日期和时间、发送消息的天线 ID;移动数据使用:电话号码、交易日期和时间、数据消耗量(上传和下载相结合);移动货币交易:发送方电话号码、接收方电话号码(如果是点对点)、交易日期和时间、交易金额以及交易类型的广泛类别(现金、现金、点对点或 账单支付)。

该研究对具有代表性的手机用户进行了调查,并用这些调查来衡量每个用户的财富或消费,然后将基于调查的估计与每个用户使用手机历史的详细元数据相匹配,采用有监督机器学习算法对样本数据进行训练,通过手机使用来预测用户财富和消费水平。这第二步与传统的代理生活状况调查 ( proxy means test,PMT) 类似,但有两个主要区别:该研究使用手机特征的高维向量而不是资产的低维向量来估计财富;该研究使用旨在最大化样本外预测能力的机器学习算法,而不是最大化样本内拟合优度的传统线性回归。

大家比较关心数据隐私问题,为了保护获取到的数据机密性,该研究在分析之前通过将每个电话号码哈希编码为唯一 ID 来对 CDR 进行化名。这些数据存储在大学服务器上,设置了访问权限。在将 CDR 记录与调查回复进行匹配之前,该研究在电话调查中获得了所有研究对象的知情同意。

精准评估

该研究对这种将机器学习和手机数据相结合方法称为基于手机的方法。通过比较该方法与反事实方法下的定位误差:政府在 2020 年夏天试行的一种地理定位方法(多哥 admin-2 极,即多哥各县的贫困地图,40 个县),贫困州(多哥 admin-3 级,397 个州);基于职业的定位(包括 Novissi 针对非正式工人的最初定位方法,以及针对该国最贫穷职业类别的最佳方法)。

该研究想要实现帮助 100 个最穷州的最穷的人,研究发现,相对于多哥政府的其他可行目标定位方法,基于电话的目标定位方法大大减少了排除误差和包容错误(errors of inclusion)(非穷人被错误地认为有资格),如图 1a 和表 1 所示。

使用 PMT 作为真实贫困状况的衡量标准,基于电话的定位(曲线下面积 (AUC) = 0.70)优于针对农村 Novissi 援助的其他可行方法(例如,地域范围定位的 AUC = 0.59-0.64)。

图 1:Novissi 目标与替代目标的比较


表 1。


更多细节内容请阅读原论文。

相关文章
|
4月前
|
存储 人工智能 安全
拔俗AI临床大数据科研分析平台:让医学研究更智能、更高效
阿里云原生AI临床大数据科研平台,打通异构医疗数据壁垒,实现智能治理、可视化分析与多中心安全协作,助力医院科研提速增效,推动精准医疗发展。
806 1
|
5月前
|
传感器 机器学习/深度学习 算法
【室内导航通过视觉惯性数据融合】将用户携带的智能手机收集的惯性数据与手机相机获取的视觉信息进行融合研究(Matlab代码实现)
【室内导航通过视觉惯性数据融合】将用户携带的智能手机收集的惯性数据与手机相机获取的视觉信息进行融合研究(Matlab代码实现)
225 2
|
人工智能 大数据 安全
拔俗AI临床大数据科研分析平台:用智能技术加速医学研究新突破
AI临床大数据科研平台基于云原生架构,融合医疗NLP、联邦学习与智能分析技术,破解非结构化数据处理难、多源数据融合难、统计周期长等痛点,实现数据治理、智能分析与安全协作全链路升级,赋能医学科研高效、安全、智能化发展。
214 0
|
7月前
|
机器学习/深度学习 人工智能 自动驾驶
AI Agent多模态融合策略研究与实证应用
本文从多模态信息融合的理论基础出发,构建了一个结合图像与文本的AI Agent模型,并通过PyTorch代码实现了完整的图文问答流程。未来,多模态智能体将在医疗、自动驾驶、虚拟助手等领域展现巨大潜力。模型优化的核心是提升不同模态的协同理解与推理能力,从而打造真正“理解世界”的AI Agent。
AI Agent多模态融合策略研究与实证应用
|
7月前
|
机器学习/深度学习 人工智能 算法
深度强化学习在异构环境中AI Agent行为泛化能力研究
随着人工智能技术的迅猛发展,AI Agent 在游戏、智能制造、自动驾驶等场景中已逐步展现出强大的自适应能力。特别是深度强化学习(Deep Reinforcement Learning, DRL)的引入,使得智能体能够通过与环境的交互,自动学习最优的行为策略。本文将系统性地探讨基于深度强化学习的AI Agent行为决策机制,并结合代码实战加以说明。
深度强化学习在异构环境中AI Agent行为泛化能力研究
|
7月前
|
机器学习/深度学习 人工智能 自然语言处理
原来AI也能“读心术”?——聊聊AI在心理学研究中的那些突破
原来AI也能“读心术”?——聊聊AI在心理学研究中的那些突破
341 1
|
7月前
|
人工智能 数据安全/隐私保护 计算机视觉
手机无人直播手机用啥软件,抖音快手AI无人直播间工具,无人直播工具免费分享
auto_live_stream.py 实现视频循环推流功能,支持RTMP协议推送到直播平台 ai_virtual_host.py
|
7月前
|
机器学习/深度学习 人工智能 自然语言处理
AI 驱动:如何用AI直接生成矢量 Logo? 技术研究与工具选择
AI 技术革新品牌标志设计,通过深度学习分析数据,精准把握市场趋势,智能生成高辨识度 Logo。矢量格式(SVG)确保清晰不失真,适配各类展示场景。AI 工具高效便捷,支持个性化定制,助力品牌快速打造专业视觉形象,成为市场竞争中的有力武器。
477 0
|
网络协议 Android开发 数据安全/隐私保护
Android手机上使用Socks5全局代理-教程+软件
Android手机上使用Socks5全局代理-教程+软件
10929 2