Matlab代码批处理中国地面气象日值数据集(2400站点数据集),提取所需省份全部站点数据

简介: Matlab代码批处理中国地面气象日值数据集(2400站点数据集),提取所需省份全部站点数据

气象数据一直是一个价值较高的数据,它被广泛用于各个领域的研究当中。地理遥感生态网平台提供的气象数据包括有气温、气压、相对湿度、降水、蒸发、风向风速、日照等多种指标,但是包含了这些全部指标的气象数据却较难获取,即使获取到了也不能随意分享。

1级目录 文件名
PRS SURF_CLI_CHN_MUL_DAY-PRS-10004-YYYYMM.TXT(本站气压)
TEM SURF_CLI_CHN_MUL_DAY-TEM-12001-YYYYMM.TXT(气温)
RHU SURF_CLI_CHN_MUL_DAY-RHU-13003-YYYYMM.TXT(相对湿度)
PRE SURF_CLI_CHN_MUL_DAY-PRE-13011-YYYYMM.TXT(降水)
EVP SURF_CLI_CHN_MUL_DAY-EVP-13240-YYYYMM.TXT(蒸发)
WIN SURF_CLI_CHN_MUL_DAY-WIN-11002-YYYYMM.TXT(风向风速)
SSD SURF_CLI_CHN_MUL_DAY-SSD-14032-YYYYMM.TXT(日照)
GST SURF_CLI_CHN_MUL_DAY-GST-12030-0cm-YYYYMM.TXT(0cm地温)


Matlab:中国地面气象日值数据集提取所需省份全部站点数据


代码结构:

(1)Input:8个变量,每年12个月,每年96个txt文件;

(2)目标:多年循环,提取所需站点;

(3)Output:一个子变量一个表,全年数据放入一个sheet中,不同年份放入不同sheet中


输入数据命名基本为默认:

微信截图_20230111112754.png

微信截图_20230111112802.png


%%%%
% @LastEditors  : 地理遥感生态网平台 
% @Date         : 2021-12-01 20:00 
% @LastEditTime : 2021-12-07 22:00 
% @Description  : 全系列标准化气象数据的处理txt2excel;注意对每个输出结果进行检查
% @Objective    : 按类输出所需省份全部年份n个气象站点数据
%%
clear;
clc;
%% 0. 前期输入输出&定义
% 输入txt根路径
txt_Path='D:\科研数据\metadata\2010_2017\';
% 输出xls根路径
xls_Path='D:\科研数据\metadata\xls2010_2017\';
% 预分配中间变量内存,列数根据元数据类别数目确定(注意按需修改)
A11=zeros(68,11);%3 RHU相对湿度;5 EVP蒸发;
% 按年读取全部txt文件
% year by year
for yy = 2010:2017
    year = num2str(yy);
    txt_file=fullfile(txt_Path,year,'\');    
    txt_list=dir(strcat(txt_file,'*.txt'));%列出路径下所有txt文件
% 判别平闰年,确定月天数,计算doy     
    if (mod(yy,4)==0 && mod(yy,100)~=0 || mod(yy,400)==0)
    mon2day=[31 29 31 30 31 30 31 31 30 31 30 31]; % 闰年各月天数
    else
    mon2day=[31 28 31 30 31 30 31 31 30 31 30 31]; % 平年各月天数
    end 
    doy=sum(mon2day);
% 根据doy预分配输出数据和表头(注意按需修改)    
    evp_d20=zeros(66,4+doy);
    evp_E601=zeros(66,4+doy);
    title{1,1}='station';
    title{1,2}='lat';
    title{1,3}='lon';
    title{1,4}='altitude';
    for dd=1:doy
        title{1,4+dd}=strcat('doy',year,num2str(dd,'%03d'));
    end
%% 1. 集成EVP结果
% month by month
i=1;
m=1;%第1个变量,排序根据txt_list来确定
m1=1+12*(m-1);%每个变量的第1个txt
m0=12*(m-1);
m12=12*m;%每个变量的第12个txt
for mm=m1:m12
    evp_name=txt_list(mm).name;
    evp_mm=load(fullfile(txt_file,evp_name));%原始txt文件读成表
    n=1;
    ss_1=53*mon2day(mm-m0)+1;%51053第1天
    ss_2=(53+68-1)*mon2day(mm-m0)+1;%52313第1天
% day by day
    for dm=0:(mon2day(mm-m0)-1)%1个月每天的循环
        for ss=(ss_1+dm):mon2day(mm-m0):(ss_2+dm)%68个站点提取同一天
            A11(n,:)=evp_mm(ss,:);
            n=n+1;
        end
        A11(61,:)=[];% delete 51886 剔除不需要的站点
        A11(66,:)=[];% delete 52267 注意上一个删除后位次67需减去1
        evp_d20(:,1:3)=A11(1:66,1:3);
        evp_E601(:,1:3)=A11(1:66,1:3);
        evp_d20(:,4)=A11(1:66,4)*0.1;%altitude,0.1米
        evp_E601(:,4)=A11(1:66,4)*0.1;%altitude,0.1米
        evp_d20(:,4+i)=A11(:,8)*0.1;%小型蒸发量,0.1mm
        evp_E601(:,4+i)=A11(:,9)*0.1;%大型蒸发量,0.1mm      
        i=i+1;
        clear A11;
        n=1;     
    end
end
% 经纬单位(度、分),转换为度
lat_int=floor(evp_d20(:,2)*0.01);
lat_decimal=(evp_d20(:,2)*0.01-lat_int).*100/60;
lat=lat_int+lat_decimal;
lon_int=floor(evp_d20(:,3)*0.01);
lon_decimal=(evp_d20(:,3)*0.01-lon_int).*100/60;
lon=lon_int+lon_decimal;
evp_d20(:,2)=lat;
evp_E601(:,2)=lat;
evp_d20(:,3)=lon;
evp_E601(:,3)=lon;
% 质量控制,剔除异常值(matlab固有bug,查找替换不完全,采用excel查找替换)
% evp_d20(evp_d20(:,5:end)==evp_d20(1,274))=nan;
% % evp_d20(evp_d20(:,5:end)>32765)=nan;
% evp_E601(evp_E601(:,5:end)==evp_E601(1,5))=nan;
% check1=find(evp_d20==3276.6);
% check2=find(evp_E601==3276.6);
% 输出,sheet名改为年份,所有年份,全年存在一个excel表中
writecell(title,strcat(xls_Path,'EVP_d20.xlsx'),'Sheet',year,'Range','A1');
writematrix(evp_d20,strcat(xls_Path,'EVP_d20.xlsx'),'Sheet',year,'Range','A2');
writecell(title,strcat(xls_Path,'EVP_E601.xlsx'),'Sheet',year,'Range','A1');
writematrix(evp_d20,strcat(xls_Path,'EVP_E601.xlsx'),'Sheet',year,'Range','A2');
clear doy title;
end


通过这样就可以得到逐年的所需站点的数据集了,方便又快捷!如果对您有帮助的话请点赞转发支持下!

微信截图_20230111112812.png

数据来源请引用:中国日值气象站点数据集.地理遥感生态网科学数据注册与出版系统(http://www.gisrs.cn/DOI),2022.DOI:10.12020/2022090501

相关文章
|
4月前
|
JSON 数据格式 Python
【2023最新】Matlab 保存JSON数据集文件,并用Python读取
本文介绍了如何使用MATLAB生成包含数据和标签的JSON格式数据集文件,并展示了用Python读取该JSON文件作为训练集的方法。
133 1
|
4月前
|
安全
【2023高教社杯】D题 圈养湖羊的空间利用率 问题分析、数学模型及MATLAB代码
本文介绍了2023年高教社杯数学建模竞赛D题的圈养湖羊空间利用率问题,包括问题分析、数学模型建立和MATLAB代码实现,旨在优化养殖场的生产计划和空间利用效率。
205 6
【2023高教社杯】D题 圈养湖羊的空间利用率 问题分析、数学模型及MATLAB代码
|
4月前
|
存储 算法 搜索推荐
【2022年华为杯数学建模】B题 方形件组批优化问题 方案及MATLAB代码实现
本文提供了2022年华为杯数学建模竞赛B题的详细方案和MATLAB代码实现,包括方形件组批优化问题和排样优化问题,以及相关数学模型的建立和求解方法。
131 3
【2022年华为杯数学建模】B题 方形件组批优化问题 方案及MATLAB代码实现
|
4月前
|
数据采集 存储 移动开发
【2023五一杯数学建模】 B题 快递需求分析问题 建模方案及MATLAB实现代码
本文介绍了2023年五一杯数学建模竞赛B题的解题方法,详细阐述了如何通过数学建模和MATLAB编程来分析快递需求、预测运输数量、优化运输成本,并估计固定和非固定需求,提供了完整的建模方案和代码实现。
95 0
【2023五一杯数学建模】 B题 快递需求分析问题 建模方案及MATLAB实现代码
|
5月前
|
机器学习/深度学习 算法 数据挖掘
基于改进K-means的网络数据聚类算法matlab仿真
**摘要:** K-means聚类算法分析,利用MATLAB2022a进行实现。算法基于最小化误差平方和,优点在于简单快速,适合大数据集,但易受初始值影响。文中探讨了该依赖性并通过实验展示了随机初始值对结果的敏感性。针对传统算法的局限,提出改进版解决孤点影响和K值选择问题。代码中遍历不同K值,计算距离代价,寻找最优聚类数。最终应用改进后的K-means进行聚类分析。
|
6月前
|
机器学习/深度学习 算法 数据可视化
m基于PSO-LSTM粒子群优化长短记忆网络的电力负荷数据预测算法matlab仿真
在MATLAB 2022a中,应用PSO优化的LSTM模型提升了电力负荷预测效果。优化前预测波动大,优化后预测更稳定。PSO借鉴群体智能,寻找LSTM超参数(如学习率、隐藏层大小)的最优组合,以最小化误差。LSTM通过门控机制处理序列数据。代码显示了模型训练、预测及误差可视化过程。经过优化,模型性能得到改善。
110 6
|
6月前
|
机器学习/深度学习 算法 计算机视觉
基于CNN卷积神经网络的金融数据预测matlab仿真,带GUI界面,对比BP,RBF,LSTM
这是一个基于MATLAB2022A的金融数据预测仿真项目,采用GUI界面,比较了CNN、BP、RBF和LSTM四种模型。CNN和LSTM作为深度学习技术,擅长序列数据预测,其中LSTM能有效处理长序列。BP网络通过多层非线性变换处理非线性关系,而RBF网络利用径向基函数进行函数拟合和分类。项目展示了不同模型在金融预测领域的应用和优势。
|
7月前
|
机器学习/深度学习 算法
m基于GA-GRU遗传优化门控循环单元网络的电力负荷数据预测算法matlab仿真
在MATLAB 2022a中,一个基于遗传算法优化的GRU网络展示显著优化效果。优化前后的电力负荷预测图表显示了改进的预测准确性和效率。GRU,作为RNN的一种形式,解决了长期依赖问题,而遗传算法用于优化其超参数,如学习率和隐藏层单元数。核心MATLAB程序执行超过30分钟,通过迭代和适应度评估寻找最佳超参数,最终构建优化的GRU模型进行负荷预测,结果显示预测误差和模型性能的提升。
187 4
|
6月前
|
机器学习/深度学习 算法
基于蛙跳优化的神经网络数据预测matlab仿真
使用MATLAB2022a,应用蛙跳优化算法(SFLA)调整神经网络权重,提升预测精度,输出预测曲线。神经网络结合输入、隐藏和输出层进行预测,蛙跳算法模仿蛙群觅食行为优化权重和阈值。算法流程包括蛙群初始化、子群划分、局部搜索及适应度更新,直至满足停止条件。优化后的神经网络能提升预测性能。
|
6月前
|
机器学习/深度学习 算法
m基于PSO-GRU粒子群优化长门控循环单元网络的电力负荷数据预测算法matlab仿真
摘要: 在MATLAB 2022a中,对比了电力负荷预测算法优化前后的效果。优化前为"Ttttttt111222",优化后为"Tttttttt333444",明显改进体现为"Tttttttttt5555"。该算法结合了粒子群优化(PSO)和长门控循环单元(GRU)网络,利用PSO优化GRU的超参数,提升预测准确性和稳定性。PSO模仿鸟群行为寻找最优解,而GRU通过更新门和重置门处理长期依赖问题。核心MATLAB程序展示了训练和预测过程,包括使用'adam'优化器和超参数调整,最终评估并保存预测结果。
57 0

热门文章

最新文章