《深入解析sas:数据处理、分析优化与商业应用》一一2.3 通过IMPORT过程读取外部文件数据

本文涉及的产品
公共DNS(含HTTPDNS解析),每月1000万次HTTP解析
云解析 DNS,旗舰版 1个月
全局流量管理 GTM,标准版 1个月
简介: 本节书摘来自华章出版社《高并发Oracle数据库系统的架构与设计》一书中的第2章,第2.3节,作者 侯松,更多章节内容可以访问云栖社区“华章计算机”公众号查看 2.3 通过IMPORT过程读取外部文件数据 除了可以通过DATA步读取外部文本文件数据外,SAS还提供了IMPORT过程,通过它可以从外部数据源读取数据并写入SAS数据集中。

本节书摘来自华章出版社《深入解析sas:数据处理、分析优化与商业应用》一书中的第2章,第2.3节,作者 夏坤庄 徐唯 潘红莲 林建伟,更多章节内容可以访问云栖社区“华章计算机”公众号查看

2.3 通过IMPORT过程读取外部文件数据

除了可以通过DATA步读取外部文本文件数据外,SAS还提供了IMPORT过程,通过它可以从外部数据源读取数据并写入SAS数据集中。而且,如果使用SAS/ACCESS to PC Files,IMPORT过程除了可以导入带分隔符的文件外,还可以读取PC文件中的外部数据,包括Microsoft Access数据库文件、Miscrosft Excel工作簿、Lotus 1-2-3文件、dBase文件、JMP文件、SPSS文件、Stata文件、Paradox等。SAS变量的定义根据输入记录确定。
在SAS窗口环境选择菜单“文件”“导入数据”,可以打开“导入”窗口,通过“导入向导”可读取上述类型的数据。导入过程所生成的SAS语句也可以保存起来供以后使用。
对应于IMPORT过程和SAS窗口环境的IMPORT向导,SAS还提供了EXPORT过程和EXPORT向导(选择菜单“文件”“导出数据”),以便将SAS数据集中的数据导出到上述类型的文件。对此这里不做讲解,有兴趣的读者可以通过SAS帮助文档学习。
IMPORT过程的导入数据的基本形式如下:

PROC IMPORT
    DATAFILE=文件名|文件引用 | DATATABLE=表名
    DBMS=数据源标识符
    OUT=数据集名称;
RUN;

其中:
DATAFILE=指定输入文件的完整路径和文件名,或文件引用。文件引用通常通过FILENAME语句指定。
DATATABLE=指定输入DBMS表名。数据源可以通过DATAFILE或DATATABLE指定。
DBMS=指定要导入的数据类型。SAS支持多种数据类型,例如CSV、TAB、ACCESS、XLSX、XLS、EXCEL、JMP、DTA、SPASS等。其中CSV、TAB表示要导入的数据文件分别由逗号和tab符号分隔,ACCESS表示使用LIBNAME语句的Miscrosoft Access表,XLSX表示Micorsoft Excel 2007或2010的工作簿,等等。可参考SAS帮助文档了解关于导入数据类型和各类型的详细信息。
OUT=指定输出的数据集名称。该语句后面还可以添加数据集选项。
下面给出了几个例子,分别讲解通过IMPORT过程导入CSV文件、Microsoft Excel工作簿和Microsoft Access数据库文件中的数据。
1.?读取CSV文件
外部文件contact.csv的内容如下,文件第一行给出了各个数据行中数据值字段的名称,后面的各行则为对应的字段值。

Name,Age,Position,Marriage,Address
Greg William,42,Manager,Single,"14 Bridge St. San Francisco, CA"
Emily Cooker,33,Sales,Married,"42 Rue Marston"
Henry Cooper,,Office,Married,"52 Rue Marston Paris"
Jimmy Cruze,34,Manager,Single,"Box 100 Cary, NC"

使用IMPORT过程导入该文件的代码如下:

proc import out=saslib.contact
    datafile="c:\sas\data\contact.csv"
    dbms=csv replace;
    getnames=yes;
    datarow=2;
run;

proc print data=saslib.contact noobs;
run;

所生成的数据集为saslib逻辑库中的contact数据集,数据文件为c:sasdatacontact.csv,选项DBMS=指定数据库类型为csv。其中文件扩展名可以省略,SAS会根据DBMS=选项指定的据库类型自动加上。
代码中还使用了REPLACE选项,表示当OUT=指定的数据集存在时覆盖该数据集。GETNAMES语句表示是否从该文件中的第一行读取变量值,默认为YES,表示读取;值为NO表示不读取,这时IMPORT过程会自动产生名为F1、F2、F3等的变量。
DATAROW=语句也会经常使用,用于指定IMPORT语句开始读数据的行号。默认情况下,当GETNAMES=NO时,DATAROW=1,当GETNAMES=YES时,DATAROW=2。该选项用于跳过数据文件开始处的多行内容。
PRINT过程打印的数据集内容如图2.47所示。
image

2.?读取Miscosoft Excel工作簿
IMPORT过程可以导入Microsoft Excel工作簿中的数据。在Excel 2007中文件的工作簿pag的内容如图2.48所示。在该图中,共包含了A~E共5列,第一行为字段名称,从第二行开始为数据值。

image

下面使用IMPORT过程读入该工作簿的指定区域。

proc import out=saslib.contact
    datafile="c:\sas\data\contact.xlsx"
    dbms=xlsx replace;
    range='pag$A1:E5'n;
run;

proc print data=saslib.contact noobs;
run;

IMPORT过程中可以使用RANGE=语句指定所导入的区域。在使用IMPORT过程处理工作簿的数据之前,可先通过Microsoft Excel的“名称管理器”定义要处理的数据的区域,在IMPORT过程中,使用RANGE=语句指定该数据区域的名称,或直接在RANGE=语句中指定数据区域。本例中为直接指定,区域为工作簿pag中从A1到E5的矩形区域。PRINT过程打印的数据集的内容如图2.49所示。
image

1)DBMS=XLSX可以处理Microsoft Excel 2007或Microsoft Excel 2010的工作簿。对于其他更早版本的Microsoft Excel生成的工作簿,需使用其他类型,例如XLS、EXCEL4、EXCEL5。
2)还可使用EXCEL数据库类型EXELCS,并通过SAS PC文件服务器来读取相应版本的Excel工作簿。
3)也可以直接使用LIBNAME语句,通过SAS/ACCESS EXCEL引擎来访问Excel工作簿。
具体请参考SAS帮助文档。
通过DBMS=XLS或DBMS=XLSX来读取Excel文件中的数据还有一个好处,即可以直接在UNIX环境下读取Excel工作簿中的数据,不需要访问PC文件服务器。
3.?读取Microsoft Access数据库文件
Microsoft Access是一个桌面关系型数据库系统,通常使用Microsoft ACE引擎(.accdb文件格式)或Microsoft Jet引擎(.mdb文件格式)。在IMPORT过程中指定DBMS为ACCESS,SAS可以读取在Microsoft Access 97、Microsoft Access 2000、Microsoft Access 2003、Microsoft Access 2007和Microsoft Access 2010中的文件。例如:

proc import out=saslib.customer
    datatable='customer'
    dbms=access replace;
    database="c:\sas\data\customer.accdb";
RUN;

在IMPORT过程中使用access数据库类型,实际使用的是SAS/ACCESS LIBNAME引擎。也可以直接使用LIBNAME语句通过SAS/ACCESS ACCESS引擎来访问Microsoft Access数据库文件。这里不做介绍,有兴趣的读者可参考SAS帮助获取更新信息。

相关文章
|
23天前
|
消息中间件 存储 缓存
十万订单每秒热点数据架构优化实践深度解析
【11月更文挑战第20天】随着互联网技术的飞速发展,电子商务平台在高峰时段需要处理海量订单,这对系统的性能、稳定性和扩展性提出了极高的要求。尤其是在“双十一”、“618”等大型促销活动中,每秒需要处理数万甚至数十万笔订单,这对系统的热点数据处理能力构成了严峻挑战。本文将深入探讨如何优化架构以应对每秒十万订单级别的热点数据处理,从历史背景、功能点、业务场景、底层原理以及使用Java模拟示例等多个维度进行剖析。
49 8
|
24天前
|
监控 Java 应用服务中间件
高级java面试---spring.factories文件的解析源码API机制
【11月更文挑战第20天】Spring Boot是一个用于快速构建基于Spring框架的应用程序的开源框架。它通过自动配置、起步依赖和内嵌服务器等特性,极大地简化了Spring应用的开发和部署过程。本文将深入探讨Spring Boot的背景历史、业务场景、功能点以及底层原理,并通过Java代码手写模拟Spring Boot的启动过程,特别是spring.factories文件的解析源码API机制。
64 2
|
21天前
|
数据采集 自然语言处理 搜索推荐
基于qwen2.5的长文本解析、数据预测与趋势分析、代码生成能力赋能esg报告分析
Qwen2.5是一款强大的生成式预训练语言模型,擅长自然语言理解和生成,支持长文本解析、数据预测、代码生成等复杂任务。Qwen-Long作为其变体,专为长上下文场景优化,适用于大型文档处理、知识图谱构建等。Qwen2.5在ESG报告解析、多Agent协作、数学模型生成等方面表现出色,提供灵活且高效的解决方案。
114 49
|
9天前
|
机器学习/深度学习 人工智能 PyTorch
Transformer模型变长序列优化:解析PyTorch上的FlashAttention2与xFormers
本文探讨了Transformer模型中变长输入序列的优化策略,旨在解决深度学习中常见的计算效率问题。文章首先介绍了批处理变长输入的技术挑战,特别是填充方法导致的资源浪费。随后,提出了多种优化技术,包括动态填充、PyTorch NestedTensors、FlashAttention2和XFormers的memory_efficient_attention。这些技术通过减少冗余计算、优化内存管理和改进计算模式,显著提升了模型的性能。实验结果显示,使用FlashAttention2和无填充策略的组合可以将步骤时间减少至323毫秒,相比未优化版本提升了约2.5倍。
26 3
Transformer模型变长序列优化:解析PyTorch上的FlashAttention2与xFormers
|
6天前
|
前端开发 UED
React 文本区域组件 Textarea:深入解析与优化
本文介绍了 React 中 Textarea 组件的基础用法、常见问题及优化方法,包括状态绑定、初始值设置、样式自定义、性能优化和跨浏览器兼容性处理,并提供了代码案例。
24 8
|
9天前
|
存储 监控 算法
Java虚拟机(JVM)垃圾回收机制深度解析与优化策略####
本文旨在深入探讨Java虚拟机(JVM)的垃圾回收机制,揭示其工作原理、常见算法及参数调优方法。通过剖析垃圾回收的生命周期、内存区域划分以及GC日志分析,为开发者提供一套实用的JVM垃圾回收优化指南,助力提升Java应用的性能与稳定性。 ####
|
13天前
|
编译器 PHP 开发者
PHP 8新特性解析与实战应用####
随着PHP 8的发布,这一经典编程语言迎来了诸多令人瞩目的新特性和性能优化。本文将深入探讨PHP 8中的几个关键新功能,包括命名参数、JIT编译器、新的字符串处理函数以及错误处理改进等。通过实际代码示例,展示如何在现有项目中有效利用这些新特性来提升代码的可读性、维护性和执行效率。无论你是PHP新手还是经验丰富的开发者,本文都将为你提供实用的技术洞察和最佳实践指导。 ####
25 1
|
19天前
|
存储 安全 Java
Java多线程编程中的并发容器:深入解析与实战应用####
在本文中,我们将探讨Java多线程编程中的一个核心话题——并发容器。不同于传统单一线程环境下的数据结构,并发容器专为多线程场景设计,确保数据访问的线程安全性和高效性。我们将从基础概念出发,逐步深入到`java.util.concurrent`包下的核心并发容器实现,如`ConcurrentHashMap`、`CopyOnWriteArrayList`以及`BlockingQueue`等,通过实例代码演示其使用方法,并分析它们背后的设计原理与适用场景。无论你是Java并发编程的初学者还是希望深化理解的开发者,本文都将为你提供有价值的见解与实践指导。 --- ####
|
20天前
|
Java 测试技术 API
Java 反射机制:深入解析与应用实践
《Java反射机制:深入解析与应用实践》全面解析Java反射API,探讨其内部运作原理、应用场景及最佳实践,帮助开发者掌握利用反射增强程序灵活性与可扩展性的技巧。
53 4
|
24天前
RS-485网络中的标准端接与交流电端接应用解析
RS-485,作为一种广泛应用的差分信号传输标准,因其传输距离远、抗干扰能力强、支持多点通讯等优点,在工业自动化、智能建筑、交通运输等领域得到了广泛应用。在构建RS-485网络时,端接技术扮演着至关重要的角色,它直接影响到网络的信号完整性、稳定性和通信质量。

推荐镜像

更多