RODPS介绍以及安装

简介: RODPS介绍以及安装
参考文档:https://yq.aliyun.com/articles/61827?spm=5176.10695662.1996646101.searchclickresult.487948dbi3Lh9p


RODPS操作请看以上文档,我只介绍下我安装时遇到的坑。

安装R语言
R3.3版本会出现各种so不存在的问题,退回去到R3.1版本时候就顺利安装。
在安装R环境之前,先安装好中文(如果没有的话图表中显示汉字成框框了)和tcl/tk包(少了这个没法安装sqldf)
sudo yum install fonts-chinese tcl tcl-devel tclx tk tk-devel -y

安装中文字体后重新加载 service xfs reload (不过在有台机器上总是失败,后来重启机器OK)
sudo service xfs reload(这部分可以不运行,因为 xfs命令不存在,就被我忽略了


有些包会需要rgl,调用opengl的库,所以还要安装opengl包
sudo yum install mesa-libGLU mesa-libGLU-devel -y
sudo yum install gcc-gfortran gcc gcc-c++ readline-devel libXt-devel -y

wget --no-check-certificate https://stat.ethz.ch/CRAN/src/base/R-3/R-3.1.0.tar.gz
tar xvf R-3.1.0.tar.gz
./configure --enable-R-shlib=yes --enable-BLAS-shlib=yes --with-lapack --with-libpng --with-x=no --with-tcltk
sudo sh -c "make"
sudo sh -c "make install"

sudo R CMD javareconf JAVA_HOME=$JAVA_HOME
进入到r中进行
install.packages('rJava')
选择22

安装DBI
install.packages("DBI")
选择22

安装RSQLite
install.packages("RSQLite")
选择22

安装 RODPS

参考
http://repo.aliyun.com/rodps/?spm=a2c4e.11153940.blogcont61827.9.5ba94fb21wgNXm

如果从仓库安装报错,改本地安装,先下载安装包,

http://repo.aliyun.com/download/RODPS.tar.gz

上传到ECS/root/keelson/ R-3.1.0/目录下

rz –bey

本地安装

install.packages("/root/keilson/R-3.1.0/RODPS.tar.gz", repos = NULL, type = "source")

 

在任意目录下新建 odps_config.ini 如

vim /root/keilson/R-3.1.0/odps_config.ini

写入

access_id=
access_key=
end_point=
project_name=
sqlite_temp=
logview_host=

 

进入到r中执行以下命令

 引入包

rodps.init("/root/keilson/R-3.1.0/odps_config.ini")

这个时候加载包
library(RODPS)
可以使用RODPS,可以先看看版本是哪个
rodps.version()



b22c463553cbfcb96b2ca5088bd11893d6762681

rodps操作看帮助文档
help(rodps)
help(rodps.sql)

目录
相关文章
|
存储 分布式计算 Apache
构建 Streaming Lakehouse:使用 Paimon 和 Hudi 的性能对比
Apache Paimon 和 Apache Hudi 作为数据湖存储格式,有着高吞吐的写入和低延迟的查询性能,是构建数据湖的常用组件。本文将在阿里云EMR 上,针对数据实时入湖场景,对 Paimon 和 Hudi 的性能进行比对,然后分别以 Paimon 和 Hudi 作为统一存储搭建准实时数仓。
60400 9
构建 Streaming Lakehouse:使用 Paimon 和 Hudi 的性能对比
|
SQL 资源调度 分布式计算
如何让SQL跑快一点?(优化指南)
这篇文章主要探讨了如何在阿里云MaxCompute(原ODPS)平台上对SQL任务进行优化,特别是针对大数据处理和分析场景下的性能优化。
|
缓存
Flutter Image从网络加载图片刷新、强制重新渲染
Flutter Image从网络加载图片刷新、强制重新渲染
533 1
|
前端开发 JavaScript
【Web 前端】 js中call、apply、bind有什么区别?
【4月更文挑战第22天】【Web 前端】 js中call、apply、bind有什么区别?
【Web 前端】 js中call、apply、bind有什么区别?
|
编解码
MATLAB | SCI 绘图配色第六期 | 三维折线图
MATLAB | SCI 绘图配色第六期 | 三维折线图
509 0
|
SQL 资源调度 Kubernetes
【万字长文】详解Flink作业提交流程(一)
【万字长文】详解Flink作业提交流程
4065 0
【万字长文】详解Flink作业提交流程(一)
|
存储 分布式计算 索引
MapReduce 的 shuffle 阶段【重要】
MapReduce 的 shuffle 阶段【重要】
637 0
|
SQL 分布式计算 Hadoop
Hive 作业中Reduce个数设置多少合适呢?
Hive 作业Reduce个数设置原则
1127 0
|
算法 数据安全/隐私保护
【密码学】一文读懂SHA-1
SHA-1(Secure Hash Algorithm 1)是一种密码散列函数,美国国家安全局设计,并由美国国家标准技术研究所(NIST)发布为联邦资料处理标准(FIPS)。SHA-1可以生成一个被称为消息摘要的160位(20字节)散列值,散列值通常的呈现形式为40个十六进制数。
1818 1
【密码学】一文读懂SHA-1
|
存储 缓存 流计算
Flink应用案例统计实现TopN的两种方式
在窗口中可以用一个 HashMap 来保存每个 url 的访问次数,只要遍历窗口中的所有数据,自然就能得到所有 url 的热门度。最后把 HashMap 转成一个列表 ArrayList,然后进行排序、取出前两名输出就可以了。
866 0
Flink应用案例统计实现TopN的两种方式