ReadStat(c) haven(R, bases on ReadStat)，最新版读取5G的sas7bdat成功 sas7bdat(R)，读取5G的sas7bdat失败 sas7bdat.parso(R, 基于 parso)， 未测试 spark-sas7bdat(sparkR, 基于 parso)， spark版本，读取5G的sas7bdat成功，但后续分析失败 parso(java)， 读取5G的sas7bdat成功， 并基于它写了一个H2 Databased存储过程sasread sas7bdat(python)，读取5G的sas7bdat成功
ReadStat是一款开源，跨平台的多格式数据互转工具（命令行程序），支持格式如下， SAS: SAS7BDAT and SAS7BCAT（读，写） Stata: DTA（读，写） SPSS: POR and SAV（读，写） R：rdata and RDS（读，写） CSV（写） XLSX（写） 下面是我在Macbook Pro下使用MXE编译的，偷懒，没有集成librdata和libxlsxwriter，欢迎下载试用（内存和CPU耗用非常小，速度还不错）。 readstat Windows64位版本 readstat win32版本 P.S. 尝试将一个5G的sas7bdat文件转为csv，32位的耗时更小，原因尚不清楚。
你能想到的，往往都有人帮你实现了，比如R下数据库连接池的问题，答案也是肯定的，而且是由大名顶顶RStudio来实现的，Object Pooling in R 这货不仅仅是数据库连接池，只是目前仅支持DBI罢了。 #devtools::install_github("rstudio/pool") library(pool) pool <- dbPool( drv = RMySQL::MySQL(), dbname = "shinydemo", host = "shiny-demo.csa7qlmguqrf.us-east-1.rds.amazonaws.com", username = "guest", password = "guest" ) dbGetQuery(pool, "SELECT * FROM…
PostgreSQL官方支持PL/pgSQL，PL/Tcl，PL/Perl和PL/Python这几种过程语言。同时还支持一些第三方提供的过程语言，如PL/Java，PL/PHP，PL/Py，PL/R，PL/Ruby，PL/Scheme，PL/sh， PL/V8。 前文介绍了，R下实现读取Excel，并导入PostgreSQL，于是尝试把它封装成存储过程，失败。 网上遍寻答案，无果，后来偶然发现，R下还有另外一个PostgreSQL的读写包rpg，测试成功。 create or replace function xls2db(text,text, text) returns void as $$ library(readxl, quietly=TRUE) xls <- read_excel(arg1,col_names = TRUE, sheet=arg2) df =data.frame(xls) library(rpg) connect(dbname="steven", host="127.0.0.1", user="postgres") write_table(data.frame(df), arg3)…
这里主要想纠正一个问题，就是关于含中文字符的data frame写入MySQL时，网上给的错误说法：不能用dbWriteTable函数！！ 基本思路就是判断变量（列名）和数据是否为utf8编码，如果不是则转为utf8 data.frame则被转为data.table，一则偷懒，二则速度快 如果是csv，强烈推荐data.table的fread，快，无编码坑 #library(readxl, quietly=TRUE) #df <- data.frame(read_excel("d:\\data.xlsx",col_names = TRUE),stringsAsFactors=FALSE) #如果是文本文件或者CSV，建议使用data.table，好处是快，以及避免read_csv的各种编码坑 #connect MySQL library(RMySQL) con <- dbConnect(MySQL(),user="user", password="pwd",dbname="db" , host="mysql.yourhost.com" ,port=3306) library(stringi) toutf8<-function(x) { if (is.factor(x)) { x<-as.character(x)…
R读取Excel的方法有很多，这个我将另外一篇来详细介绍，经过一翻实验，最喜欢的还是readxl, 它同时支持XLS和XLSX格式。 对于这段代码，需要注意的地方是，如果excel是中文，不执行 postgresqlpqExec(con, "SET client_encoding = 'GBK'") Windows下，数据库保存的将是乱码，macOS下不存在这个问题，Linux下没有测试。 而 c("my_schema","my_table") 的含义是指定schema和表名，如果是public，可以只给表名就可以了。 https://gist.github.com/alitrack/931e0eb83d06f12e86ea803549086ca0#file-xlsx2psql-r