R – AliTrack

没有SAS，如何解析读取SAS7BDAT？

ReadStat(c) haven(R, bases on ReadStat)，最新版读取5G的sas7bdat成功 sas7bdat(R)，读取5G的sas7bdat失败 sas7bdat.parso(R, 基于 parso)，未测试 spark-sas7bdat(sparkR, 基于 parso)， spark版本，读取5G的sas7bdat成功，但后续分析失败 parso(java)，读取5G的sas7bdat成功，并基于它写了一个H2 Databased存储过程sasread sas7bdat(python)，读取5G的sas7bdat成功

ReadStat: 免费 SAS, Stata, SPSS，RData，CSV之间互转工具

ReadStat是一款开源，跨平台的多格式数据互转工具（命令行程序），支持格式如下， SAS: SAS7BDAT and SAS7BCAT（读，写） Stata: DTA（读，写） SPSS: POR and SAV（读，写） R：rdata and RDS（读，写） CSV（写） XLSX（写）下面是我在Macbook Pro下使用MXE编译的，偷懒，没有集成librdata和libxlsxwriter，欢迎下载试用（内存和CPU耗用非常小，速度还不错）。 readstat Windows64位版本 readstat win32版本 …

R与连接池

你能想到的，往往都有人帮你实现了，比如R下数据库连接池的问题，答案也是肯定的，而且是由大名顶顶RStudio来实现的，Object Pooling in R 这货不仅仅是数据库连接池，只是目前仅支持DBI罢了。

#devtools::install_github("rstudio/pool")
library(pool)
pool <- dbPool(
  drv = RMySQL::MySQL(),
  dbname = "shinydemo",
  host = "shiny-demo.csa7qlmguqrf.us-east-1.rds.amazonaws.com",
  username = "guest",
  password = "guest"
)

dbGetQuery(pool, "SELECT * FROM City LIMIT 5;")


conn <- poolCheckout(pool)
rs <- dbSendQuery(conn, "SELECT * FROM City LIMIT 5;")
if (dbGetInfo(rs, what = "rowCount") > 5) {
  warning("dubious result -- rolling back transaction")
  dbRollback(conn)
}
poolReturn(conn)  ## alternatively, use: dbDisconnect(conn)

#devtools::install_github("rstudio/pool")

library(pool)

pool <- dbPool(

drv = RMySQL::MySQL(),

dbname = "shinydemo",

host = "shiny-demo.csa7qlmguqrf.us-east-1.rds.amazonaws.com",

username = "guest",

password = "guest"

)

dbGetQuery(pool, "SELECT * FROM City LIMIT 5;")

conn <- poolCheckout(pool)

rs <- dbSendQuery(conn, "SELECT * FROM City LIMIT 5;")

if (dbGetInfo(rs, what = "rowCount") > 5) {

warning("dubious result -- rolling back transaction")

dbRollback(conn)

}

poolReturn(conn) ## alternatively, use: dbDisconnect(conn)

将Excel导入PostgreSQL之PL/R版本

PostgreSQL官方支持PL/pgSQL，PL/Tcl，PL/Perl和PL/Python这几种过程语言。同时还支持一些第三方提供的过程语言，如PL/Java，PL/PHP，PL/Py，PL/R，PL/Ruby，PL/Scheme，PL/sh， PL/V8。前文介绍了，R下实现读取Excel，并导入PostgreSQL，于是尝试把它封装成存储过程，失败。网上遍寻答案，无果，后来偶然发现，R下还有另外一个PostgreSQL的读写包rpg，测试成功。

create or replace function xls2db(text,text, text) returns void as 
$$
library(readxl, quietly=TRUE)
xls <- read_excel(arg1,col_names = TRUE, sheet=arg2)
df =data.frame(xls)

library(rpg)
connect(dbname="steven", host="127.0.0.1", user="postgres")
write_table(data.frame(df), arg3)
disconnect()
$$ 
language 'plr';

#usage:select * from xls2db('amap_cities.xlsx', 'amap_cities','amap_cities');
Raw

create or replace function xls2db(text,text, text) returns void as

library(readxl, quietly=TRUE)

xls <- read_excel(arg1,col_names = TRUE, sheet=arg2)

df =data.frame(xls)

library(rpg)

connect(dbname="steven", host="127.0.0.1", user="postgres")

write_table(data.frame(df), arg3)

disconnect()

language 'plr';

#usage:select * from xls2db('amap_cities.xlsx', 'amap_cities','amap_cities');

Raw

将R的data.frame写入MySQL数据库

这里主要想纠正一个问题，就是关于含中文字符的data frame写入MySQL时，网上给的错误说法：不能用dbWriteTable函数！！基本思路就是判断变量（列名）和数据是否为utf8编码，如果不是则转为utf8 data.frame则被转为data.table，一则偷懒，二则速度快如果是csv，强烈推荐data.table的fread，快，无编码坑

#library(readxl, quietly=TRUE)
#df <- data.frame(read_excel("d:\\data.xlsx",col_names = TRUE),stringsAsFactors=FALSE)

#如果是文本文件或者CSV，建议使用data.table，好处是快，以及避免read_csv的各种编码坑

#connect MySQL
library(RMySQL)
con <- dbConnect(MySQL(),user="user", password="pwd",dbname="db"
, host="mysql.yourhost.com" ,port=3306)


library(stringi)
toutf8<-function(x)
{
  if (is.factor(x))
  {
    x<-as.character(x)
  }
  if(is.character(x)){
    if(!all( stri_enc_isutf8(x))){
      x<-stri_encode(x, "", "UTF-8")
    }
    Encoding(x)<-"utf8"
  }
  x
}

#if R in Windows, convert columns and data to UTF-8
names(df)<-toutf8(names(df))

#下面的代码是偷懒，针对data.frame没有写，有兴趣的可以自己动手，使用data.table的好处还是快
library(data.table)
df<-as.data.table(df)

#if R in Windows, convert columns and data to UTF-8
if(Sys.info()[["sysname"]]=="Windows"){
  names(df)<-toutf8(names(df))
  df<-df[ , lapply(.SD, toutf8)]
  dbGetQuery(con, "set NAMES utf8")
}

dbWriteTable(con, "data",df)

#library(readxl, quietly=TRUE)

#df <- data.frame(read_excel("d:\\data.xlsx",col_names = TRUE),stringsAsFactors=FALSE)

#如果是文本文件或者CSV，建议使用data.table，好处是快，以及避免read_csv的各种编码坑

#connect MySQL

library(RMySQL)

con <- dbConnect(MySQL(),user="user", password="pwd",dbname="db"

, host="mysql.yourhost.com" ,port=3306)

library(stringi)

toutf8<-function(x)

{

if (is.factor(x))

{

x<-as.character(x)

}

if(is.character(x)){

if(!all( stri_enc_isutf8(x))){

x<-stri_encode(x, "", "UTF-8")

}

Encoding(x)<-"utf8"

}

#if R in Windows, convert columns and data to UTF-8

names(df)<-toutf8(names(df))

#下面的代码是偷懒，针对data.frame没有写，有兴趣的可以自己动手，使用data.table的好处还是快

library(data.table)

df<-as.data.table(df)

#if R in Windows, convert columns and data to UTF-8

if(Sys.info()[["sysname"]]=="Windows"){

names(df)<-toutf8(names(df))

df<-df[ , lapply(.SD, toutf8)]

dbGetQuery(con, "set NAMES utf8")

}

dbWriteTable(con, "data",df)

使用R将Excel导入到PostgreSQL

R读取Excel的方法有很多，这个我将另外一篇来详细介绍，经过一翻实验，最喜欢的还是readxl, 它同时支持XLS和XLSX格式。对于这段代码，需要注意的地方是，如果excel是中文，不执行

postgresqlpqExec(con, "SET client_encoding = 'GBK'")

1	postgresqlpqExec(con, "SET client_encoding = 'GBK'")

Windows下，数据库保存的将是乱码，macOS下不存在这个问题，Linux下没有测试。而

c("my_schema","my_table")

1	c("my_schema","my_table")

的含义是指定schema和表名，如果是public，可以只给表名就可以了。 library(readxl, quietly=TRUE) df <- read_excel(“d:/my.xlsx”,col_names = TRUE) library(RPostgreSQL) drv <- dbDriver(“PostgreSQL”) con <- dbConnect(drv, …

Currently browsing tag

R