sparklyr-R语言访问Spark的另外一种方法
Spark自带了R语言的支持-SparkR，前面我也介绍了最简便的SparkR安装方法，这里我们换个方式，使用Rstudio提供的接口，sparklyr。 提供了完整的 dplyr后台实现 方便与Spark MLlib or H2O Sparkling Water整合 方便基于SPARK API编写自己的扩展 安装(记得安装Java虚拟机)， devtools::install_github("rstudio/sparklyr") #install.packages("sparklyr") #以上两种方法都可以 library(sparklyr) #选择spark和hadoop的版本 spark_install(version = "2.0.1",hadoop_version = "2.7") 连接Spark library(sparklyr) sc <- spark_connect(master = "local") 读取数据…