Month: October 2016

Windows下如何安装r2excel?

r2excel 是一个Excel文件的读、写、格式化R语言包,支持Excel 97~2003版本的文件格式(.xls)和Excel2007以后的格式(.xlsx)。 在mac OSX下安装很顺利, install.packages("devtools") library(devtools) install_github("kassambara/r2excel") Windows下则遇到了不小麻烦, Error : .onLoad failed in loadNamespace() for 'rJava', details: call: inDL(x, as.logical(local), as.logical(now), ...) error: 无法载入共享目标对象‘C:/Users/lhy/Documents/R/win-library/3.3/rJava/libs/i386/rJava.dll’:: LoadLibrary failure: %1 不是有效的 Win32 应用程序。…

Read More

ETL时遇到的坑之一

今天客户给的数据压缩包,先是在mac OSX上解压碰到乱码问题(已解决)(家中预览),然后发现一系列问题, 所有的数据开始都有等号(=) 部分数据结尾存在多余的逗号(,) 订单表字段不统一(部分文件缺少末尾字段,这也许是和上个问题有关系) 部分文件名命名错误,把订单明细命名成了订单 解决办法,使用sed批量去除头尾多余的字符(写了个简单的Windows批处理文件),并把订单和订单明细分到不同目录(原来有超过10个目录) @echo off @rem replace first md detail md order for /r %%i in (*宝贝*.csv) do @sed "s/^=//g" %%i |sed "s/,$//g">detail\%%~ni.txt for /r %%i…

Read More

xlwings – 让Python带着你的Excel一起飞

xlwings 是一款基于BSD协议的开源Python包,它让Excel调用Python或者Python调用Excel变得非常简单: Scripting: 像VBA那样实现Python与Excel的自动或者交互功能 Macros: 用清晰强大Python代码来替代来VBA写的凌乱的宏 UDFs: 用Python编写用户定义函数 (UDFs) (仅支持Windows). 完全支持Numpy arrays 和 Pandas Series/DataFrames 支持Windows和mac OSX。 Python 2.7 and 3.3+测试通过 安装,3选1: pip install xlwings conda install xlwings #如果使用Mac Excel…

Read More

Docker瘦身记

自从升级mac OSX 到Sierra, 免费版的Lantern就闪退,无法使用了,想尝试着在Docker里运行,于是在Github上闲逛,寻找合适的Lantern Docker, Lantern的Docker尝试了好几个,也自己动手制作了几个,但有一个共同的毛病,太大,我做的一个基于min-jessie版本的,也超过230M,今天碰巧发现了一个,竟然只有26.62M, Dockerfile内容非常简单,仅仅依赖busybox:glibc, FROM busybox:glibc #COPY ./lantern_linux_amd64 /lantern_linux_amd64 COPY ./lantern_linux_amd64.xz /lantern_linux_amd64.xz RUN xz -d /lantern_linux_amd64.xz COPY ./lib /lib COPY ./tmp /tmp EXPOSE 8787 CMD 26.62M的Docker,解压缩后的lantern_linux_amd64自己占了17M,查了下,依赖库只有4个,这让我对这种Docker的生成方式产生了浓厚的兴趣,于是网上寻找Docker瘦身的方法,没有想到竟然找到了,Squashing Docker…

Read More

blog-image

如何解决mac OSX解压缩乱码的问题

  mac OSX自带的解压缩工具在解压缩某些中文路径的zip压缩包会出现乱码,尝试命令行下的zip和7zip,同样的问题,后来想到我下载过The Unarchiver, 但却重来没有使用过,试了下,问题解决。 P.S. The Unarchiver 是一款开源免费的Archive Utility.app替代品,它几乎支持你所能想到的格式, Format Support level Notes Zip Full Full support for the normal zip format, with additional support for AES encryption, Zip64…

Read More