R怎么讀入表格數據最快？

R中有6個常用數據讀取函數：

utils::read.csv: 默認使用的讀入方式 (read.table)

readr::read_csv: readr包中的讀入函數 (RStudio中默認也包含了這一方式)

data.table::fread: 來自data.table包

base::load: 加載rda文件

base::readRDS: 讀取二進制數據

feather::read_feather: 一種新的feather格式的二進制數據

生成測試數據

set.seed(123) df <- data.frame(replicate(10, sample(0:2000, 15 * 10^5, rep = TRUE)),replicate(10, stringi::stri_rand_strings(1000, 5))) dim(df)[1] 1500000 20

把數據存儲為csv格式，feather格式, RDS格式和Rdata格式。

path_csv <- 'df.csv' path_feather <- 'df.feather' path_rdata <- 'df.RData' path_rds <- 'df.rds' library(feather) library(data.table) write.csv(df, file = path_csv, row.names = F) write_feather(df, path_feather) save(df, file = path_rdata) saveRDS(df, path_rds)

計算下各個文件的大小；

• RDS和RData占的空間最小，不到30M

• feather文件占的空間最大，185M

• CSV文件占了179M，與feather相差不大

files <- c('df.csv', 'df.feather', 'df.RData', 'df.rds') info <- file.info(files) info$size_mb <- info$size/(1024 * 1024) print(subset(info, select=c("size_mb")))## size_mb ## df.csv 179.46119 ## df.feather 185.96806 ## df.RData 29.93043 ## df.rds 29.93044

評估速度

采用microbenchmark包比較使用不同函數讀取所需時間。

基于一臺破筆記本的速度評估

library(microbenchmark) benchmark <- microbenchmark(readCSV = utils::read.csv(path_csv),readrCSV = readr::read_csv(path_csv, progress = F),fread = data.table::fread(path_csv, showProgress = F),loadRdata = base::load(path_rdata),readRds = base::readRDS(path_rds),readFeather = feather::read_feather(path_feather), times = 10) # save(benchmark, file = "benchmark.rda")

速度最快的是feather::read_feather,但需要預先把數據存儲為feather格式。

其次是fread，但差別不明顯。

load和readRDS沒有表現出速度優勢，但卻需要對文件進行格式轉。

fread函數讀取csv的速度最快；

readr::read_csv函數次之；

默認使用的read.csv速度最慢。

# load("benchmark.rda") # min最小耗時 # lq, uq 耗時的第一和第三四分位數 # max最大耗時 summary(benchmark)## expr min lq mean median uq max neval ## 1 readCSV 18167.9870 18788.3618 19925.4103 19007.2041 22030.0041 23347.212 10 ## 2 readrCSV 3464.2280 4000.4398 4275.1156 4244.4979 4323.3464 5383.394 10 ## 3 fread 942.6006 977.3619 1252.6054 1265.5249 1429.5995 1741.290 10 ## 4 loadRdata 4759.2474 4797.0618 5409.0172 5128.4355 6019.2456 7179.577 10 ## 5 readRds 4808.1431 4891.1552 5653.4468 5708.4353 6233.9128 6473.565 10 ## 6 readFeather 673.4313 739.8717 894.3114 871.7041 934.1121 1351.928 10

基于一臺SSD硬盤的工作站速度評估

library(microbenchmark) benchmark2 <- microbenchmark(readCSV = utils::read.csv(path_csv),readrCSV = readr::read_csv(path_csv, progress = F),fread = data.table::fread(path_csv, showProgress = F),loadRdata = base::load(path_rdata),readRds = base::readRDS(path_rds),readFeather = feather::read_feather(path_feather), times = 10) save(benchmark2, file = "benchmark2.rda")

速度最快的是readr::read_csv,其次是feather::read_feather，然后是fread。

默認使用的read.csv速度最慢。

load("benchmark2.rda") print(benchmark2, signif = 2)## Unit: milliseconds ## expr min lq mean median uq max neval ## readCSV 9200 9200 9300 9300 9400 9600 10 ## readrCSV 240 250 290 260 270 470 10 ## fread 500 520 540 530 550 620 10 ## loadRdata 2500 2600 2600 2600 2600 2600 10 ## readRds 2500 2500 2600 2600 2600 2600 10 ## readFeather 370 410 410 410 440 450 10

原始文章的測試結果中，

速度最快的是feather,但需要預先把數據存儲為feather格式。

數據庫保存為feather格式是很快的，適用于需要讀取某個大文件或程序運行中計算出的結果時。

load和readRDS速度稍次，但也需要對文件進行格式轉換，優點是存儲的文件較小。

fread函數讀取csv的速度最快；

readr::read_csv函數次之；

默認使用的read.csv速度最慢。

##Unit: seconds ## expr min lq mean median uq max neval ## readCSV 200.0 200.0 211.187125 210.0 220.0 240.0 10 ## readrCSV 27.0 28.0 29.770890 29.0 32.0 33.0 10 ## fread 15.0 16.0 17.250016 17.0 17.0 22.0 10 ## loadRdata 4.4 4.7 5.018918 4.8 5.5 5.9 10 ## readRds 4.6 4.7 5.053674 5.1 5.3 5.6 10 ## readFeather 1.5 1.8 2.988021 3.4 3.6 4.1 10

測試結論

最常用的read.table在每個測試中都是表現最差的。

`readr::read_csv` （處理不同編碼更合適，R中讀取包含中文字符的文件時這個詭異的錯誤你見過嗎?

不同電腦測試結果差別大（可能是軟件版本的問題，也可能是硬件特征問題）。別人用著快的你不一定用著快，多嘗試。

參考

https://appsilon.com/fast-data-loading-from-files-to-r/

往期精品(點擊圖片直達文字對應教程)

機器學習

后臺回復“生信寶典福利第一波”或點擊閱讀原文獲取教程合集

總結

以上是生活随笔為你收集整理的R中6种读入表格数据的方式哪个最快？结果出人意料！的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。