Как прочитать данные, когда некоторые числа содержат запятые в качестве тысячи сепаратора?
https://stackoverflow.com/questions/1523126
italiano
english
français
española
中国
日本の
العربية
Deutsch
한국어
Português
RussianВопрос
У меня есть файл CSV, где некоторые из численных значений выражаются как строки с запятыми в качестве тысячи сепараторов, например, "1,513" вместо 1513. Анкет Какой самый простой способ прочитать данные в R?
я могу использовать read.csv(..., colClasses="character"), но тогда я должен лишить запятые из соответствующих элементов, прежде чем преобразовать эти столбцы в числовые, и я не могу найти аккуратный способ сделать это.
Решение 3
Я хочу использовать R, а не предварительно обрабатывать данные, так как это облегчает их при пересмотре данных. После предложения Шейна об использовании gsub, Я думаю, это настолько аккуратно, насколько я могу сделать:
x <- read.csv("file.csv",header=TRUE,colClasses="character")
col2cvt <- 15:41
x[,col2cvt] <- lapply(x[,col2cvt],function(x){as.numeric(gsub(",", "", x))})
Другие советы
Не уверен в том, как иметь read.csv интерпретируйте это правильно, но вы можете использовать gsub заменить "," с "", а затем преобразовать строку в numeric с использованием as.numeric:
y <- c("1,200","20,000","100","12,111")
as.numeric(gsub(",", "", y))
# [1] 1200 20000 100 12111
Это было также ответил ранее на r-help (И в Q2 здесь).
В качестве альтернативы, вы можете предварительно обработать файл, например, с sed в Unix.
Вы можете прочитать. TABLE или Read.csv сделать это конверсию для вас полуавтоматически. Сначала создайте новое определение класса, затем создайте функцию преобразования и установите ее как метод «как», используя функцию SETAS, как SO:
setClass("num.with.commas")
setAs("character", "num.with.commas",
function(from) as.numeric(gsub(",", "", from) ) )
Затем запустите read.csv Like:
DF <- read.csv('your.file.here',
colClasses=c('num.with.commas','factor','character','numeric','num.with.commas'))
Этот вопрос несколько лет, но я наткнулся на него, что означает, что, возможно, другие будут.
А readr Библиотека / пакет имеет несколько хороших функций. Один из них - хороший способ интерпретировать «грязные» колонны, подобные этим.
library(readr)
read_csv("numbers\n800\n\"1,800\"\n\"3500\"\n6.5",
col_types = list(col_numeric())
)
Это дает
Источник: локальный кадр данных [4 x 1
numbers
(dbl)
1 800.0
2 1800.0
3 3500.0
4 6.5
Важный момент при чтении в файлах: вам либо нужно предварительно обработать, например, комментарий, касающийся выше sed, или вам нужно обработать во время чтения. Анкет Часто, если вы пытаетесь исправить что -то после факта, есть некоторые опасные предположения, которые трудно найти. (Вот почему плоские файлы в первую очередь такие злые.)
Например, если бы я не отметил col_types, Я бы получил это:
> read_csv("numbers\n800\n\"1,800\"\n\"3500\"\n6.5")
Source: local data frame [4 x 1]
numbers
(chr)
1 800
2 1,800
3 3500
4 6.5
(Обратите внимание, что теперь это chr (character) вместо numeric.)
Или, более опасно, если бы это было достаточно долго, и большинство ранних элементов не содержали запятых:
> set.seed(1)
> tmp <- as.character(sample(c(1:10), 100, replace=TRUE))
> tmp <- c(tmp, "1,003")
> tmp <- paste(tmp, collapse="\"\n\"")
(так, как выглядят последние несколько элементов :)
\"5\"\n\"9\"\n\"7\"\n\"1,003"
Тогда вы вообще найдете проблемы с чтением этой запятой!
> tail(read_csv(tmp))
Source: local data frame [6 x 1]
3"
(dbl)
1 8.000
2 5.000
3 5.000
4 9.000
5 7.000
6 1.003
Warning message:
1 problems parsing literal data. See problems(...) for more details.
а dplyr решение с использованием mutate_all и трубы
скажем, у вас есть следующее:
> dft
Source: local data frame [11 x 5]
Bureau.Name Account.Code X2014 X2015 X2016
1 Senate 110 158,000 211,000 186,000
2 Senate 115 0 0 0
3 Senate 123 15,000 71,000 21,000
4 Senate 126 6,000 14,000 8,000
5 Senate 127 110,000 234,000 134,000
6 Senate 128 120,000 159,000 134,000
7 Senate 129 0 0 0
8 Senate 130 368,000 465,000 441,000
9 Senate 132 0 0 0
10 Senate 140 0 0 0
11 Senate 140 0 0 0
и хочу удалить запятые с переменных года x2014-x2016 и преобразовать их в числовые. Кроме того, скажем, X2014-X2016 читаются как факторы (по умолчанию)
dft %>%
mutate_all(funs(as.character(.)), X2014:X2016) %>%
mutate_all(funs(gsub(",", "", .)), X2014:X2016) %>%
mutate_all(funs(as.numeric(.)), X2014:X2016)
mutate_all применяет функцию (ы) внутри funs к указанным столбцам
Я сделал это последовательно, по одной функции за раз (если вы используете несколько функций внутри funs Затем вы создаете дополнительные, ненужные столбцы)
«Предварительная обработка» в R:
lines <- "www, rrr, 1,234, ttt \n rrr,zzz, 1,234,567,987, rrr"
Можешь использовать readLines на textConnection. Анкет Затем удалите только запятые между цифрами:
gsub("([0-9]+)\\,([0-9])", "\\1\\2", lines)
## [1] "www, rrr, 1234, ttt \n rrr,zzz, 1234567987, rrr"
Полезно знать, но не иметь непосредственного отношения к этому вопросу, что запятые в качестве десятичных сепараторов могут быть обработаны с помощью read.csv2 (автоматически) или read.table (с настройкой «дек-параметра»).
РЕДАКТИРОВАТЬ: Позже я обнаружил, как использовать Colclasses, разработав новый класс. Видеть:
Как загрузить DF с 1000 сепаратором в R в качестве числового класса?
Если число разделено "." и десятичные дскаи по "," (1,200,000,00) при вызове gsub вы должны set fixed=TRUE as.numeric(gsub(".","",y,fixed=TRUE))
Я думаю, что предварительная обработка - это путь. Вы могли бы использовать Блокнот ++ который имеет опцию замены регулярного выражения.
Например, если ваш файл был таким:
"1,234","123","1,234"
"234","123","1,234"
123,456,789
Затем вы можете использовать регулярное выражение "([0-9]+),([0-9]+)" и замените его на \1\2
1234,"123",1234
"234","123",1234
123,456,789
Тогда вы могли бы использовать x <- read.csv(file="x.csv",header=FALSE) Чтобы прочитать файл.
Очень удобный способ readr::read_delim-семья. Взяв пример отсюда: Импорт CSV с несколькими сепараторами в R Вы можете сделать это следующим образом:
txt <- 'OBJECTID,District_N,ZONE_CODE,COUNT,AREA,SUM
1,Bagamoyo,1,"136,227","8,514,187,500.000000000000000","352,678.813105723350000"
2,Bariadi,2,"88,350","5,521,875,000.000000000000000","526,307.288878142830000"
3,Chunya,3,"483,059","30,191,187,500.000000000000000","352,444.699742995200000"'
require(readr)
read_csv(txt) # = read_delim(txt, delim = ",")
Что приводит к ожидаемому результату:
# A tibble: 3 × 6
OBJECTID District_N ZONE_CODE COUNT AREA SUM
<int> <chr> <int> <dbl> <dbl> <dbl>
1 1 Bagamoyo 1 136227 8514187500 352678.8
2 2 Bariadi 2 88350 5521875000 526307.3
3 3 Chunya 3 483059 30191187500 352444.7
Используя функцию read_delim, которая является частью readr Библиотека, вы можете указать дополнительный параметр:
locale = locale(decimal_mark = ",")
read_delim("filetoread.csv", ';", locale = locale(decimal_mark = ","))
*Полуколон во второй строке означает, что read_delim будет читать CSV полуколонные значения.
Это поможет прочитать все цифры с запятой в качестве надлежащих чисел.
С Уважением
Матеуш Кания
Мы также можем использовать readr::parse_number, хотя столбцы должны быть символами. Если мы хотим применить его для нескольких столбцов, мы можем пройти через столбцы, используя lapply
df[2:3] <- lapply(df[2:3], readr::parse_number)
df
# a b c
#1 a 12234 12
#2 b 123 1234123
#3 c 1234 1234
#4 d 13456234 15342
#5 e 12312 12334512
Или использовать mutate_at из dplyr Чтобы применить его к конкретным переменным.
library(dplyr)
df %>% mutate_at(2:3, readr::parse_number)
#Or
df %>% mutate_at(vars(b:c), readr::parse_number)
данные
df <- data.frame(a = letters[1:5],
b = c("12,234", "123", "1,234", "13,456,234", "123,12"),
c = c("12", "1,234,123","1234", "15,342", "123,345,12"),
stringsAsFactors = FALSE)
