¿Cómo puedo hacer una suma condicional que sólo se ve entre ciertos criterios de fecha
https://stackoverflow.com//questions/24020207
-
21-12-2019 - |
italiano
english
français
española
中国
日本の
العربية
Deutsch
한국어
Português
RussianPregunta
Decir que tengo los datos que se parece a
date, user, items_bought, event_number
2013-01-01, x, 2, 1
2013-01-02, x, 1, 2
2013-01-03, x, 0, 3
2013-01-04, x, 0, 4
2013-01-04, x, 1, 5
2013-01-04, x, 2, 6
2013-01-05, x, 3, 7
2013-01-06, x, 1, 8
2013-01-01, y, 1, 1
2013-01-02, y, 1, 2
2013-01-03, y, 0, 3
2013-01-04, y, 5, 4
2013-01-05, y, 6, 5
2013-01-06, y, 1, 6
para obtener la suma total por usuario por cada punto de datos que estaba haciendo
data.frame(cum_items_bought=unlist(tapply(as.numeric(data$items_bought), data$user, FUN = cumsum)))
la salida de este se parece a
date, user, items_bought
2013-01-01, x, 2
2013-01-02, x, 3
2013-01-03, x, 3
2013-01-04, x, 3
2013-01-04, x, 4
2013-01-04, x, 6
2013-01-05, x, 9
2013-01-06, x, 10
2013-01-01, y, 1
2013-01-02, y, 2
2013-01-03, y, 2
2013-01-04, y, 7
2013-01-05, y, 13
2013-01-06, y, 14
Sin embargo quiero limitar mis suma, se suman aquellos que ocurren dentro de los 3 días de cada fila (en relación con el usuario).es decir,el resultado debe parecerse a esto:
date, user, cum_items_bought_3_days
2013-01-01, x, 2
2013-01-02, x, 3
2013-01-03, x, 3
2013-01-04, x, 1
2013-01-04, x, 2
2013-01-04, x, 4
2013-01-05, x, 6
2013-01-06, x, 7
2013-01-01, y, 1
2013-01-02, y, 2
2013-01-03, y, 2
2013-01-04, y, 6
2013-01-05, y, 11
2013-01-06, y, 12
Solución
He aquí una dplyr la solución que se va a producir el resultado deseado (14 filas) como se especifica en la pregunta.Tenga en cuenta que se encarga de duplicar las entradas de fecha, por ejemplo, 2013-01-04 para el usuario x.
# define a custom function to be used in the dplyr chain
myfunc <- function(x){
with(x, sapply(event_number, function(y)
sum(items_bought[event_number <= event_number[y] & date[y] - date <= 2])))
}
require(dplyr) #install and load into your library
df %>%
mutate(date = as.Date(as.character(date))) %>%
group_by(user) %>%
do(data.frame(., cum_items_bought_3_days = myfunc(.))) %>%
select(-c(items_bought, event_number))
# date user cum_items_bought_3_days
#1 2013-01-01 x 2
#2 2013-01-02 x 3
#3 2013-01-03 x 3
#4 2013-01-04 x 1
#5 2013-01-04 x 2
#6 2013-01-04 x 4
#7 2013-01-05 x 6
#8 2013-01-06 x 7
#9 2013-01-01 y 1
#10 2013-01-02 y 2
#11 2013-01-03 y 2
#12 2013-01-04 y 6
#13 2013-01-05 y 11
#14 2013-01-06 y 12
En mi respuesta yo uso una función personalizada myfunc en el interior de un dplyr de la cadena.Esto se hace usando el do operador de dplyr.La función personalizada se pasa el crea un subconjunto de df por user grupos.A continuación, se utiliza sapply para pasar cada event_number y calcular la suma de items_bought.La última línea de la dplyr la cadena se anula la selección de la indeseada columnas.
Déjame saber si te gustaría una explicación más detallada.
Editar después de comentarios por parte de la OP:
Si necesita más flexibilidad también condicionalmente suma de las otras columnas, usted puede ajustar el código de la siguiente manera.Asumo aquí, que el resto de las columnas debe ser resumido de la misma manera como items_bought.Si eso no es correcto, por favor especificar cómo desea que se suma el resto de las columnas.
Yo primero crear dos columnas adicionales con números aleatorios en los datos (voy a publicar un dput de los datos en la parte de abajo de mi respuesta):
set.seed(99) # for reproducibility only
df$newCol1 <- sample(0:10, 14, replace=T)
df$newCol2 <- runif(14)
df
# date user items_bought event_number newCol1 newCol2
#1 2013-01-01 x 2 1 6 0.687800094
#2 2013-01-02 x 1 2 1 0.640190769
#3 2013-01-03 x 0 3 7 0.357885360
#4 2013-01-04 x 0 4 10 0.102584999
#5 2013-01-04 x 1 5 5 0.097790922
#6 2013-01-04 x 2 6 10 0.182886256
#7 2013-01-05 x 3 7 7 0.227903474
#8 2013-01-06 x 1 8 3 0.080524150
#9 2013-01-01 y 1 1 3 0.821618422
#10 2013-01-02 y 1 2 1 0.591113977
#11 2013-01-03 y 0 3 6 0.773389019
#12 2013-01-04 y 5 4 5 0.350085977
#13 2013-01-05 y 6 5 2 0.006061323
#14 2013-01-06 y 1 6 7 0.814506223
A continuación, puede modificar myfunc tomar 2 argumentos, en lugar de 1.El primer argumento permanecerá crea un subconjunto de datos.marco como antes (representado por . dentro de la dplyr de la cadena y x en la definición de la función de myfunc), mientras que el segundo argumento myfunc va a especificar la columna a la suma (colname).
myfunc <- function(x, colname){
with(x, sapply(event_number, function(y)
sum(x[event_number <= event_number[y] & date[y] - date <= 2, colname])))
}
A continuación, puede utilizar myfunc varias veces si quieres condicionalmente suma de varias columnas:
df %>%
mutate(date = as.Date(as.character(date))) %>%
group_by(user) %>%
do(data.frame(., cum_items_bought_3_days = myfunc(., "items_bought"),
newCol1Sums = myfunc(., "newCol1"),
newCol2Sums = myfunc(., "newCol2"))) %>%
select(-c(items_bought, event_number, newCol1, newCol2))
# date user cum_items_bought_3_days newCol1Sums newCol2Sums
#1 2013-01-01 x 2 6 0.6878001
#2 2013-01-02 x 3 7 1.3279909
#3 2013-01-03 x 3 14 1.6858762
#4 2013-01-04 x 1 18 1.1006611
#5 2013-01-04 x 2 23 1.1984520
#6 2013-01-04 x 4 33 1.3813383
#7 2013-01-05 x 6 39 0.9690510
#8 2013-01-06 x 7 35 0.6916898
#9 2013-01-01 y 1 3 0.8216184
#10 2013-01-02 y 2 4 1.4127324
#11 2013-01-03 y 2 10 2.1861214
#12 2013-01-04 y 6 12 1.7145890
#13 2013-01-05 y 11 13 1.1295363
#14 2013-01-06 y 12 14 1.1706535
Ahora ha creado condicional sumas de las columnas items_bought, newCol1 y newCol2.Usted puede también dejar fuera ninguna de las sumas en la dplyr cadena o agregar más columnas de resumir.
Edición #2, después de comentarios por parte de la OP:
Para calcular la suma acumulativa de distinta (exclusivo) de los artículos comprados por el usuario, se podría definir una segunda función personalizada myfunc2 y el uso dentro de la dplyr de la cadena.Esta función también es flexible como myfunc así que usted puede definir las columnas a las que desea aplicar la función.
El código sería:
myfunc <- function(x, colname){
with(x, sapply(event_number, function(y)
sum(x[event_number <= event_number[y] & date[y] - date <= 2, colname])))
}
myfunc2 <- function(x, colname){
cumsum(sapply(seq_along(x[[colname]]), function(y)
ifelse(!y == 1 & x[y, colname] %in% x[1:(y-1), colname], 0, 1)))
}
require(dplyr) #install and load into your library
dd %>%
mutate(date = as.Date(as.character(date))) %>%
group_by(user) %>%
do(data.frame(., cum_items_bought_3_days = myfunc(., "items_bought"),
newCol1Sums = myfunc(., "newCol1"),
newCol2Sums = myfunc(., "newCol2"),
distinct_items_bought = myfunc2(., "items_bought"))) %>%
select(-c(items_bought, event_number, newCol1, newCol2))
Estos son los datos que he utilizado:
dput(df)
structure(list(date = structure(c(1L, 2L, 3L, 4L, 4L, 4L, 5L,
6L, 1L, 2L, 3L, 4L, 5L, 6L), .Label = c("2013-01-01", "2013-01-02",
"2013-01-03", "2013-01-04", "2013-01-05", "2013-01-06"), class = "factor"),
user = structure(c(1L, 1L, 1L, 1L, 1L, 1L, 1L, 1L, 2L, 2L,
2L, 2L, 2L, 2L), .Label = c(" x", " y"), class = "factor"),
items_bought = c(2L, 1L, 0L, 0L, 1L, 2L, 3L, 1L, 1L, 1L,
0L, 5L, 6L, 1L), event_number = c(1L, 2L, 3L, 4L, 5L, 6L,
7L, 8L, 1L, 2L, 3L, 4L, 5L, 6L), newCol1 = c(6L, 1L, 7L,
10L, 5L, 10L, 7L, 3L, 3L, 1L, 6L, 5L, 2L, 7L), newCol2 = c(0.687800094485283,
0.640190769452602, 0.357885359786451, 0.10258499882184, 0.0977909218054265,
0.182886255905032, 0.227903473889455, 0.0805241498164833,
0.821618422167376, 0.591113976901397, 0.773389018839225,
0.350085976999253, 0.00606132275424898, 0.814506222726777
)), .Names = c("date", "user", "items_bought", "event_number",
"newCol1", "newCol2"), row.names = c(NA, -14L), class = "data.frame")
Otros consejos
Me gustaría proponer un adicional de data.table enfoque combinado con zoo paquete rollapplyr la función
En primer lugar, vamos agregado items_bought columna por user por única date (como usted ha señalado que podría haber más de una fecha única por usuario)
library(data.table)
data <- setDT(data)[, lapply(.SD, sum), by = c("user", "date"), .SDcols = "items_bought"]
A continuación, vamos a calcular rollapplyr combinado con sum y partial = TRUE con el fin de cubrir los márgenes (gracias por el consejo @G.Grothendieck) en intervalos de 3 días
library(zoo)
data[, cum_items_bought_3_days := lapply(.SD, rollapplyr, 3, sum, partial = TRUE), .SDcols = "items_bought", by = user]
# user date items_bought cum_items_bought_3_days
# 1: x 2013-01-01 2 2
# 2: x 2013-01-02 1 3
# 3: x 2013-01-03 0 3
# 4: x 2013-01-04 0 1
# 5: x 2013-01-05 3 3
# 6: x 2013-01-06 1 4
# 7: y 2013-01-01 1 1
# 8: y 2013-01-02 1 2
# 9: y 2013-01-03 0 2
# 10: y 2013-01-04 5 6
# 11: y 2013-01-05 6 11
# 12: y 2013-01-06 1 12
Este es el conjunto de datos que he utilizado
data <- structure(list(date = structure(c(15706, 15707, 15708, 15709, 15710, 15711, 15706, 15707, 15708, 15709, 15710, 15711), class = "Date"), user = structure(c(1L, 1L, 1L, 1L, 1L, 1L, 2L, 2L, 2L, 2L, 2L, 2L), .Label = c(" x", " y"), class = "factor"), items_bought = c(2L, 1L, 0L, 0L, 3L, 1L, 1L, 1L, 0L, 5L, 6L, 1L)), .Names = c("date", "user", "items_bought"), row.names = c(NA, -12L), class = "data.frame")
Aquí hay un método bastante simple:
# replicate your data, shifting the days ahead by your required window,
# and rbind into a single data frame
d <- do.call(rbind,lapply(0:2, function(x) transform(data,date=date+x)))
# use aggregate to add it together, subsetting out "future" days
aggregate(items_bought~date+user,subset(d,date<=max(data$date)),sum)
date user items_bought
1 2013-01-01 x 2
2 2013-01-02 x 3
3 2013-01-03 x 3
4 2013-01-04 x 1
5 2013-01-05 x 3
6 2013-01-06 x 4
7 2013-01-01 y 1
8 2013-01-02 y 2
9 2013-01-03 y 2
10 2013-01-04 y 6
11 2013-01-05 y 11
12 2013-01-06 y 12
El siguiente parece válida:
unlist(lapply(split(data, data$user),
function(x) {
ave(x$items_bought,
cumsum(c(0, diff(x$date)) >= 3), FUN = cumsum)
}))
#x1 x2 x3 x4 y1 y2 y3 y4
# 2 3 3 4 1 6 6 7
Donde data:
data = structure(list(date = structure(c(15706, 15707, 15710, 15711,
15706, 15707, 15710, 15711), class = "Date"), user = structure(c(1L,
1L, 1L, 1L, 2L, 2L, 2L, 2L), .Label = c(" x", " y"), class = "factor"),
items_bought = c(2L, 1L, 3L, 1L, 1L, 5L, 6L, 1L)), .Names = c("date",
"user", "items_bought"), row.names = c(NA, -8L), class = "data.frame")
Aquí es un enfoque que no uso cumsum pero anidada lapply en su lugar.La primera va sobre los usuarios y, a continuación, para cada usuario de la segunda lapply las construcciones de los datos deseados marco sumando todos los artículos comprados en el plazo de los 2 últimos días de cada fecha.Tenga en cuenta que si data$date no estaban ordenados, tendría que ser ordenados en orden ascendente en primer lugar.
data <- structure(list(
date = structure(c(15706, 15707, 15708, 15709, 15710, 15711,
15706, 15707, 15708, 15709, 15710, 15711), class = "Date"),
user = c("x", "x", "x", "x", "x", "x", "y", "y", "y", "y", "y", "y"),
items_bought = c(2L, 1L, 0L, 0L, 3L, 1L, 1L, 1L, 0L, 5L, 6L, 1L)),
.Names = c("date", "user", "items_bought"),
row.names = c(NA, -12L),
class = "data.frame")
do.call(rbind, lapply(unique(data$user),
function(u) {
subd <- subset(data, user == u)
do.call(rbind, lapply(subd$date,
function(x) data.frame(date = x,
user = u, items_bought =
sum(subd[subd$date %in% (x - 2):x, "items_bought"]))))
}))
Editar
Para lidiar con el problema de tener varias marcas de tiempo para cada día (más de 1 fila por fecha) en primer lugar, agregado por la suma de los elementos adquiridos durante en cada momento en el mismo día.Usted puede hacer que, por ejemplo,utilizando la función incorporada aggregate pero si los datos es demasiado grande, usted puede también utilizar data.table para la velocidad.Voy a llamar a su estructura de datos original (con más de 1 fila por fecha) predata y el agregado de un (1 fila por fecha) data.Llamar por teléfono
predt <- data.table(predata)
setkey(predt, date, user)
data <- predt[, list(items_bought = sum(items_bought)), by = key(predt)]
usted recibe una trama de datos que contiene una fila por cada fecha y columnas fecha, usuario, items_bought.Ahora, creo que la siguiente manera será más rápido que el anidados lapply por encima, pero no estoy seguro ya que no puedo probarlo en sus datos.Yo estoy usando el de datos.mesa porque está pensado para ser rápido (si se utiliza de la manera correcta, de la que no estoy seguro de que es esto).El bucle interno será sustituida por una función f.No sé si hay una manera más prolija, evitando de esta función y la sustitución de la doble lazo con sólo una llamada a los datos.tabla, o cómo escribir datos.tabla llamada que ejecute más rápido.
library(data.table)
dt <- data.table(data)
setkey(dt, user)
f <- function(d, u) {
do.call(rbind, lapply(d$date, function(x) data.frame(date = x,
items_bought = d[date %in% (x - 2):x, sum(items_bought)])))
}
data <- dt[, f(.SD, user), by = user]
De otra manera, que no utiliza datos.tabla, suponiendo que haya suficiente memoria RAM (de nuevo, no sé el tamaño de los datos), es la de almacenar los artículos comprados en 1 día antes en un vector, a continuación de los artículos comprados en 2 días antes en otro vector, etc, y la suma de ellos en la final.Algo como
sumlist <- vector("list", 2) # this will hold one vector, which contains items
# bought 1 or 2 days ago
for (i in 1:2) {
# tmpstr will be used to find the items that a given user bought i days ago
tmpstr <- paste(data$date - i, data$user, sep = "|")
tmpv <- data$items_bought[
match(tmpstr, paste(data$date, data$user, sep = "|"))]
# if a date is not in the original data, assume no purchases
tmpv[is.na(tmpv)] <- 0
sumlist[[i]] <- tmpv
}
# finally, add up items bought in the past as well as the present day
data$cum_items_bought_3_days <-
rowSums(as.data.frame(sumlist)) + data$items_bought
Una última cosa que me gustaría intentar, sería para paralelizar el lapply llamadas, por ejemplo,mediante el uso de la función mclapply en su lugar, o por volver a escribir el código utilizando la funcionalidad paralela de foreach o plyr.Dependiendo de la fuerza de su PC y el tamaño de la tarea, esto puede superar a los datos.tabla de un solo núcleo y el rendimiento...
Parece que los paquetes xts y zoo contienen funciones que hacen lo que desea, aunque puede tener los mismos problemas con el tamaño de su conjunto de datos real en @alexis_laz. Usando las funciones de la respuesta de xts a esta pregunta parece hacer el truco.
Primero, tomé el código de la respuesta I enlace a arriba y se aseguró de que funcionara solo para un solo user. Incluyo la función apply.daily porque creo en sus ediciones / comentarios que tiene múltiples observaciones durante algunos días para algunos usuarios, agregué una línea adicional al conjunto de datos de juguete para reflejar esto.
# Make dataset with two observations for one date for "y" user
dat <- structure(list(
date = structure(c(15706, 15707, 15708, 15709, 15710, 15711,
15706, 15707, 15708, 15709, 15710, 15711, 15711), class = "Date"),
user = c("x", "x", "x", "x", "x", "x", "y", "y", "y", "y", "y", "y", "y"),
items_bought = c(2L, 1L, 0L, 0L, 3L, 1L, 1L, 1L, 0L, 5L, 6L, 1L, 0L)),
.Names = c("date", "user", "items_bought"),
row.names = c(NA, -13L),
class = "data.frame")
# Load xts package (also loads zoo)
require(xts)
# See if this works for one user
dat1 = subset(dat, user == "y")
# Create "xts" object for use with apply.daily()
dat1.1 = xts(dat1$items_bought, dat1$date)
dat2 = apply.daily(dat1.1, sum)
# Now use rollapply with a 3-day window
# The "partial" argument appears to only work with zoo objects, not xts
sum.itemsbought = rollapply(zoo(dat2), 3, sum, align = "right", partial = TRUE)
Pensé que la producción podría verse mejor (más como un ejemplo de ejemplo de tu pregunta). No he trabajado mucho con los objetos de zoo mucho, sino la respuesta a esta pregunta me dio algunos punteros para poner la información en un data.frame.
data.frame(Date=time(sum.itemsbought), sum.itemsbought, row.names=NULL)
Una vez que logré esto para un user, fue sencillo expandir esto a todo el conjunto de datos de juguete. Aquí es donde la velocidad podría convertirse en un problema. Yo uso lapply y do.call para este paso.
allusers = lapply(unique(dat$user), function(x) {
dat1 = dat[dat$user == x,]
dat1.1 = xts(dat1$items_bought, dat1$date)
dat2 = apply.daily(dat1.1, sum)
sum.itemsbought = rollapply(zoo(dat2), 3, sum, align = "right", partial = TRUE)
data.frame(Date=time(sum.itemsbought), user = x, sum.itemsbought, row.names=NULL)
} )
do.call(rbind, allusers)
Me gusta mejor la respuesta de James, pero aquí hay una alternativa:
with(data,{
sapply(split(data,user),function(x){
sapply(x$date,function(y) sum(x$items_bought[x$date %in% c(y,y-1,y-2)]))
})
})
