Média Móvel Em 4 Anos

Médias móveis Se esta informação for plotada em um gráfico, parece assim: Isso mostra que há uma grande variação no número de visitantes, dependendo da estação. Há muito menos no outono e inverno do que a primavera eo verão. No entanto, se queríamos ver uma tendência no número de visitantes, poderíamos calcular uma média móvel de 4 pontos. Fazemos isso encontrando o número médio de visitantes nos quatro trimestres de 2005: então encontramos o número médio de visitantes nos últimos três trimestres de 2005 e primeiro trimestre de 2006: os dois últimos trimestres de 2005 e os dois primeiros trimestres De 2006: note que a última média que podemos encontrar é nos últimos dois trimestres de 2006 e nos dois primeiros trimestres de 2007. Traçamos as médias móveis em um gráfico, certificando-se de que cada média é plotada no centro dos quatro trimestres Abrange: agora podemos ver que existe uma tendência de queda muito pequena nos visitantes. David, sim, MapReduce destina-se a operar em uma grande quantidade de dados. E a idéia é que, em geral, o mapa e reduzir as funções não devem se preocupar com quantos mapeadores ou quantos redutores existem, isso é apenas otimização. Se você pensa cuidadosamente sobre o algoritmo que postei, você pode ver que não importa qual mapeador recebe as partes dos dados. Cada registro de entrada estará disponível para cada operação de redução que o necessite. Ndash Joe K 18 de setembro 12 às 22:30 Na melhor das minhas compreensões, a média móvel não é bem mapas para o paradigma MapReduce, uma vez que seu cálculo é basicamente uma janela deslizante sobre dados classificados, enquanto a MR é o processamento de intervalos não interceptados de dados ordenados. A solução que vejo é a seguinte: a) Implementar particionador personalizado para poder fazer duas partições diferentes em duas execuções. Em cada corrida, seus redutores obterão diferentes faixas de dados e calcularão a média móvel quando apropriado vou tentar ilustrar: Em dados de primeira execução para redutores devem ser: R1: Q1, Q2, Q3, Q4 R2: Q5, Q6, Q7, Q8 . Aqui você irá calcular a média móvel para alguns Qs. Na próxima execução, seus redutores devem obter dados como: R1: Q1. Q6 R2: Q6. Q10 R3: Q10..Q14 E caclule o resto das médias móveis. Então você precisará agregar resultados. Idéia de compartilhamento personalizado que terá dois modos de operação - cada vez que se divide em intervalos iguais, mas com alguma mudança. Em um pseudocódigo, será assim. Partição (keySHIFT) (MAXKEY numOfPartitions) onde: SHIFT será retirado da configuração. MAXKEY valor máximo da chave. Eu assumo por simplicidade que eles começam com zero. RecordReader, IMHO não é uma solução, uma vez que está limitado a divisão específica e não pode deslizar sobre o limite das divisões. Outra solução seria implementar lógica personalizada de dados de entrada de divisão (é parte do InputFormat). Pode ser feito para fazer 2 slides diferentes, semelhante ao particionamento. Respondeu 17 de setembro 12 às 8:59