Detecção De Média Móvel Anomalia

Um método geométrico de média móvel móvel para detectar mudanças nos fluxos de dados Bondu, M. Boull: Uma abordagem supervisionada para a detecção de mudanças em fluxos de dados. A Conferência Internacional Conjunta sobre Redes Neurais 2011 (IJCNN), pp. 519 526 (2011). Daniel Kifer, Shai Ben-David, Johannes Gehrke: Detectando a Mudança nos Fluxos de Dados. Actas da 30ª Conferência VLDB, Toronto, Canadá, pp. 180-191 (2004). Leszek Czerwonka: Mudanças nos preços das ações como resposta às previsões de lucros sobre lucros reais futuros. Alexandru Ioan Cuza Universidade de Iasi, vol. 56, p� 81-90 (2009). Q. Siqing, W. Sijing: Um modelo homomórfico para identificar anormalidades abruptas de precursores de deslizamento de terra. Engenharia Geologia, Vol. 57, págs. 163168 (2000). CrossRef Wei Xiong, NaixueXiong, Laurence T. Yang, etc. Detecção de Anomalia de Tráfego de Rede com base na Teoria de Catástrofe. IEEE Globecom 2010 Workshop sobre Avanços em Comunicações e Redes, pp. 2070-2074 (2010). Thomas Hilker. Michael A. Wulder. Nicholas C. Coops, etc. Um novo modelo de fusão de dados para mapeamento de alta resolução espacial e temporal do distúrbio florestal baseado em Landsat e MODIS. Sensoriamento Remoto do Meio Ambiente, Vol. 113, p. 16131627 (2009). Ashraf M. Dewan. Yasushi Yamaguchi: Usando sensores remotos e SIG para detectar e monitorar o uso da terra e mudança da cobertura da terra em Dhaka Metropolitana de Bangladesh durante 1960 2005. Environ Monit Assess, Vol. 150, pp. 237-249 (2009). CrossRef Jin S. Deng, KeWang, Yang Hong, Jia G. Qi. Dinâmica espaço-temporal e evolução da mudança de uso da terra e padrão da paisagem em resposta à rápida urbanização. Paisagem e Planejamento Urbano, vol. 92, pp. 187-198 (2009). CrossRef Asampbu Kitamoto: Mineração Spatio-Temporal de Dados para Typhoon Image Collection. Journal of Intelligent Information Systems, Vol. 19 (1), pp. 25-41 (2002). Tao Cheng, Jiaqiu Wang: Mineração de dados espaciais-temporal integrada para a predição do incêndio florestal. Transações em SIG. Vol. 12 (5), pp. 591-611 (2008). A. Dries e U. Ruckert: Detecção adaptativa de deriva de conceitos. Em SIAM Conference on Data Mining, pp. 233244 (2009). J. H. Friedman e L. C. Rafsky: generalizações multivariadas dos testes de duas amostras de Wald-Wolfowitz e Smirnov. Annals of Statistic, vol. 4, pp. 697717 (2006). F. Nemec, O. Santolik, M. Parrot e J. J. Berthelier: Observações de perturbações eletromagnéticas relacionadas à atividade sísmica. Geophysical Research Letters, vol. 35 (L05109), pp. 1-5 (2008). Sheskin, D. J. Manual de Procedimentos Estatísticos Paramétricos e Não Paramétricos. 2a ed. CRC Press, Boca Raton, Fla., Pp. 513-727 (2000). W. A. Shewhart: A aplicação da estatística como um auxílio na manutenção da qualidade de um produto manufaturado. Am. Statistician Assoc. Vol. 20, p. 546-548 (1925). CrossRef W. A. Shewhart: Controle Econômico de Qualidade do Produto Manufaturado. Sou. Soe. Para Controle de Qualidade, (1931). E. S. Página: Em problema em que uma alteração em um parâmetro ocorre em um ponto desconhecido. Biometrika, Vol. 44, págs. 248-252 (1957). MATH M. A. Girshik e H. Rubin: Uma Abordagem de Bayes para um Modelo de Controle de Qualidade, Annal of Math. Statistics, Vol. 23 (1), pp. 114-125 (1952). Ludmila I. Kuncheva: Mudança de Detecção em Streaming de Dados Multivariados Usando Detectores de Verossimilhança. IEEE Transactions on Knowledge and Data Engineering, vol. 6 (1), pp. 1-7 (2007). F. Chu, Y. Wang, e C. Zaniolo: Uma Abordagem de Aprendizagem Adaptativa para Streams de Dados Ruidosos. Quarta IEEE Intl Conf. Data Mining, pp. 351-354 (2004). J. Z. Kolter e M. A. Maloof: Maioria Ponderada Dinâmica: Um Novo Método de Ensemble para Rastreamento de Deriva de Conceitos. Proc. Terceira IEEE Intl Conf. Data Mining, páginas 123-130 (2003). H. Wang, W. Fan, P. S. Yu, e J. Han: Mineração Conceito-Drifting fluxos de dados usando Classificadores Ensemble. Proc. ACM SIGKDD, pp. 226-235 (2003). M. Scholz e R. Klinkenberg: Boosting Classifiers for Drifting Concepts. Intelligent Data Analysis, vol. 11 (1), pp. 3-28 (2007). R. Klinkenberg: Aprendendo conceitos de derivação: Exemplos de seleção vs ponderação de exemplo, análise inteligente de dados. Especial sobre sistemas de aprendizado incremental capazes de lidar com a deriva de conceitos, Vol. 8 (3), pp. 281-300 (2004). R. Klinkenberg e T. Joachims: Detectando Drift de Conceito com Máquinas de Suporte de Vetor. Proc. 17º Intl Conf. Machine Learning, P. Langley, ed. Pp. 487-494 (2000). G. Widmer e M. Kubat: Aprendizagem na Presença de Deriva de Conceitos e Contextos Oculto. Máquina de Aprendizagem, Vol. 23 (1), pp. 69-101 (1996). Kong Fanlang: Um Método Dinâmico de Previsão do Sistema. Teoria e Prática da Engenharia de Sistemas, Vol. 19 (3), pp. 58-62 (1999). Kong Fanlang: Um Método Dinâmico de Previsão de Temperatura do Ar. Kybernetes, Vol. 33 (2), pp. 282-287 (2004). S. S. Ho, H. Wechsler: Uma Estrutura de Martingala para Detectar Alterações em Fluxos de Dados Testando a Intercambiabilidade. IEEE transações em análise de padrões e inteligência de máquina, Vol. 32 (12), pp. 2113-2127 (2010). CrossRef S. Muthukrishnan, E. van den Berg e Y. Wu: Sequential Change Detection on Data Streams, Proc. ICDM Workshop Data Stream Mineração e Gestão, pp. 551-556 (2007) V. Vovk, I. Nouretdinov, e A. Gammerman: Testing Exchangeability On-Line. Proc. 20º Intl Conf. Aprendizado de Máquina, T. 768-775 (2003). M. Steele: Cálculo Estocástico e Aplicações Financeiras. SpringerVerlag, (2001). E. Keogh, J. Lin e A. Fu: HOT SAX: Encontrando eficientemente as subseqüências de séries temporais mais incomuns. Em Proceedings da 5ª Conferência Internacional de IEEE sobre Mineração de Dados (ICDM05), pp. 226-233 (2005). V. Moskvina e A. A. Zhigljavsky: Um algoritmo baseado na análise de espectro singular para a detecção do ponto de mudança. Comunicação em Estatística: Simulação amp amp; Computação, Vol. 32 (2), pp. 319-352 (2003). MathSciNet MATH CrossRef Y. Takeuchi e K. Yamanishi: Uma estrutura unificadora para detectar pontos abertos e pontos de mudança a partir de dados de séries temporais não estacionárias. IEEE Transactions on Knowledge and Data Engineering, vol. 18 (4), pp. 482489 (2006). CrossRef F. Desobry, M. Davy, e C. Doncarli: Um algoritmo de detecção de mudança de kernel online. IEEE Transactions on Signal Processing, Vol. 53 (8), pp. 2961-2974 (2005). MathSciNet CrossRefAnomaly Detecção e Anomalia Scores Esta nota técnica descreve como o escore de anomalia é implementado e incorporado no CLA (Algoritmo de Aprendizagem Cortical). O escore de anomalia permite que o CLA forneça uma métrica que representa o grau em que cada registro é previsível. Por exemplo, se você tiver um modelo de anomalia temporal que prevê o consumo de energia de um edifício, cada registro terá uma pontuação de anomalia entre zero e um. Um zero representa um valor completamente previsto enquanto que um representa um valor completamente anômalo. O recurso de pontuação de anomalia do CLA é implementado em cima do pooler espacial e temporal principal, e não requer qualquer pooler espacial e mudanças de algoritmos temporais de pooler. O usuário deve especificar o modelo como um tipo TemporalAnomaly para que o modelo relate a pontuação da anomalia. O escore de anomalia utiliza o pooler temporal para detectar novos pontos em seqüências. Isso irá detectar ambos os novos padrões de entrada (porque eles não foram vistos em qualquer seqüência), bem como antigos padrões espaciais que ocorrem em um contexto novo. Um modelo TemporalAnomaly calcula a pontuação de anomalia com base na correção da previsão anterior. Isso é calculado como a porcentagem de colunas de pooler espacial ativas que foram preditas incorretamente pelo pooler temporal. O algoritmo para a pontuação da anomalia é o seguinte: Nota. Aqui, uma coluna prevista é uma coluna com um valor de confiança diferente de zero. Isso não é exatamente o mesmo que ter uma célula no estado previsto. Para obter mais informações, consulte a seção de células previstas vs confidências abaixo. Assim, uma pontuação de anomalia de 1 significa que nenhuma célula prevista se tornou ativa e representa um registro completamente anômalo. Uma pontuação de 0 significa que todas as células previstas se tornaram ativas e representam um registro completamente previsto. O raciocínio por trás desta formulação da anomalia pontuação foi que qualquer registro que não é previsto é um novo registro. Isto é válido se construímos o melhor modelo preditivo possível, o que supomos que fizemos através do treinamento. Esta pontuação de anomalia foi aplicada a muitos conjuntos de dados. É o mecanismo central usado no produto comercial Ncmtas Grok. Em alguns casos, você precisa tomar uma média móvel da pontuação anomalia ao invés de apenas olhar para a pontuação anomalia bruto. No NuPIC, o exemplo examplesopfclientshotgymanomaly fornece um bom ponto de partida para a detecção de anomalias. Veja também este conjunto de exemplos para modelos de swarming com anomalia. Confidências vs. Células Predidas Para calcular a pontuação da anomalia temporal, a intenção era computar uma contagem normalizada de quantas colunas estavam ativas e não previstas. Como um atalho de implementação, o conjunto de colunas previstas foi calculado olhando para colunas com confidências de coluna diferente de zero. No entanto, foi descoberto mais tarde que as colunas com confidências não-zero não têm necessariamente qualquer célula prevista neles. Para descobrir se uma célula está no estado previsto, usamos a contagem de partidas duras (o número de sinapses ativas, depois de ter em conta o limiar de permanência). No entanto, para calcular as confidências de uma célula, o Temporal Pooler usa a contagem de partidas suaves (o número de sinapses ativas, independentemente dos valores de permanência). Portanto, o conjunto de colunas com confidências que não sejam zero será sempre um superconjunto das colunas que contêm células previstas. Quando essa diferença foi descoberta (abril de 2013), uma opção foi adicionada ao CLA para calcular a pontuação de anomalia com base nas células previstas em vez de usar confidências. Algumas experi�cias utilizando as c�ulas preditas para calcular a pontua�o de anomalia foram executadas em algumas experi�cias. No entanto, como essas previsões são um subconjunto das colunas com confidências não nulas, os resultados tiveram necessariamente mais falsos positivos. Até à data da escrita, nenhuma mudança foi feita à computação da contagem da anomalia baseada nestes resultados. A pontuação da anomalia ainda é calculada usando confidências de coluna. Detecção de Anomalia Não-Temporal Houve também algumas tentativas de adição de detecção de anomalias que são de natureza não-temporal usando o estado do pooler espacial. Uma anomalia não temporal é definida como uma combinação de campos que normalmente não ocorrem, independente do histórico dos dados. Como os modelos não temporais de anomalias não têm pooler temporal, o escore de anomalia é baseado no estado dentro do pooler espacial. Para calcular a pontuação de anomalias não-temporais, primeiro calculamos a pontuação da partida para cada coluna vencedora após a inibição. Então, para obter a pontuação da anomalia (o quão incomum os dados são), tomamos o inverso do total de jogos A adição de 1 é para evitar dividir Por 0 erros. O objetivo deste escore de anomalia era detectar registros de entrada que representassem padrões de entrada novos ou raros (independentemente do resto da seqüência). Se um padrão de entrada tiver uma pontuação de sobreposição baixa com as colunas vencedoras, nenhuma das colunas corresponde à entrada muito bem, indicando que o CLA não viu um padrão semelhante antes e esse padrão é novo. Por outro lado, se os ciclos de trabalho para um dado padrão são geralmente baixos, isso indica que um padrão não foi visto por um longo tempo, indicando que é raro. Este algoritmo foi executado em alguns conjuntos de dados artificiais. No entanto, os resultados não foram muito promissores, e esta abordagem foi abandonada. De uma perspectiva teórica, a técnica de detecção de anomalias temporais é um superconjunto desta técnica. Se um padrão estático por si só é novo, por definição o pooler temporário não fará boas previsões e, portanto, a pontuação da anomalia temporal deve ser alta. Como tal, não houve muito interesse em prosseguir esta rota. Modelo de média móvel exponencial generalizada (EMA) com filtragem de partículas e detecção de anomalias Masafumi Nakano a. Akihiko Takahashi, b. Soichiro Takahashi a. Universidade de Tóquio, 7-3-1 Hongo Bunkyo-ku, Tóquio, 113-0033, Japão b Faculdade de Economia, Universidade de Tóquio, 7-3-1 Hongo Bunkyo-ku, Tóquio, 113- 0033, Japão Recebido em 15 de setembro de 2016. Revisado em 19 de novembro de 2016. Aceito em 23 de dezembro de 2016. Disponível em linha 28 de dezembro de 2016. Destaques Proponemos um novo modelo de média móvel exponencial (EMA) em uma estrutura de espaço de estados. Nós desenvolvemos 3 detectores de anomalias com um filtro de partículas usado para a decisão de investimento. Implementamos a análise de investimentos com o nosso método, utilizando dados de preços de ativos globais. Nosso esquema supera estratégias praticamente bem conhecidas, incluindo EMAs padrão. Este artigo propõe um modelo de média móvel exponencial generalizada (EMA), um novo modelo de volatilidade estocástica com retorno esperado variável no tempo nos mercados financeiros. Em particular, aplicamos efetivamente um filtro de partículas (PF) à estimação seqüencial de estados e parâmetros em uma estrutura espacial de estados. Além disso, desenvolvemos três tipos de detectores de anomalias, que são implementados facilmente no algoritmo PF a ser usado para a decisão de investimento. Como resultado, uma estratégia de investimento simples com o nosso esquema é superior à baseada na EMA padrão e estratégias tradicionais bem conhecidas, tais como carteiras de paridade de ponderação, de risco mínimo e de risco mínimo. Nosso conjunto de dados é o retorno total mensal de ativos financeiros globais, como ações, títulos e REITs, e os desempenhos de investimento são avaliados com várias estatísticas, nomeadamente retornos compostos, índices de Sharpe, rácios de Sortino e reduções. Filtragem de partículas Detecção de anomalias Médias móveis exponenciais Volatilidade estocástica Modelos espaciais de estados Ativos financeiros globais Anomalias detectadas com movimentação Mediana Decomposição A decomposição de séries temporais divide uma série temporal em uma série temporal, uma tendência e uma série temporal aleatória. A tendência e as séries temporais aleatórias podem ser usadas para detectar anomalias. Mas detectar anomalias em uma série temporal já anómala não é fácil. Trabalhando em uma série de tempo anômalo: Detecção de anomalias com decomposição média móvel doesn8217t trabalho Detecção de anomalias com movimentação mediana trabalhos de decomposição O problema com a média móvel Na descomposição de séries temporais em R. aprendemos que o algoritmo está usando uma média móvel para extrair as tendências de As séries cronológicas. Isso é perfeitamente bem em uma série de tempo sem anomalias. Mas na presença de outliers, a média móvel é gravemente afectada à medida que a tendência incorpora as anomalias. Primeiro, vamos detectar anomalia usando a decomposição com média móvel. Como ele não funciona bem, vamos detectar anomalias usando a decomposição com a mediana em movimento para obter melhores resultados. Sobre os dados: webTraffic. csv informa o número de visualização de página por dias durante um período de 103 semanas (quase 2 anos). Para torná-lo interessante, adicionamos algumas anomalias (extras) a ele. Olhando para a série de tempo, vemos claramente uma sazonalidade de 7 dias como há menos tráfego nos fins de semana. Para decompor uma série temporal sazonal, o período de sazonalidade é necessário. No nosso exemplo, sabemos que a sazonalidade será de 7 dias. Se for desconhecido, é possível determinar a sazonalidade de uma série temporal. Por último, mas não menos importante, precisamos saber se a série temporal é aditiva ou multiplicativa. Nosso tráfego na web é multiplicativo. Para resumir sobre nosso tráfego da correia fotorreceptora: Seasonality de 7 dias (sobre 103 semanas) série de tempo Multiplicative download dados do WebTraffic. csv lt - lê. Csv (webTraffic. csv, sep, cabeçalho T) dias como. (Run) (1) () () () () () () () () () () () (1) Decomposição Como A série de tempo é anômalo durante a decomposição as tendências ficar completamente errado. Na verdade, as anomalias são médias na tendência.