Moving Media R Progetto

Come si calcola la media mobile senza usare il filtro () Ci sono un'infinità di risposte a questo, perché la tua domanda è davvero: Come faccio Liscio di un serie storica Così si può cercare parole chiave appropriate. La mia risposta è: l'uso Non medie mobili - questo è pateticamente antichi. loess è uno tra i miliardi di alternative si potrebbe prendere in considerazione. Posta su CV (stats. stackexchange) per altre alternative statistici per le serie di tempo di livellamento. Inoltre, il quotunderstandingquot avete espresso sopra è imperfetto. applicare tipo costrutti sono (livello R) loop. Quindi hai fatto i compiti a casa leggendo un intro a R (cran. r-project. orgdocmanualsR-intro. pdf) o altri tutorial web, se non, si prega di farlo prima di pubblicare qui ulteriormente. Bert Gunter Genentech non clinico Biostatistica (650) 467-7374 quotData non è informazione. L'informazione non è conoscenza. E la conoscenza non è certo wisdom. quot H. Gilbert Welch il Mon, Feb 17, 2014 alle 10:45, C W lthidden email GT ha scritto: gt lista Ciao, GT Come faccio a calcolare una media mobile senza usare il filtro (). filter () non Gt sembra dare medie ponderate. gt gt Sto cercando di applicare (), Tapply. Ma niente quotmovesquot. gt gt Per esempio, gt gt datlt-C (1:20) gt media (DAT1: 3) gt media (dat4: 6) gt media (dat7: 9) gt media (dat10: 12) gt gt gt gt ecc I capire il punto di applicazione è quello di evitare i loop, come devo incorporare gt questa idea in utilizzando una applicazione () gt gt Grazie, Mike gt gt gt versione alternativa HTML cancellato gt gt gt nascosto mailing list gt stat. ethz. chmailmanlistinfor-aiuto gt Si legga la guida di distacco R-project. orgposting-guide. html GT e fornire commentato, minimal, self-contained, codice riproducibili. In risposta a questo post da tmrsg11 il 17 feb 2014, alle 10.45, C W ha scritto: gt lista Ciao, GT Come faccio a calcolare una media mobile senza usare il filtro (). filter () non Gt sembra dare medie ponderate. gt gt Sto cercando di applicare (), Tapply. Ma niente quotmovesquot. gt gt Per esempio, gt gt datlt-C (1:20) gt media (DAT1: 3) gt media (dat4: 6) gt media (dat7: 9) gt media (dat10: 12) gt gt gt gt ecc I capire il punto di applicazione è quello di evitare i loop, come devo incorporare gt questa idea in utilizzando un applicano () Gt Costruire un vettore per il raggruppamento e l'uso Tapply. divisione modulo è un metodo comune per il raggiungimento di questo. A volte la ss-funzione può essere utilizzata se si regola la lunghezza corretta. gt Tapply (dat, (0: ​​(lunghezza (dat) -1)) 3, media) 0 1 2 3 4 5 6 2.0 5.0 8.0 11.0 14.0 17.0 19.5 Tapply (dat, rotondo (seq (1, (lunghezza (dat) 3), lenlength (dat))), significa) 1 2 3 4 5 6 7 1.5 4.5 8.0 11.0 14.5 18.0 20.0 Il commento su dos ponderazione non sembra essere esemplificato nel tuo esempio. gt Grazie, Mike gt gt gt versione alternativa HTML gt cancellato gt gt nascosto mailing list gt stat. ethz. chmailmanlistinfor-aiuto gt Si prega di leggere il GT guida distacco R-project. orgposting-guide. html e fornire commentato, minimal, auto - contained, codice riproducibile. David Winsemius Alameda, CA, Stati Uniti d'America Apri questo post in Vista filettato Segnala contenuto come Re inappropriato: Come calcolare la media mobile senza usare il filtro () In risposta a questo post Rui Barradas Per 5 punti di media mobile, il filtro (x, side2, filterrep (15, 5)), contro, il filtro (x, side2, filterrep (1, 5) hanno lo stesso effetto, dal momento che le esigenze complessive di essere 1. Gabor amplificatore Rui: sono consapevole del pacchetto zoo, l'ho fatto ... non vuole installare un pacchetto per una funzione per lo stesso motivo per il pacchetto sos David, grazie, che è quello che sto cercando il Mon, feb 17, 2014 alle 14:07, Rui Barradas lthidden email GT ha scritto: Ciao gt , gt gt Molti pacchetti hanno una funzione media movind. Ad esempio, il pacchetto gt del tempo. O biblioteca gt gt (SOS) gt findFn (quotmoving averagequot) gt gt nel tuo esempio, quello di calcolare non è esattamente una media mobile, ma in GT può essere calcolata con qualcosa come il seguente gt gt s lt - (seqalong (dat) - 1). 3 gt sapply (split (dat, s), media) Speranza gt gt gt questo aiuta, gt gt Rui Barradas gt gt gt Em 17 -02-2014 18:45, CW escreveu: gt gtgt Ciao lista, gtgt Come faccio a calcolare una media mobile senza usare il filtro (). filter () non gtgt non sembra dare medie ponderate. gtgt gtgt Sto cercando di applicare (), Tapply. Ma niente quotmovesquot. gtgt gtgt Per esempio, gtgt gtgt datlt-C (1:20) gtgt media (DAT1: 3) gtgt media (dat4: 6) gtgt media (dat7: 9) gtgt media (dat10: 12) gtgt gtgt ecc gtgt gtgt I capire il punto di applicazione è quello di evitare i loop, come devo gtgt incorporare gtgt questa idea in utilizzando un applicano () gtgt gtgt Grazie, gtgt Mike gtgt gtgt alternativa versione HTML gtgt cancellato gtgt gtgt nascosto mailing list gtgt stat. ethz. chmailmanlistinfor - aiuto gtgt Si legga la guida di distacco R-project. org gtgt distacco-guide. html gtgt e fornire commentato, minimal, self-contained, codice riproducibili. gtgt gtgt alternativa versione HTML deletedUsing R per Time Series Analysis Time Series Analysis Questo libretto si itells come utilizzare il software statistico R per effettuare alcune semplici analisi che sono comuni per l'analisi dei dati di serie temporali. Questo libretto presuppone che il lettore abbia una conoscenza di base delle analisi di serie temporali, e il focus principale del libretto non è quello di spiegare l'analisi di serie temporali, ma piuttosto di spiegare come effettuare queste analisi utilizzando R. Se siete nuovi alla serie temporali analisi, e vogliono saperne di più su uno qualsiasi dei concetti presentati qui, vi consiglio vivamente il libro Open University 8220Time series8221 (codice prodotto M24902), disponibile presso dalla Open University shop. In questo opuscolo, userò insiemi di dati di serie temporali che sono stati gentilmente messi a disposizione da Rob Hyndman nella sua biblioteca dati di serie temporali a robjhyndmanTSDL. Se vi piace questo opuscolo, come si può anche controllare il mio libretto di utilizzare R per le statistiche biomediche, a-little-book-of-r-for-biomedical-statistics. readthedocs. org. e il mio libretto di utilizzare R per l'analisi multivariata, little-book-of-r-for-multivariate-analysis. readthedocs. org. Lettura dati di serie storiche La prima cosa che si vuole fare per analizzare i dati di serie storiche sarà di leggerlo in R, e per tracciare le serie storiche. È possibile leggere i dati in R utilizzando la funzione di scansione (), che presuppone che i dati per i punti di tempo successivi è in un semplice file di testo con una colonna. Ad esempio, il file robjhyndmantsdldatamisckings. dat contiene i dati relativi all'età della morte dei re successivi di Inghilterra, a partire Guglielmo il Conquistatore (fonte originale: Hipel e Mcleod, 1994). Il set di dati è simile al seguente: sono stati mostrati solo le prime righe del file. Le prime tre righe contengono qualche commento sui dati, e noi vogliamo ignorare questo quando leggiamo i dati in R. Possiamo usare questo utilizzando il parametro 8220skip8221 della funzione di scansione (), che specifica il numero di righe in cima il file di ignorare. Per leggere il file in R, ignorando le prime tre righe, digitiamo: in questo caso l'età della morte di 42 re successivi di Inghilterra è stato letto nella variabile 8216kings8217. Dopo aver letto i dati di serie temporali in R, il passo successivo è quello di memorizzare i dati in un oggetto serie temporale in R, in modo da poter usare R8217s molte funzioni per l'analisi dei dati di serie temporali. Per memorizzare i dati in un oggetto serie temporale, si usa la funzione ts () in R. Ad esempio, per memorizzare i dati nella variabile 8216kings8217 come oggetto serie temporale in R, digitiamo: a volte i dati di serie temporali set che si sono possono essere stati raccolti ad intervalli regolari, che sono state meno di un anno, per esempio, mensile o trimestrale. In questo caso, è possibile specificare il numero di volte in cui i dati sono stati raccolti per anno utilizzando il parametro 8216frequency8217 nei ts funzione (). Per i dati mensili di serie temporali, è possibile impostare frequency12, mentre per i dati di serie temporali trimestrali, si imposta frequency4. È inoltre possibile specificare il primo anno che i dati sono stati raccolti, e il primo intervallo in quell'anno utilizzando il parametro 8216start8217 nei ts funzione (). Ad esempio, se il primo punto di dati corrisponde al secondo trimestre del 1986, è necessario impostare startc (1986,2). Un esempio è un insieme di dati del numero di nascite al mese in città di New York, dal gennaio 1946 al dicembre 1959 (originariamente raccolti da Newton). Questi dati sono disponibili nel file robjhyndmantsdldatadatanybirths. dat Possiamo leggere i dati in R, e conservarla come un oggetto serie temporale, digitando: Allo stesso modo, il file contiene robjhyndmantsdldatadatafancy. dat vendite mensili per un negozio di souvenir in una città balneare in Queensland, in Australia, per il gennaio 1987-dicembre 1993 (dati originali da Wheelwright e Hyndman, 1998). Siamo in grado di leggere i dati in R digitando: Tracciato Time Series Dopo aver letto una serie storica in R, il passo successivo è di solito per fare un grafico dei dati di serie temporali, che si può fare con il plot. ts () funzione in R. ad esempio, per tracciare le serie storiche dell'età della morte di 42 re successivi di Inghilterra, digitiamo: possiamo vedere dalla trama momento che questa serie di tempo potrebbe probabilmente essere descritta utilizzando un modello additivo, dal momento che le fluttuazioni casuali i dati sono più o meno costante in termini di dimensioni nel tempo. Allo stesso modo, per tracciare la serie storica del numero delle nascite al mese in città di New York, digitiamo: Possiamo vedere da questa serie storica che ci sembra essere variazione stagionale nel numero delle nascite al mese: c'è un picco di ogni estate , e un trogolo ogni inverno. Ancora una volta, sembra che questa serie temporale potrebbe probabilmente essere descritta utilizzando un modello additivo, come le variazioni stagionali sono pressoché costante di dimensioni nel tempo e non sembrano dipendere dal livello della serie temporale, e le fluttuazioni casuali sembrano anche essere più o meno costante in termini di dimensioni nel tempo. Allo stesso modo, per tracciare la serie storica delle vendite mensili per il negozio di souvenir in una città balneare nel Queensland, in Australia, digitiamo: in questo caso, sembra che un modello additivo non è appropriato per descrivere questa serie di tempo, dal momento che la dimensione delle fluttuazioni stagionali e le fluttuazioni casuali sembrano aumentare con il livello della serie temporale. Pertanto, potrebbe essere necessario trasformare la serie temporale al fine di ottenere una serie temporale trasformato che può essere descritta utilizzando un modello additivo. Per esempio, possiamo trasformare la serie temporale calcolando il logaritmo naturale dei dati originali: Qui possiamo vedere che la dimensione delle fluttuazioni stagionali e le fluttuazioni casuali nella serie temporale log-trasformata sembrano essere abbastanza costante nel tempo, e fare non dipende dal livello di serie temporale. Così, le serie storiche di log-trasformati probabilmente può essere descritto utilizzando un modello additivo. Decomposizione Serie Time decomposizione una serie temporale significa separa nei suoi componenti costitutivi, che sono di solito un componente tendenza e una componente irregolare, e se si tratta di una serie temporale stagionale, una componente stagionale. Scomponendo i dati non stagionale Una serie temporali non stagionali è costituito da una componente di trend e una componente irregolare. Decomposizione serie temporali comporta cercando di separare la serie temporale in queste componenti, cioè, la stima del componente tendenza e il componente irregolare. Per stimare la componente andamento di una serie temporale non stagionale che può essere descritta utilizzando un modello additivo, è comune utilizzare un metodo di smoothing, come ad esempio il calcolo della media mobile semplice della serie temporale. La funzione SMA () nel pacchetto 8220TTR8221 R può essere utilizzato per lisciare dati di serie temporali utilizzando una media mobile semplice. Per utilizzare questa funzione, abbiamo prima bisogno di installare il pacchetto 8220TTR8221 R (per le istruzioni su come installare un pacchetto R, vedere Come installare un pacchetto R). Una volta installato il pacchetto 8220TTR8221 R, è possibile caricare il pacchetto 8220TTR8221 R digitando: È quindi possibile utilizzare il () 8221 Funzione 8220SMA per lisciare dati di serie temporali. Per utilizzare la funzione SMA (), è necessario specificare l'ordine (arco) della media mobile semplice, utilizzando il parametro 8220n8221. Ad esempio, per calcolare una media mobile semplice di ordine 5, abbiamo impostato n5 nella funzione SMA (). Ad esempio, come discusso in precedenza, la serie storica dell'età della morte di 42 re successivi di Inghilterra sembra è non stagionale, e probabilmente può essere descritto utilizzando un modello additivo, dal momento che le fluttuazioni casuali nei dati sono pressoché costante in termini di dimensioni over tempo: Quindi, possiamo cercare di stimare la componente di trend di questa serie tempo lisciando utilizzando una media mobile semplice. Per smussare le serie storiche con una semplice media mobile di ordine 3, e tracciare i dati di serie temporali levigati, digitiamo: Sembra essere ancora un bel po 'di fluttuazioni casuali nella serie storica lisciato con una semplice media mobile di ordine 3. Così, per stimare la componente di trend, più precisamente, potremmo provare a lisciare i dati con una semplice media mobile di ordine superiore. Questo richiede un po 'di tentativi ed errori, per trovare la giusta quantità di levigatura. Ad esempio, possiamo provare a utilizzare un semplice media mobile di ordine 8: I dati lisciato con una media mobile semplice di ordine 8 fornisce un quadro più chiaro della componente di trend, e possiamo vedere che l'età della morte dei re inglesi sembra sono diminuiti da circa 55 anni per circa 38 anni durante il regno dei primi 20 re, per poi aumentare dopo che per circa 73 anni dalla fine del regno del re 40 ° in serie storica. Scomponendo i dati stagionali Una serie temporale di stagione è costituito da una componente di trend, una componente stagionale e una componente irregolare. Decomposizione serie tempo significa che separa la serie temporale in queste tre componenti: ovvero stimando questi tre componenti. Per stimare la componente di trend e la componente stagionale di una serie storica di stagione che può essere descritto utilizzando un modello additivo, si può utilizzare il () 8221 funzione 8220decompose in R. Questa funzione calcola il trend, stagionalità, e fattori erratici di una serie storica che può essere descritto mediante un modello additivo. La 8220decompose function () 8221 restituisce un oggetto lista come risultato, dove le stime della componente stagionale, componente di trend e componente irregolare sono memorizzati in elementi di nome di che gli oggetti della lista, denominata 8220seasonal8221, 8220trend8221, e 8220random8221 rispettivamente. Ad esempio, come discusso in precedenza, la serie storica del numero delle nascite al mese in città di New York è stagionale, con un picco ogni estate e trogolo ogni inverno, e probabilmente può essere descritto utilizzando un modello additivo in quanto le fluttuazioni stagionali e casuali sembrano essere più o meno costante in termini di dimensioni nel tempo: Per stimare la tendenza, componenti stagionali e irregolari di questa serie tempo, tipo: I valori stimati della stagione, tendenza e componenti irregolari vengono ora memorizzati nelle variabili birthstimeseriescomponentsseasonal, birthstimeseriescomponentstrend e birthstimeseriescomponentsrandom. Ad esempio, siamo in grado di stampare i valori stimati della componente stagionale digitando: I fattori stagionali stimate sono dati per i mesi gennaio-dicembre, e sono gli stessi per ogni anno. Il più grande fattore stagionale è per luglio (circa 1,46), e il più basso è per febbraio (circa -2.08), che indica che ci sembra essere un picco delle nascite nel mese di luglio e un trogolo delle nascite nel mese di febbraio di ogni anno. Siamo in grado di tracciare il trend stimato, stagionale, e fattori erratici della serie tempo utilizzando il 8220plot () 8221 funzione, ad esempio: Il grafico qui sopra mostra la serie storica originale (in alto), la componente stimata di tendenza (seconda dall'alto), il componente stimata stagionale (terzo dall'alto), e la stima del componente irregolare (in basso). Si vede che la componente di trend stimato mostra una lieve diminuzione da circa 24 nel 1947 a circa 22 nel 1948, seguito da un aumento costante da allora in poi a circa 27 nel 1959. In stagione Regolazione Se si dispone di una serie storica di stagione che può essere descritto utilizzando un modello additivo, è possibile regolare l'stagionalmente serie temporali stimando il componente stagionale, e sottraendo il componente stagionale stimata dalla serie storica originale. Possiamo farlo utilizzando la stima della componente stagionale calcolato dal 8220decompose () 8221 la funzione. Ad esempio, per la stagione regolare la serie storica del numero delle nascite al mese in città di New York, siamo in grado di stimare la componente stagionale con 8220decompose () 8221, e quindi sottrarre la componente stagionale dalla serie storica originale: Possiamo quindi tracciare il destagionalizzato serie temporali utilizzando il 8220plot () 8221 la funzione, digitando: Si può vedere che la variazione stagionale è stato rimosso dalla serie storica destagionalizzata. La serie storica destagionalizzata ora contiene solo la componente di trend e una componente irregolare. Previsioni utilizzando esponenziale esponenziale possono essere utilizzati per fare previsioni a breve termine per i dati di serie temporali. Il livellamento esponenziale semplice Se si dispone di una serie storica che può essere descritto utilizzando un modello additivo con livello costante e non stagionalità, è possibile utilizzare semplici livellamento esponenziale di fare previsioni a breve termine. Il metodo semplice di livellamento esponenziale fornisce un metodo di valutazione del livello al punto di tempo corrente. Smoothing è controllata dal parametro alfa per la stima del livello al punto di tempo corrente. Il valore di alfa compreso tra 0 e 1. I valori di alfa che sono vicini a 0 significa che poco peso è posto sulle più recenti osservazioni quando si effettua previsioni di valori futuri. Ad esempio, il file contiene robjhyndmantsdldatahurstprecip1.dat pioggia totale annua pollici per Londra, 1.813-1.912 (dati originali da Hipel e McLeod, 1994). Siamo in grado di leggere i dati in R e tracciare digitando: Si può vedere dalla trama che non vi è più o meno il livello costante (la media rimane costante a circa 25 pollici). Le fluttuazioni casuali nella serie temporali sembrano essere più o meno costante in termini di dimensioni nel tempo, quindi è probabilmente appropriata per descrivere i dati utilizzando un modello additivo. Quindi, possiamo fare previsioni utilizzando semplici livellamento esponenziale. Per fare previsioni utilizzando semplice livellamento esponenziale in R, siamo in grado di montare un semplice modello predittivo esponenziale utilizzando le 8220HoltWinters () 8221 funzione in R. Per utilizzare HoltWinters () per semplice livellamento esponenziale, abbiamo bisogno di impostare i parametri betaFALSE e gammaFALSE nel funzione HoltWinters () (i parametri beta e gamma sono utilizzati per Holt8217s livellamento esponenziale, o Holt-Winters livellamento esponenziale, come descritto di seguito). La funzione HoltWinters () restituisce una variabile di lista, che contiene diversi elementi di nome. Ad esempio, per utilizzare semplice livellamento esponenziale di fare previsioni per la serie storica delle precipitazioni annuali a Londra, digitiamo: L'uscita di HoltWinters () ci dice che il valore stimato del parametro alpha è di circa 0.024. Questo è molto vicino allo zero, ci dice che le previsioni si basano su entrambe le osservazioni recenti e meno recenti (anche se un po 'più di peso è posto su recenti osservazioni). Per impostazione predefinita, HoltWinters () solo rende le previsioni per lo stesso periodo di tempo coperto dal nostro serie storica originale. In questo caso, la nostra serie tempo originale comprendeva precipitazioni per Londra 1813-1912, per cui le previsioni sono anche per il 1813-1912. Nell'esempio di cui sopra, abbiamo memorizzato l'uscita dei HoltWinters () funzione nella variabile di lista 8220rainseriesforecasts8221. Le previsioni fatte da HoltWinters () vengono memorizzati in un elemento di nome di questa variabile di lista chiamata 8220fitted8221, in modo che possiamo ottenere i loro valori digitando: Siamo in grado di tracciare la serie temporale originale rispetto alle previsioni digitando: Il grafico mostra la serie storica originale nero, e le previsioni come una linea rossa. La serie storica delle previsioni è molto più agevole rispetto alla serie storica dei dati originali qui. Come misura della precisione delle previsioni, possiamo calcolare la somma dei quadrati degli errori per gli errori di previsione dei campioni, cioè, gli errori di previsione per il periodo di tempo coperto dalla nostra serie temporale originale. La somma dei quadrati-errori è memorizzato in un elemento di nome della variabile di lista chiamata 8220rainseriesforecasts8221 8220SSE8221, in modo che possiamo ottenere il suo valore digitando: Cioè, qui i sum-of-squadrata errori è 1.828,855. È comune in semplice livellamento esponenziale per utilizzare il primo valore della serie temporale come valore iniziale per il livello. Ad esempio, nella serie tempo per pioggia a Londra, il primo valore è 23.56 (pollici) per la pioggia nel 1813. È possibile specificare il valore iniziale per il livello nei HoltWinters () funzione utilizzando il parametro 8220l. start8221. Ad esempio, per fare previsioni con il valore iniziale del livello impostato 23.56, digitiamo: Come spiegato in precedenza, da HoltWinters di default () solo rende le previsioni per il periodo di tempo coperto dai dati originali, che è 1813-1912 per la pioggia serie temporali. Siamo in grado di fare previsioni di ulteriori punti di tempo utilizzando le 8220forecast. HoltWinters () 8221 funzione nel pacchetto R 8220forecast8221. Per utilizzare le forecast. HoltWinters () la funzione, abbiamo prima bisogno di installare il pacchetto 8220forecast8221 R (per le istruzioni su come installare un pacchetto R, vedere Come installare un pacchetto R). Una volta installato il pacchetto 8220forecast8221 R, è possibile caricare il pacchetto 8220forecast8221 R digitando: Quando si usano i forecast. HoltWinters la funzione (), come primo argomento (ingresso), si passa il modello predittivo che è già stato montato utilizzando il HoltWinters () la funzione. Ad esempio, nel caso della serie storica delle precipitazioni, abbiamo memorizzato il modello predittivo realizzato utilizzando HoltWinters () nella variabile 8220rainseriesforecasts8221. È possibile specificare il numero di ulteriori punti di tempo che si desidera fare previsioni per utilizzando il parametro 8220h8221 in forecast. HoltWinters (). Ad esempio, per fare una previsione di pioggia per gli anni 1814-1820 (altre 8 anni) che utilizzano forecast. HoltWinters (), digitiamo: I forecast. HoltWinters () funzione che si dà la previsione per un anno, un intervallo di 80 pronostico per le previsioni, e un intervallo di 95 previsione per la previsione. Ad esempio, le precipitazioni previsto per 1920 è di circa 24.68 pollici, con un intervallo di 95 previsione di (16.24, 33.11). Per tracciare le previsioni fatte da forecast. HoltWinters (), possiamo utilizzare la 8220plot. forecast () 8221 Funzione: Ecco le previsioni per il 1913-1920 sono tracciati come una linea blu, l'intervallo di 80 previsione come un'area ombreggiato arancione, e la intervallo di 95 previsione come una zona ombreggiata gialla. Il errors8217 8216forecast sono calcolati come i valori osservati meno valori previsti, per ogni punto di tempo. Possiamo calcolare solo gli errori di previsione per il periodo di tempo coperto dal nostro serie storica originale, che è 1813-1912 per i dati a pioggia. Come accennato in precedenza, una misura della precisione del modello predittivo è la somma-of-the-errori al quadrato (SSE) per gli errori di previsione in-campione. L'in-campione di errori di previsione sono memorizzati nell'elemento chiamato 8220residuals8221 della variabile lista restituita da forecast. HoltWinters (). Se il modello predittivo non può essere migliorato, non ci dovrebbero essere le correlazioni tra errori di previsione per le previsioni successive. In altre parole, se ci sono correlazioni tra errori di previsioni per predizioni successive, è probabile che le semplici previsioni livellamento esponenziale potrebbero essere migliorati da un'altra tecnica di previsione. Per capire se questo è il caso, siamo in grado di ottenere un correlogramma degli errori di previsione in-campione per ritardi 1-20. Siamo in grado di calcolare un correlogramma degli errori di previsione utilizzando il 8220acf () 8221 funzione in R. Per specificare il massimo ritardo che vogliamo guardare, usiamo il parametro 8220lag. max8221 a ACF (). Ad esempio, per calcolare un correlogramma degli errori di previsione in-campione per i dati delle precipitazioni di Londra per ritardi 1-20, digitiamo: Si può vedere dalla correlogramma del campione che l'autocorrelazione al ritardo 3 è solo toccando i limiti di significatività. Per verificare se ci sono prove significative correlazioni diversi da zero a ritardi 1-20, siamo in grado di effettuare un test di Ljung-Box. Questo può essere fatto in R usando l'8220Box. test () 8221, funzione. Il ritardo massimo che vogliamo guardare è specificato utilizzando il parametro 8220lag8221 nella funzione Box. test (). Ad esempio, per verificare se ci sono autocorrelazioni diverse da zero a ritardi 1-20, per gli errori di previsione in-campione per i dati delle precipitazioni Londra, digitiamo: Ecco la prova statistica Ljung-Box è 17,4, e il p-value è pari a 0,6 , quindi ci sono poche prove di autocorrelazioni diversi da zero negli errori di previsione in-campione a GAL 1-20. Per essere sicuri che il modello predittivo non può essere migliorato, ma è anche una buona idea per verificare se gli errori di previsione sono distribuiti normalmente con media zero e varianza costante. Per verificare se gli errori di previsione hanno varianza costante, possiamo fare un grafico tempo degli errori di previsione in-campione: Il grafico mostra che l'in-campione di errori di previsione sembrano avere più o meno costante varianza nel tempo, anche se la dimensione delle fluttuazioni l'inizio della serie storica (1820-1830) potrebbe essere leggermente inferiore a quella in epoche successive (ad es. 1840-1850). Per verificare se gli errori di previsione sono distribuiti normalmente con media pari a zero, siamo in grado di tracciare un istogramma degli errori di previsione, con una curva normale sovrapposto che ha media zero e la stessa deviazione standard come la distribuzione degli errori di previsione. Per fare questo, siamo in grado di definire una funzione R 8220plotForecastErrors () 8221, qui di seguito: Si dovrà copiare la funzione di cui sopra in R al fine di utilizzarlo. È quindi possibile utilizzare plotForecastErrors () per tracciare un istogramma (con sovrapposto curva normale) degli errori di previsione per le previsioni delle precipitazioni: Il grafico mostra che la distribuzione degli errori di previsione è più o meno centrato sullo zero, ed è più o meno normalmente distribuita, anche se sembra essere leggermente inclinata verso destra rispetto a una curva normale. Tuttavia, l'inclinazione a destra è relativamente piccolo, e così è plausibile che errori di previsione sono distribuiti normalmente con media zero. Il test di Ljung-Box ha dimostrato che non ci sono prove di autocorrelazioni diversi da zero a errori di previsione a campione, e la distribuzione degli errori di previsione sembra essere distribuita normalmente con media pari a zero. Ciò suggerisce che il semplice metodo di livellamento esponenziale fornisce un modello predittivo adeguato per Londra precipitazioni, che probabilmente non può essere migliorato. Inoltre, le ipotesi che gli intervalli 80 e 95 previsioni si basavano su (che non ci sono autocorrelazioni nei errori di previsione, e gli errori di previsione sono distribuiti normalmente con media zero e varianza costante) sono probabilmente validi. Holt8217s esponenziale Se si dispone di una serie storica che può essere descritto utilizzando un modello additivo con l'aumento o in diminuzione di tendenza e non stagionalità, è possibile utilizzare Holt8217s livellamento esponenziale di fare previsioni a breve termine. Holt8217s livellamento esponenziale stima il livello e la pendenza nel punto di tempo corrente. Smoothing è controllato da due parametri, alfa, per la stima del livello al punto di tempo corrente e beta per la stima della pendenza b del componente tendenza al punto di tempo corrente. Come con la semplice livellamento esponenziale, il paramters alfa e beta hanno valori compresi tra 0 e 1, e valori che sono vicino a 0 significa che poco peso è posto sulle più recenti osservazioni quando si effettua previsioni di valori futuri. Un esempio di una serie storica che probabilmente può essere descritta utilizzando un modello additivo con una tendenza e non stagionalità è la serie storica del diametro annuale di gonne women8217s presso l'orlo, dal 1866 al 1911. I dati sono disponibili nelle robjhyndmantsdldatarobertsskirts di file. dat (dati originali da Hipel e McLeod, 1994). Siamo in grado di leggere e tracciare i dati in R digitando: Possiamo vedere dalla trama che vi è stato un aumento del diametro orlo da circa 600 nel 1866 a circa 1050 nel 1880, e che poi il diametro orlo scesa a circa 520 nel 1911 . per fare previsioni, siamo in grado di adattare un modello predittivo utilizzando i HoltWinters () in R. per utilizzare HoltWinters () per Holt8217s livellamento esponenziale, abbiamo bisogno di impostare il parametro gammaFALSE (il parametro di gamma viene utilizzato per Holt-Winters livellamento esponenziale, come descritto sotto). Ad esempio, per utilizzare Holt8217s livellamento esponenziale per adattarsi a un modello predittivo per il diametro orlo gonna, digitiamo: Il valore stimato di alfa è 0,84, e di beta è 1,00. Questi sono entrambi alti, ci dice che sia la stima del valore corrente del livello e della pendenza b della componente dinamica, si basano principalmente sulla molto recenti osservazioni della serie temporale. Questo fa buon senso intuitivo, poiché il livello e la pendenza della serie temporale sia cambiano parecchio nel tempo. Il valore della somma-di-squared-errori per gli errori di previsione in-campione è 16954. Si può tracciare la serie temporale originale come una linea nera, con i valori previsti come una linea rossa in cima a quello, digitando: Noi può vedere dalla foto che le previsioni in-campione concordano abbastanza bene con i valori osservati, anche se tendono a restare indietro i valori osservati un po '. Se lo si desidera, è possibile specificare i valori iniziali del livello e la pendenza B del componente di tendenza utilizzando i 8220l. start8221 e 8220b. start8221 argomenti per i HoltWinters () la funzione. È comune per impostare il valore iniziale del livello al primo valore della serie temporale (608 per i dati gonne), e il valore iniziale della pendenza al secondo valore meno il primo valore (9 per i dati gonne). Ad esempio, per adattarsi a un modello predittivo per i dati orlo gonna utilizzando Holt8217s livellamento esponenziale, con i valori iniziali di 608 per il livello e 9 per il coefficiente angolare b della componente di trend, digitiamo: Per quanto riguarda la semplice livellamento esponenziale, siamo in grado di fare previsioni per i tempi futuri non coperti dalla serie storica originale utilizzando i forecast. HoltWinters function () nel pacchetto 8220forecast8221. Ad esempio, i nostri dati di serie temporali per orli gonna era di 1866-1911, in modo che possiamo fare previsioni per 1912-1930 (19 più punti di dati), e tracciare, digitando: Le previsioni sono mostrate come una linea blu, con la 80 intervalli di previsione come una zona ombreggiato arancione, e gli intervalli di previsione 95 come una zona ombreggiata giallo. Per quanto riguarda la semplice livellamento esponenziale, siamo in grado di verificare se il modello predittivo potrebbe essere migliorata controllando se l'in-campione di errori di previsione mostrano autocorrelazioni diverse da zero a ritardi 1-20. Ad esempio, per i dati orlo gonna, possiamo fare un correlogramma, ed eseguire il test di Ljung-Box, digitando: Qui il correlogramma mostra che l'autocorrelazione campione per gli errori di previsione in-campione a ritardo 5 supera i limiti di significatività. Tuttavia, ci si aspetterebbe uno in 20 delle autocorrelazioni per i primi venti in ritardo di superare i limiti di significatività 95 solo per caso. In effetti, quando effettuiamo il test Ljung-Box, il p-value è 0,47, che indica che ci sono poche prove di autocorrelazioni diversi da zero negli errori di previsione in-campione a GAL 1-20. Per quanto riguarda la semplice livellamento esponenziale, dobbiamo anche verificare che gli errori di previsione hanno varianza costante nel tempo, e sono normalmente distribuiti con media pari a zero. Possiamo farlo facendo un diagramma tempo di errori di previsione, e un istogramma della distribuzione degli errori di previsione con una curva normale sovrapposto: La trama tempo di errori di previsione mostra che gli errori di previsione sono pressoché costante variabilità nel tempo. L'istogramma degli errori di previsione mostrano che è plausibile che gli errori di previsione sono distribuiti normalmente con media zero e varianza costante. Così, il test di Ljung-Box dimostra che non ci sono prove di autocorrelazioni nei errori di previsione, mentre la trama tempo e l'istogramma degli errori di previsione mostrano che è plausibile che gli errori di previsione sono distribuiti normalmente con media zero e varianza costante. Quindi, possiamo concludere che Holt8217s livellamento esponenziale fornisce un modello predittivo adeguato per diametri orlo gonna, che probabilmente non possono essere migliorate. Inoltre, ciò significa che le ipotesi che gli intervalli 80 e 95 previsioni erano basate su sono probabilmente validi. Holt-Winters esponenziale Se si dispone di una serie storica che può essere descritto utilizzando un modello additivo con l'aumento o in diminuzione tendenza e la stagionalità, è possibile utilizzare Holt-Winters livellamento esponenziale di fare previsioni a breve termine. Holt-Winters livellamento esponenziale stima il livello, pendenza e componente stagionale al punto di tempo corrente. Smoothing è controllato da tre parametri: alfa, beta e gamma, per le stime del livello, coefficiente angolare b della componente di trend, e la componente stagionale, rispettivamente, al punto di tempo corrente. I parametri alfa, beta e gamma tutti hanno valori compresi tra 0 e 1, e valori che sono vicino a 0 significa che relativamente poco peso è posto sulle più recenti osservazioni quando si effettua previsioni di valori futuri. Un esempio di una serie storica che probabilmente può essere descritto utilizzando un modello additivo con un trend e alla stagionalità è la serie storica del registro delle vendite mensili per il negozio di souvenir in una città balneare nel Queensland, Australia (discusso in precedenza): Per fare previsioni, siamo in grado di montare un modello predittivo utilizzando i HoltWinters la funzione (). Ad esempio, per montare un modello predittivo per il registro delle vendite mensili nel negozio di souvenir, digitiamo: I valori stimati di alfa, beta e gamma sono 0,41, 0,00 e 0,96, rispettivamente. Il valore di alfa (0.41) è relativamente basso, indicando che la stima del livello al punto di tempo corrente si basa su entrambi i recenti osservazioni e alcune osservazioni nel passato più lontano. Il valore di beta è 0,00, che indica che la stima della pendenza b del componente curve non viene aggiornata sulla serie temporale, e invece è impostato uguale al suo valore iniziale. Questo fa buon senso intuitivo, come il livello cambia un po 'sopra la serie storica, ma il coefficiente angolare b della componente di trend rimane più o meno lo stesso. Al contrario, il valore della gamma (0.96) è elevato, indicando che la stima della componente stagionale nel punto ora corrente è basato su molto recenti osservazioni. Per quanto riguarda la semplice livellamento esponenziale e Holt8217s livellamento esponenziale, siamo in grado di tracciare la serie temporale originale come una linea nera, con i valori previsti come una linea rossa in cima che: Vediamo dalla trama che il metodo esponenziale di Holt-Winters è un grande successo nel prevedere i picchi stagionali, che ogni anno si verificano circa nel mese di novembre. Per fare previsioni per i tempi futuri non inclusi nella serie storica originale, usiamo le 8220forecast. HoltWinters () 8221 funzione nel pacchetto 8220forecast8221. Ad esempio, i dati originali per le vendite di souvenir è dal gennaio 1987 al dicembre 1993. Se volessimo fare previsioni per il gennaio 1994 al dicembre 1998 (48 mesi) di più, e tracciare le previsioni, dovremmo digitare: Le previsioni sono mostrati come una linea blu, e l'arancio e zone d'ombra gialle mostrano intervalli di 80 e 95 di previsione, rispettivamente. Siamo in grado di verificare se il modello predittivo può essere migliorato controllando se l'in-campione di errori di previsione mostrano autocorrelazioni diverse da zero a ritardi 1-20, facendo una correlogramma e di effettuare il test Ljung-Box: Il correlogramma mostra che le autocorrelazioni per l'in-campione di errori di previsione non superano i limiti di significatività per ritardi 1-20. Inoltre, il p-value per i test di Ljung-Box è 0,6, che indica che ci sono poche prove di autocorrelazioni diversi da zero a ritardi 1-20. Siamo in grado di verificare se i errori di previsione hanno varianza costante nel tempo, e sono normalmente distribuiti con media pari a zero, facendo un diagramma temporale dei errori di previsione e un istogramma (con sovrapposto curva normale): Dalla trama tempo, sembra plausibile che il errori di previsione hanno varianza costante nel tempo. Dalla istogramma degli errori di previsione, sembra plausibile che gli errori di previsione sono distribuiti normalmente con media zero. Thus, there is little evidence of autocorrelation at lags 1-20 for the forecast errors, and the forecast errors appear to be normally distributed with mean zero and constant variance over time. This suggests that Holt-Winters exponential smoothing provides an adequate predictive model of the log of sales at the souvenir shop, which probably cannot be improved upon. Furthermore, the assumptions upon which the prediction intervals were based are probably valid. ARIMA Models Exponential smoothing methods are useful for making forecasts, and make no assumptions about the correlations between successive values of the time series. However, if you want to make prediction intervals for forecasts made using exponential smoothing methods, the prediction intervals require that the forecast errors are uncorrelated and are normally distributed with mean zero and constant variance. While exponential smoothing methods do not make any assumptions about correlations between successive values of the time series, in some cases you can make a better predictive model by taking correlations in the data into account. Autoregressive Integrated Moving Average (ARIMA) models include an explicit statistical model for the irregular component of a time series, that allows for non-zero autocorrelations in the irregular component. Differencing a Time Series ARIMA models are defined for stationary time series. Therefore, if you start off with a non-stationary time series, you will first need to 8216difference8217 the time series until you obtain a stationary time series. If you have to difference the time series d times to obtain a stationary series, then you have an ARIMA(p, d,q) model, where d is the order of differencing used. You can difference a time series using the 8220diff()8221 function in R. For example, the time series of the annual diameter of women8217s skirts at the hem, from 1866 to 1911 is not stationary in mean, as the level changes a lot over time: We can difference the time series (which we stored in 8220skirtsseries8221, see above) once, and plot the differenced series, by typing: The resulting time series of first differences (above) does not appear to be stationary in mean. Therefore, we can difference the time series twice, to see if that gives us a stationary time series: Formal tests for stationarity Formal tests for stationarity called 8220unit root tests8221 are available in the fUnitRoots package, available on CRAN, but will not be discussed here. The time series of second differences (above) does appear to be stationary in mean and variance, as the level of the series stays roughly constant over time, and the variance of the series appears roughly constant over time. Thus, it appears that we need to difference the time series of the diameter of skirts twice in order to achieve a stationary series. If you need to difference your original time series data d times in order to obtain a stationary time series, this means that you can use an ARIMA(p, d,q) model for your time series, where d is the order of differencing used. For example, for the time series of the diameter of women8217s skirts, we had to difference the time series twice, and so the order of differencing (d) is 2. This means that you can use an ARIMA(p,2,q) model for your time series. The next step is to figure out the values of p and q for the ARIMA model. Another example is the time series of the age of death of the successive kings of England (see above): From the time plot (above), we can see that the time series is not stationary in mean. To calculate the time series of first differences, and plot it, we type: The time series of first differences appears to be stationary in mean and variance, and so an ARIMA(p,1,q) model is probably appropriate for the time series of the age of death of the kings of England. By taking the time series of first differences, we have removed the trend component of the time series of the ages at death of the kings, and are left with an irregular component. We can now examine whether there are correlations between successive terms of this irregular component if so, this could help us to make a predictive model for the ages at death of the kings. Selecting a Candidate ARIMA Model If your time series is stationary, or if you have transformed it to a stationary time series by differencing d times, the next step is to select the appropriate ARIMA model, which means finding the values of most appropriate values of p and q for an ARIMA(p, d,q) model. To do this, you usually need to examine the correlogram and partial correlogram of the stationary time series. To plot a correlogram and partial correlogram, we can use the 8220acf()8221 and 8220pacf()8221 functions in R, respectively. To get the actual values of the autocorrelations and partial autocorrelations, we set 8220plotFALSE8221 in the 8220acf()8221 and 8220pacf()8221 functions. Example of the Ages at Death of the Kings of England For example, to plot the correlogram for lags 1-20 of the once differenced time series of the ages at death of the kings of England, and to get the values of the autocorrelations, we type: We see from the correlogram that the autocorrelation at lag 1 (-0.360) exceeds the significance bounds, but all other autocorrelations between lags 1-20 do not exceed the significance bounds. To plot the partial correlogram for lags 1-20 for the once differenced time series of the ages at death of the English kings, and get the values of the partial autocorrelations, we use the 8220pacf()8221 function, by typing: The partial correlogram shows that the partial autocorrelations at lags 1, 2 and 3 exceed the significance bounds, are negative, and are slowly decreasing in magnitude with increasing lag (lag 1: -0.360, lag 2: -0.335, lag 3:-0.321). The partial autocorrelations tail off to zero after lag 3. Since the correlogram is zero after lag 1, and the partial correlogram tails off to zero after lag 3, this means that the following ARMA (autoregressive moving average) models are possible for the time series of first differences: an ARMA(3,0) model, that is, an autoregressive model of order p3, since the partial autocorrelogram is zero after lag 3, and the autocorrelogram tails off to zero (although perhaps too abruptly for this model to be appropriate) an ARMA(0,1) model, that is, a moving average model of order q1, since the autocorrelogram is zero after lag 1 and the partial autocorrelogram tails off to zero an ARMA(p, q) model, that is, a mixed model with p and q greater than 0, since the autocorrelogram and partial correlogram tail off to zero (although the correlogram probably tails off to zero too abruptly for this model to be appropriate) We use the principle of parsimony to decide which model is best: that is, we assume that the model with the fewest parameters is best. The ARMA(3,0) model has 3 parameters, the ARMA(0,1) model has 1 parameter, and the ARMA(p, q) model has at least 2 parameters. Therefore, the ARMA(0,1) model is taken as the best model. An ARMA(0,1) model is a moving average model of order 1, or MA(1) model. This model can be written as: Xt - mu Zt - (theta Zt-1), where Xt is the stationary time series we are studying (the first differenced series of ages at death of English kings), mu is the mean of time series Xt, Zt is white noise with mean zero and constant variance, and theta is a parameter that can be estimated. A MA (moving average) model is usually used to model a time series that shows short-term dependencies between successive observations. Intuitively, it makes good sense that a MA model can be used to describe the irregular component in the time series of ages at death of English kings, as we might expect the age at death of a particular English king to have some effect on the ages at death of the next king or two, but not much effect on the ages at death of kings that reign much longer after that. Shortcut: the auto. arima() function The auto. arima() function can be used to find the appropriate ARIMA model, eg. type 8220library(forecast)8221, then 8220auto. arima(kings)8221. The output says an appropriate model is ARIMA(0,1,1). Since an ARMA(0,1) model (with p0, q1) is taken to be the best candidate model for the time series of first differences of the ages at death of English kings, then the original time series of the ages of death can be modelled using an ARIMA(0,1,1) model (with p0, d1, q1, where d is the order of differencing required). Example of the Volcanic Dust Veil in the Northern Hemisphere Let8217s take another example of selecting an appropriate ARIMA model. The file file robjhyndmantsdldataannualdvi. dat contains data on the volcanic dust veil index in the northern hemisphere, from 1500-1969 (original data from Hipel and Mcleod, 1994). This is a measure of the impact of volcanic eruptions8217 release of dust and aerosols into the environment. We can read it into R and make a time plot by typing: From the time plot, it appears that the random fluctuations in the time series are roughly constant in size over time, so an additive model is probably appropriate for describing this time series. Furthermore, the time series appears to be stationary in mean and variance, as its level and variance appear to be roughly constant over time. Therefore, we do not need to difference this series in order to fit an ARIMA model, but can fit an ARIMA model to the original series (the order of differencing required, d, is zero here). We can now plot a correlogram and partial correlogram for lags 1-20 to investigate what ARIMA model to use: We see from the correlogram that the autocorrelations for lags 1, 2 and 3 exceed the significance bounds, and that the autocorrelations tail off to zero after lag 3. The autocorrelations for lags 1, 2, 3 are positive, and decrease in magnitude with increasing lag (lag 1: 0.666, lag 2: 0.374, lag 3: 0.162). The autocorrelation for lags 19 and 20 exceed the significance bounds too, but it is likely that this is due to chance, since they just exceed the significance bounds (especially for lag 19), the autocorrelations for lags 4-18 do not exceed the signifiance bounds, and we would expect 1 in 20 lags to exceed the 95 significance bounds by chance alone. From the partial autocorrelogram, we see that the partial autocorrelation at lag 1 is positive and exceeds the significance bounds (0.666), while the partial autocorrelation at lag 2 is negative and also exceeds the significance bounds (-0.126). The partial autocorrelations tail off to zero after lag 2. Since the correlogram tails off to zero after lag 3, and the partial correlogram is zero after lag 2, the following ARMA models are possible for the time series: an ARMA(2,0) model, since the partial autocorrelogram is zero after lag 2, and the correlogram tails off to zero after lag 3, and the partial correlogram is zero after lag 2 an ARMA(0,3) model, since the autocorrelogram is zero after lag 3, and the partial correlogram tails off to zero (although perhaps too abruptly for this model to be appropriate) an ARMA(p, q) mixed model, since the correlogram and partial correlogram tail off to zero (although the partial correlogram perhaps tails off too abruptly for this model to be appropriate) Shortcut: the auto. arima() function Again, we can use auto. arima() to find an appropriate model, by typing 8220auto. arima(volcanodust)8221, which gives us ARIMA(1,0,2), which has 3 parameters. However, different criteria can be used to select a model (see auto. arima() help page). If we use the 8220bic8221 criterion, which penalises the number of parameters, we get ARIMA(2,0,0), which is ARMA(2,0): 8220auto. arima(volcanodust, ic8221bic8221)8221. The ARMA(2,0) model has 2 parameters, the ARMA(0,3) model has 3 parameters, and the ARMA(p, q) model has at least 2 parameters. Therefore, using the principle of parsimony, the ARMA(2,0) model and ARMA(p, q) model are equally good candidate models. An ARMA(2,0) model is an autoregressive model of order 2, or AR(2) model. This model can be written as: Xt - mu (Beta1 (Xt-1 - mu)) (Beta2 (Xt-2 - mu)) Zt, where Xt is the stationary time series we are studying (the time series of volcanic dust veil index), mu is the mean of time series Xt, Beta1 and Beta2 are parameters to be estimated, and Zt is white noise with mean zero and constant variance. An AR (autoregressive) model is usually used to model a time series which shows longer term dependencies between successive observations. Intuitively, it makes sense that an AR model could be used to describe the time series of volcanic dust veil index, as we would expect volcanic dust and aerosol levels in one year to affect those in much later years, since the dust and aerosols are unlikely to disappear quickly. If an ARMA(2,0) model (with p2, q0) is used to model the time series of volcanic dust veil index, it would mean that an ARIMA(2,0,0) model can be used (with p2, d0, q0, where d is the order of differencing required). Similarly, if an ARMA(p, q) mixed model is used, where p and q are both greater than zero, than an ARIMA(p,0,q) model can be used. Forecasting Using an ARIMA Model Once you have selected the best candidate ARIMA(p, d,q) model for your time series data, you can estimate the parameters of that ARIMA model, and use that as a predictive model for making forecasts for future values of your time series. You can estimate the parameters of an ARIMA(p, d,q) model using the 8220arima()8221 function in R. Example of the Ages at Death of the Kings of England For example, we discussed above that an ARIMA(0,1,1) model seems a plausible model for the ages at deaths of the kings of England. You can specify the values of p, d and q in the ARIMA model by using the 8220order8221 argument of the 8220arima()8221 function in R. To fit an ARIMA(p, d,q) model to this time series (which we stored in the variable 8220kingstimeseries8221, see above), we type: As mentioned above, if we are fitting an ARIMA(0,1,1) model to our time series, it means we are fitting an an ARMA(0,1) model to the time series of first differences. An ARMA(0,1) model can be written Xt - mu Zt - (theta Zt-1), where theta is a parameter to be estimated. From the output of the 8220arima()8221 R function (above), the estimated value of theta (given as 8216ma18217 in the R output) is -0.7218 in the case of the ARIMA(0,1,1) model fitted to the time series of ages at death of kings. Specifying the confidence level for prediction intervals You can specify the confidence level for prediction intervals in forecast. Arima() by using the 8220level8221 argument. For example, to get a 99.5 prediction interval, we would type 8220forecast. Arima(kingstimeseriesarima, h5, levelc(99.5))8221. We can then use the ARIMA model to make forecasts for future values of the time series, using the 8220forecast. Arima()8221 function in the 8220forecast8221 R package. For example, to forecast the ages at death of the next five English kings, we type: The original time series for the English kings includes the ages at death of 42 English kings. The forecast. Arima() function gives us a forecast of the age of death of the next five English kings (kings 43-47), as well as 80 and 95 prediction intervals for those predictions. The age of death of the 42nd English king was 56 years (the last observed value in our time series), and the ARIMA model gives the forecasted age at death of the next five kings as 67.8 years. We can plot the observed ages of death for the first 42 kings, as well as the ages that would be predicted for these 42 kings and for the next 5 kings using our ARIMA(0,1,1) model, by typing: As in the case of exponential smoothing models, it is a good idea to investigate whether the forecast errors of an ARIMA model are normally distributed with mean zero and constant variance, and whether the are correlations between successive forecast errors. For example, we can make a correlogram of the forecast errors for our ARIMA(0,1,1) model for the ages at death of kings, and perform the Ljung-Box test for lags 1-20, by typing: Since the correlogram shows that none of the sample autocorrelations for lags 1-20 exceed the significance bounds, and the p-value for the Ljung-Box test is 0.9, we can conclude that there is very little evidence for non-zero autocorrelations in the forecast errors at lags 1-20. To investigate whether the forecast errors are normally distributed with mean zero and constant variance, we can make a time plot and histogram (with overlaid normal curve) of the forecast errors: The time plot of the in-sample forecast errors shows that the variance of the forecast errors seems to be roughly constant over time (though perhaps there is slightly higher variance for the second half of the time series). The histogram of the time series shows that the forecast errors are roughly normally distributed and the mean seems to be close to zero. Therefore, it is plausible that the forecast errors are normally distributed with mean zero and constant variance. Since successive forecast errors do not seem to be correlated, and the forecast errors seem to be normally distributed with mean zero and constant variance, the ARIMA(0,1,1) does seem to provide an adequate predictive model for the ages at death of English kings. Example of the Volcanic Dust Veil in the Northern Hemisphere We discussed above that an appropriate ARIMA model for the time series of volcanic dust veil index may be an ARIMA(2,0,0) model. To fit an ARIMA(2,0,0) model to this time series, we can type: As mentioned above, an ARIMA(2,0,0) model can be written as: written as: Xt - mu (Beta1 (Xt-1 - mu)) (Beta2 (Xt-2 - mu)) Zt, where Beta1 and Beta2 are parameters to be estimated. The output of the arima() function tells us that Beta1 and Beta2 are estimated as 0.7533 and -0.1268 here (given as ar1 and ar2 in the output of arima()). Now we have fitted the ARIMA(2,0,0) model, we can use the 8220forecast. ARIMA()8221 model to predict future values of the volcanic dust veil index. The original data includes the years 1500-1969. To make predictions for the years 1970-2000 (31 more years), we type: We can plot the original time series, and the forecasted values, by typing: One worrying thing is that the model has predicted negative values for the volcanic dust veil index, but this variable can only have positive values The reason is that the arima() and forecast. Arima() functions don8217t know that the variable can only take positive values. Clearly, this is not a very desirable feature of our current predictive model. Again, we should investigate whether the forecast errors seem to be correlated, and whether they are normally distributed with mean zero and constant variance. To check for correlations between successive forecast errors, we can make a correlogram and use the Ljung-Box test: The correlogram shows that the sample autocorrelation at lag 20 exceeds the significance bounds. However, this is probably due to chance, since we would expect one out of 20 sample autocorrelations to exceed the 95 significance bounds. Furthermore, the p-value for the Ljung-Box test is 0.2, indicating that there is little evidence for non-zero autocorrelations in the forecast errors for lags 1-20. To check whether the forecast errors are normally distributed with mean zero and constant variance, we make a time plot of the forecast errors, and a histogram: The time plot of forecast errors shows that the forecast errors seem to have roughly constant variance over time. However, the time series of forecast errors seems to have a negative mean, rather than a zero mean. We can confirm this by calculating the mean forecast error, which turns out to be about -0.22: The histogram of forecast errors (above) shows that although the mean value of the forecast errors is negative, the distribution of forecast errors is skewed to the right compared to a normal curve. Therefore, it seems that we cannot comfortably conclude that the forecast errors are normally distributed with mean zero and constant variance Thus, it is likely that our ARIMA(2,0,0) model for the time series of volcanic dust veil index is not the best model that we could make, and could almost definitely be improved upon Links and Further Reading Here are some links for further reading. For a more in-depth introduction to R, a good online tutorial is available on the 8220Kickstarting R8221 website, cran. r-project. orgdoccontribLemon-kickstart . There is another nice (slightly more in-depth) tutorial to R available on the 8220Introduction to R8221 website, cran. r-project. orgdocmanualsR-intro. html . You can find a list of R packages for analysing time series data on the CRAN Time Series Task View webpage . To learn about time series analysis, I would highly recommend the book 8220Time series8221 (product code M24902) by the Open University, available from the Open University Shop . There are two books available in the 8220Use R8221 series on using R for time series analyses, the first is Introductory Time Series with R by Cowpertwait and Metcalfe, and the second is Analysis of Integrated and Cointegrated Time Series with R by Pfaff. Acknowledgements I am grateful to Professor Rob Hyndman. for kindly allowing me to use the time series data sets from his Time Series Data Library (TSDL) in the examples in this booklet. Many of the examples in this booklet are inspired by examples in the excellent Open University book, 8220Time series8221 (product code M24902), available from the Open University Shop . Thank you to Ravi Aranke for bringing auto. arima() to my attention, and Maurice Omane-Adjepong for bringing unit root tests to my attention, and Christian Seubert for noticing a small bug in plotForecastErrors(). Thank you for other comments to Antoine Binard and Bill Johnston. I will be grateful if you will send me (Avril Coghlan) corrections or suggestions for improvements to my email address alc 64 sanger 46 ac 46 ukMoving average could not read the data you posted try dput next time. If it is just a 2 day moving average, try the filter function: gt x lt - 1:20 gt x 1 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 gt filter(x, c(.5,.5)) Time Series: Start 1 End 20 Frequency 1 1 1.5 2.5 3.5 4.5 5.5 6.5 7.5 8.5 9.5 10.5 11.5 12.5 13.5 14.5 15.5 16.5 17.5 18.5 19.5 NA gt Jim Holtman Data Munger Guru What is the problem that you are trying to solve Tell me what you want to do, not how you want to do it. On Sun, Dec 28, 2014 at 6:56 AM, Rolf Edberg lthidden email gt wrote: alternative HTML version deleted hidden email mailing list -- To UNSUBSCRIBE and more, see stat. ethz. chmailmanlistinfor-help PLEASE do read the posting guide R-project. orgposting-guide. html and provide commented, minimal, self-contained, reproducible code. gt x lt - read. csv(text quotDate, Open, High, Low, Close, Volume, Adj Close 2014-12-26,162.27,163.09,162.01,162.34,1912200,162.34 2014-12-24,162.88,162.99,161.61,161.82,1868100,161.82 2014-12-23,162.23,162.90,161.61,162.24,4043300,162.24 2014-12-22,158.33,161.91,158.33,161.44,4682500,161.44quot, as. is TRUE) gt require(lubridate) gt xDate lt - ymd(xDate) convert to a date field gt x lt - xorder(xDate), sort by date gt xtwoday lt - filter(xClose, c(0.5, 0.5)) compute moving average gt x Date Open High Low Close Volume Adj. Close twoday 4 2014-12-22 158.33 161.91 158.33 161.44 4682500 161.44 161.84 3 2014-12-23 162.23 162.90 161.61 162.24 4043300 162.24 162.03 2 2014-12-24 162.88 162.99 161.61 161.82 1868100 161.82 162.08 1 2014-12-26 162.27 163.09 162.01 162.34 1912200 162.34 NA Jim Holtman Data Munger Guru What is the problem that you are trying to solve Tell me what you want to do, not how you want to do it. On Sun, Dec 28, 2014 at 8:31 AM, Rolf Edberg lthidden email gt wrote: gt Thank you for trying to help. gt gt gt gt I am very new to the R code. So need help with every step. gt gt gt gt The goal is to use technical analysis on stock prices. Not only MA but if gt I understand the principle with that I hope I can use the other techniques gt as well. gt gt gt gt I found R-adamant but do not know how to use it. gt gt gt gt I downloaded 4 days of IBM prices from yahoo in a csv-file. gt gt I dont know what dput is. gt gt gt gt Here is the IBM prices in a text string: gt gt Date, Open, High, Low, Close, Volume, Adj Close gt gt 2014-12-26,162.27,163.09,162.01,162.34,1912200,162.34 gt gt 2014-12-24,162.88,162.99,161.61,161.82,1868100,161.82 gt gt 2014-12-23,162.23,162.90,161.61,162.24,4043300,162.24 gt gt 2014-12-22,158.33,161.91,158.33,161.44,4682500,161.44 gt gt gt gt I would like the date in sorted with the oldest at the top. gt gt gt gt I would like to add a column with the technical indicator, in this case gt 2-days MA of Close. gt gt gt gt And I would like to have the result in a csv file. I will use the file in gt another program. gt gt gt gt Thank you. gt gt gt gt Rolf gt gt gt gt From: jim holtman mailto:hidden email gt Sent: Sunday, December 28, 2014 4:45 PM gt To: Rolf Edberg gt Cc: R mailing list gt Subject: Re: R Moving average gt gt gt gt could not read the data you posted try dput next time. gt gt gt gt If it is just a 2 day moving average, try the filter function: gt gt gt gt gt x lt - 1:20 gt gt gt x gt gt 1 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 gt gt gt filter(x, c(.5,.5)) gt gt Time Series: gt gt Start 1 gt gt End 20 gt gt Frequency 1 gt gt 1 1.5 2.5 3.5 4.5 5.5 6.5 7.5 8.5 9.5 10.5 11.5 12.5 13.5 14.5 gt 15.5 16.5 17.5 18.5 19.5 NA gt gt gt gt gt gt gt gt gt Jim Holtman gt Data Munger Guru gt gt What is the problem that you are trying to solve gt Tell me what you want to do, not how you want to do it. gt gt gt gt On Sun, Dec 28, 2014 at 6:56 AM, Rolf Edberg lthidden email gt wrote: gt gt gt gt How do I add a new column with 2-days moving average (from gt r-adamant(githubTotallyBullshitradamant )) on IBM prices in a gt csv-file (ibm. csv) and then save all in a new csv file(ibm2.csv) gt gt gt gt gt Prices gt gt gt gt gt gt Date gt gt Open gt gt High gt gt Low gt gt Close gt gt Volume gt gt Adj Close gt gt gt Dec 26, 2014 gt gt 162.27 gt gt 163.09 gt gt 162.01 gt gt 162.34 gt gt 1,912,200 gt gt 162.34 gt gt gt Dec 24, 2014 gt gt 162.88 gt gt 162.99 gt gt 161.61 gt gt 161.82 gt gt 1,868,100 gt gt 161.82 gt gt gt Dec 23, 2014 gt gt 162.23 gt gt 162.90 gt gt 161.61 gt gt 162.24 gt gt 4,043,300 gt gt 162.24 gt gt gt Dec 22, 2014 gt gt 158.33 gt gt 161.91 gt gt 158.33 gt gt 161.44 gt gt 4,682,500 gt gt 161.44 gt gt gt Dec 19, 2014 gt gt 157.49 gt gt 160.41 gt gt 157.49 gt gt 158.51 gt gt 8,864,900 gt gt 158.51 gt gt gt gt gt alternative HTML version deleted gt gt gt hidden email mailing list -- To UNSUBSCRIBE and more, see gt stat. ethz. chmailmanlistinfor-help gt PLEASE do read the posting guide gt R-project. orgposting-guide. html gt and provide commented, minimal, self-contained, reproducible code. gt gt gt alternative HTML version deleted hidden email mailing list -- To UNSUBSCRIBE and more, see stat. ethz. chmailmanlistinfor-help PLEASE do read the posting guide R-project. orgposting-guide. html and provide commented, minimal, self-contained, reproducible code. On Tue, 30 Dec 2014, jim holtman wrote: gt Try this: gt gtgt x lt - read. csv(text quotDate, Open, High, Low, Close, Volume, Adj Close gt 2014-12-26,162.27,163.09,162.01,162.34,1912200,162.34 gt 2014-12-24,162.88,162.99,161.61,161.82,1868100,161.82 gt 2014-12-23,162.23,162.90,161.61,162.24,4043300,162.24 gt 2014-12-22,158.33,161.91,158.33,161.44,4682500,161.44quot, as. is TRUE) gtgt require(lubridate) gtgt xDate lt - ymd(xDate) convert to a date field gtgt x lt - xorder(xDate), sort by date gtgt xtwoday lt - filter(xClose, c(0.5, 0.5)) compute moving average gtgt x gt Date Open High Low Close Volume Adj. Close twoday gt 4 2014-12-22 158.33 161.91 158.33 161.44 4682500 161.44 161.84 gt 3 2014-12-23 162.23 162.90 161.61 162.24 4043300 162.24 162.03 gt 2 2014-12-24 162.88 162.99 161.61 161.82 1868100 161.82 162.08 gt 1 2014-12-26 162.27 163.09 162.01 162.34 1912200 162.34 NA A canned approach for reading and filtering the data is also available in the quotzooquot package. The read. zoo() function can directly create a quotzooquot time series object with quotDatequot time index: Rgt z lt - read. zoo(text quotDate, Open, High, Low, Close, Volume, Adj Close 2014-12-26,162.27,163.09,162.01,162.34,1912200,162.34 2014-12-24,162.88,162.99,161.61,161.82,1868100,161.82 2014-12-23,162.23,162.90,161.61,162.24,4043300,162.24 2014-12-22,158.33,161.91,158.33,161.44,4682500,161.44quot, header TRUE, sep quot, quot, format quotY-m-dquot) And then rollmean() can compute rolling means for all variablescolumns: Rgt rollmean(z, 2) Open High Low Close Volume Adj. Close 2014-12-22 160.280 162.405 159.97 161.84 4362900 161.84 2014-12-23 162.555 162.945 161.61 162.03 2955700 162.03 2014-12-24 162.575 163.040 161.81 162.08 1890150 162.08 You can additionally supply the fill NA argument if you want trailing NAs for 2014-12-26. gt gt Jim Holtman gt Data Munger Guru gt gt What is the problem that you are trying to solve gt Tell me what you want to do, not how you want to do it. gt gt On Sun, Dec 28, 2014 at 8:31 AM, Rolf Edberg lthidden email gt wrote: gt gtgt Thank you for trying to help. gtgt gtgt gtgt gtgt I am very new to the R code. So need help with every step. gtgt gtgt gtgt gtgt The goal is to use technical analysis on stock prices. Not only MA but if gtgt I understand the principle with that I hope I can use the other techniques gtgt as well. gtgt gtgt gtgt gtgt I found R-adamant but do not know how to use it. gtgt gtgt gtgt gtgt I downloaded 4 days of IBM prices from yahoo in a csv-file. gtgt gtgt I dont know what dput is. gtgt gtgt gtgt gtgt Here is the IBM prices in a text string: gtgt gtgt Date, Open, High, Low, Close, Volume, Adj Close gtgt gtgt 2014-12-26,162.27,163.09,162.01,162.34,1912200,162.34 gtgt gtgt 2014-12-24,162.88,162.99,161.61,161.82,1868100,161.82 gtgt gtgt 2014-12-23,162.23,162.90,161.61,162.24,4043300,162.24 gtgt gtgt 2014-12-22,158.33,161.91,158.33,161.44,4682500,161.44 gtgt gtgt gtgt gtgt I would like the date in sorted with the oldest at the top. gtgt gtgt gtgt gtgt I would like to add a column with the technical indicator, in this case gtgt 2-days MA of Close. gtgt gtgt gtgt gtgt And I would like to have the result in a csv file. I will use the file in gtgt another program. gtgt gtgt gtgt gtgt Thank you. gtgt gtgt gtgt gtgt Rolf gtgt gtgt gtgt gtgt From: jim holtman mailto:hidden email gtgt Sent: Sunday, December 28, 2014 4:45 PM gtgt To: Rolf Edberg gtgt Cc: R mailing list gtgt Subject: Re: R Moving average gtgt gtgt gtgt gtgt could not read the data you posted try dput next time. gtgt gtgt gtgt gtgt If it is just a 2 day moving average, try the filter function: gtgt gtgt gtgt gtgt gt x lt - 1:20 gtgt gtgt gt x gtgt gtgt 1 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 gtgt gtgt gt filter(x, c(.5,.5)) gtgt gtgt Time Series: gtgt gtgt Start 1 gtgt gtgt End 20 gtgt gtgt Frequency 1 gtgt gtgt 1 1.5 2.5 3.5 4.5 5.5 6.5 7.5 8.5 9.5 10.5 11.5 12.5 13.5 14.5 gtgt 15.5 16.5 17.5 18.5 19.5 NA gtgt gtgt gt gtgt gtgt gtgt gtgt gtgt gtgt Jim Holtman gtgt Data Munger Guru gtgt gtgt What is the problem that you are trying to solve gtgt Tell me what you want to do, not how you want to do it. gtgt gtgt gtgt gtgt On Sun, Dec 28, 2014 at 6:56 AM, Rolf Edberg lthidden email gt wrote: gtgt gtgt gtgt gtgt How do I add a new column with 2-days moving average (from gtgt r-adamant(githubTotallyBullshitradamant )) on IBM prices in a gtgt csv-file (ibm. csv) and then save all in a new csv file(ibm2.csv) gtgt gtgt gtgt gtgt gtgt Prices gtgt gtgt gtgt gtgt gtgt gtgt Date gtgt gtgt Open gtgt gtgt High gtgt gtgt Low gtgt gtgt Close gtgt gtgt Volume gtgt gtgt Adj Close gtgt gtgt gtgt Dec 26, 2014 gtgt gtgt 162.27 gtgt gtgt 163.09 gtgt gtgt 162.01 gtgt gtgt 162.34 gtgt gtgt 1,912,200 gtgt gtgt 162.34 gtgt gtgt gtgt Dec 24, 2014 gtgt gtgt 162.88 gtgt gtgt 162.99 gtgt gtgt 161.61 gtgt gtgt 161.82 gtgt gtgt 1,868,100 gtgt gtgt 161.82 gtgt gtgt gtgt Dec 23, 2014 gtgt gtgt 162.23 gtgt gtgt 162.90 gtgt gtgt 161.61 gtgt gtgt 162.24 gtgt gtgt 4,043,300 gtgt gtgt 162.24 gtgt gtgt gtgt Dec 22, 2014 gtgt gtgt 158.33 gtgt gtgt 161.91 gtgt gtgt 158.33 gtgt gtgt 161.44 gtgt gtgt 4,682,500 gtgt gtgt 161.44 gtgt gtgt gtgt Dec 19, 2014 gtgt gtgt 157.49 gtgt gtgt 160.41 gtgt gtgt 157.49 gtgt gtgt 158.51 gtgt gtgt 8,864,900 gtgt gtgt 158.51 gtgt gtgt gtgt gtgt gtgt alternative HTML version deleted gtgt gtgt gtgt hidden email mailing list -- To UNSUBSCRIBE and more, see gtgt stat. ethz. chmailmanlistinfor-help gtgt PLEASE do read the posting guide gtgt R-project. orgposting-guide. html gtgt and provide commented, minimal, self-contained, reproducible code. gtgt gtgt gtgt gt gt alternative HTML version deleted gt gt gt hidden email mailing list -- To UNSUBSCRIBE and more, see gt stat. ethz. chmailmanlistinfor-help gt PLEASE do read the posting guide R-project. orgposting-guide. html gt and provide commented, minimal, self-contained, reproducible code. hidden email mailing list -- To UNSUBSCRIBE and more, see stat. ethz. chmailmanlistinfor-help PLEASE do read the posting guide R-project. orgposting-guide. html and provide commented, minimal, self-contained, reproducible code. On Wed, Dec 31, 2014 at 11:24 AM, John Sorkin lthidden email gt wrote: gt Windows 7 gt gt Colleagues, gt I used the fix() function to edit an existing function when using RStudio. After editing the function, I am given the option to SAVE the modified function. I would like to know (1) where the modified function is stored (the save button does not have an option to specify where the modified function will be saved), and (2) how I can access the modified function in other RStudio or R sessions, and (3) how I can make the function accessible to R and RStudio sessions run on other computers. I dont use RStudio, so I have no idea if it overwrites the base fix() function. But if it does, this is the wrong place to ask about it, so heres the base R answer. fix() saves the edited function to your workspace. That is, if you type ls() at an R prompt after running fix(), it will show your new edited function. The usual methods for exporting something from R to your hard disk will work, such as save() and load(). You could also put your function into a text file myfun. R and use source() to read it into R. Once youve used one of these options to save your file to disk, it is portable between R sessions and computers. I find it much more convenient to use a text editor and source(), personally, rather than fix(). That eases the transition into making packages too. hidden email mailing list -- To UNSUBSCRIBE and more, see stat. ethz. chmailmanlistinfor-help PLEASE do read the posting guide R-project. orgposting-guide. html and provide commented, minimal, self-contained, reproducible code. Open this post in threaded view Report Content as Inappropriate Re: Saving an edited R function - RStudio and R In reply to this post by John Sorkin On 31.12.2014 17:24, John Sorkin wrote: gt Windows 7 gt gt Colleagues, gt I used the fix() function to edit an existing function when using RStudio. After editing the function, I am given the option to SAVE the modified function. I would like to know (1) where the modified function is stored (the save button does not have an option to specify where the modified function will be saved), and (2) how I can access the modified function in other RStudio or R sessions, and (3) how I can make the function accessible to R and RStudio sessions run on other computers. Not sure what this has to do with RStudio, but essentialy this is the wrong approach, since saving under a different name wont make the function available in R then. If you really want to change some function, take its source version and edit it directly and then save it under some explicit name, then source it into R. Best, Uwe Ligges gt Thank you, gt John gt gt John David Sorkin M. D. Ph. D. gt Professor of Medicine gt Chief, Biostatistics and Informatics gt University of Maryland School of Medicine Division of Gerontology and Geriatric Medicine gt Baltimore VA Medical Center gt 10 North Greene Street gt GRECC (BT18GR) gt Baltimore, MD 21201-1524 gt (Phone) 410-605-7119 gt (Fax) 410-605-7913 (Please call phone number above prior to faxing) gt gt Confidentiality Statement: gt This email message, including any attachments, is for the sole use of the intended recipient(s) and may contain confidential and privileged information. Any unauthorized use, disclosure or distribution is prohibited. If you are not the intended recipient, please contact the sender by reply email and destroy all copies of the original message. gt gt hidden email mailing list -- To UNSUBSCRIBE and more, see gt stat. ethz. chmailmanlistinfor-help gt PLEASE do read the posting guide R-project. orgposting-guide. html gt and provide commented, minimal, self-contained, reproducible code. gt hidden email mailing list -- To UNSUBSCRIBE and more, see stat. ethz. chmailmanlistinfor-help PLEASE do read the posting guide R-project. orgposting-guide. html and provide commented, minimal, self-contained, reproducible code. I have a plot of time series in ggplot2 package and I have performed the Moving average and I would like to add the result of moving average to the plot of time series. Sample of Data-set (p31): ambtemp dt -1.14 2007-09-29 00:01:57 -1.12 2007-09-29 00:03:57 -1.33 2007-09-29 00:05:57 -1.44 2007-09-29 00:07:57 -1.54 2007-09-29 00:09:57 -1.29 2007-09-29 00:11:57 Applied code for time series presentation: Sample of Moving average plot Sample of expected results The challenge is that time series data ovbtained from data-set which includes timestamps and temperature but Moving average data include just the average column and not the timestamps and fitting these two can cause inconsistency.