Extension to DF test
Invariant Test
ADF有三种形态: 包含了截距, 包含了截距和trend, 什么都不包含. 我们之前只考虑了最后一种, 因此在此文中考虑前两种.
def: similar or invariant test 指我们使用ADF或DF的时候, 就算包含了截距和trend, test statistics 中也不会出现截距和trend.
因此当我们想要在回归方程中考虑一个期望非零的项时候, 就往里面加一个常数项 (intercept).
$$y_t=\mu+u_t,\quad u_t\sim IID\left(0,\sigma^2\right)$$
注意, 我们对该式回归的结果是为了得到$\hat \mu$, 也就是$\bar y$. 我们对其OLS, 可得:
$$null$$ (暂时跳过推导过程)
$$T\left(\hat{\phi}-1\right)\overset{d}{\to}\frac{\frac{1}{2}\left[W\left(1\right)^{2}-1\right]-W\left(1\right)\int_{0}^{1}W\left(r\right)dr}{\int_{0}^{1}W\left(r\right)^{2}dr-\left[\int_{0}^{1}W\left(r\right)dr\right]^{2}}\equiv\frac{\int_{0}^{1}\tilde{W}\left(r\right)dW\left(r\right)}{\int_{0}^{1}\tilde{W}\left(r\right)^{2}dr}$$
其中$\tilde{W}\left(r\right)=W\left(r\right)-\int_0^1W\left(s\right)ds$ 为de-meaned Brownian Motion. 可见test statistics中并不包含截距.
再加入trend, 根据$y_t=\mu+\beta t+u_t,\quad u_t\sim IID\left(0,\sigma^2\right)$进行回归, 可得:
$$null$$ (暂时跳过推导过程)
$$T\left(\hat{\phi}-1\right)\overset{d}{\to}\frac{\int_{0}^{1}\hat{W}\left(r\right)dW\left(r\right)}{\int_{0}^{1}\hat{W}\left(r\right)^{2}dr}\quad;\quad t_{DF}\overset{d}{\to}\frac{\int_{0}^{1}\hat{W}\left(r\right)dW\left(r\right)}{\left(\int_{0}^{1}\hat{W}\left(r\right)^{2}dr\right)^{1/2}}$$
其中 $\hat{W}\left(r\right)=\tilde{W}\left(r\right)-12\left(r-\frac{1}{2}\right)\int_{0}^{1}\left(s-\frac{1}{2}\right)\tilde{W}\left(s\right)ds$; $\hat{W}\left(r\right)$是de-trended Brownian Motion. 可见不包含截距和trend. 因此ADF/DF test是invariant (similar) test.
给出critical value:
可见: 加了trend 和常数项都会导致关键值左移.
Near Unit Root
以上的所有test, 当我们拒绝$H_{0}$的时候 都是因为当$T\to \infty$的时候, $T(\hat \phi-1)\to -\infty$. 因此$Pr(T(\hat \phi-1)<cv)=1$.
所以这时候不论用任何的test-statistics, 结果都是一样的, 这标志着ADF/DF 在接近单位根的情况下有非常低的test power. 这个太理想化了, 所以我们讨论$\hat\phi\to 1^{-}$的情况.
使用该形式的回归方程: $y_t=\phi_Ty_{t-1}+u_t,\quad\phi_T=e^{c/T},\quad t=1,2,..,T$.
其中$\begin{cases}H_{0}:c=0\\\ H_{1}:c<0\end{cases}$
当c=0的时候, $\phi_{T}=1$, 则该AR(1)是单位根process. 但是, 当$c<0$且$c\to 0^{-}$的时候, $y_{t}$是接近单位根的平稳过程. 令$T\to\infty$, 此时给定c的值, 令$c<0$, 则$\phi_{T}$仍然趋近于1, 被认为是unit root.
Ornstein-Uhlenbeck (OU) Process
为了得到这个test 的statistics, 我们引入Ornstein-Uhlenbeck (OU) Process:
$$J_c\left(r\right)=\int_0^re^{\left(r-s\right)c}dW(s)$$
这是一个stochastic integral. 其中W(s)是随机变量. 出现了r是因为OU process是在Brownian Motion的基础上构建的.
这个OU process满足一些性质:
- 当c=0的时候, 他就是$W(r)$, 即Brownian Motion
- 当r>0的时候, 它是Gaussian Process, 满足:$J_c\left(r\right)\sim N\left(0,\frac{e^{2rc}-1}{2c}\right)$
- 他是随机微分方程的产物: $dJ_c\left(r\right)=cJ_c\left(r\right)dr+dW(r)$
- 有: $\int_0^1J_c(r)dW(r)=\frac{1}{2}\left(J_c(1)^2-1\right)-c\int_0^1J_c^2(r)dr$.
3和4的证明略, 超出本科范畴了.
OU process有结论: 假设$c\le 0$:
$$\begin{aligned}
& a)T^{-1/2}y_{\lfloor Tr\rfloor}\overset{d}{\to}\sigma J_{c}\left(r\right) \\
& b)T^{-3/2}\sum_{t=1}^{T}y_{t}=T^{-\frac{1}{2}}\overline{y}\to\sigma\int_{0}^{1}J_{c}\left(r\right)dr \\
& c)T^{-2}\sum_{t=1}^{T}y_{t}^{2}\xrightarrow{d}\sigma^{2}\int_{0}^{1}J_{c}\left(r\right)^{2}dr \\
& d)T^{-1}\sum_{t=1}^{T}y_{t-1}u_{t}\to\sigma^{2}\int_{0}^{1}J_{c}\left(r\right)dW(r)
\end{aligned}$$
在此仅证明a): 将T分成$1/r$份, 则每份都是$t=[Tr]$. 构造方法和Brownian Motion一样:
将$\phi=e^{c/T}$带入原回归方程, 得:
$$\begin{aligned}
y_{t} & =y_{\lfloor Tr\rfloor}=e^{c/T}y_{t-1}+u_{t} \\
& =e^{c/T}\left(e^{c/T}y_{t-2}+u_{t-1}\right)+u_{t} \\
& =e^{c/T}\left(e^{c/T}\left(e^{c/T}y_{t-3}+u_{t-2}\right)+u_{t-1}\right)+u_{t} \\
& : \\
y_{\lfloor Tr\rfloor} & =\sum_{j=1}^te^{(t-j)c/T}u_j+y_{0}|_{=0},
\end{aligned}$$
用Brownian Motion的方法来分割$u_{t}$, 即: $X_T\left(r\right)=T^{-1}\sum_{j=1}^{\lfloor Tr\rfloor}u_j$. 改写一下(将$u_{t}$改为$X_{T}(r)$的函数): $u_j:=T\int_{(j-1)/T}^{j/T}dX_T(s)$, $s\in (0,1)$.
带回去, 并除以$T^{1/2}$, 得到: $T^{-1/2}y_{\lfloor Tr\rfloor}=T^{1/2}\sum_{j=1}^{\lfloor Tr\rfloor}\bigg(e^{(\lfloor Tr\rfloor-j)c/T}\int_{(j-1)/T}^{j/T}dX_T(s)\bigg)$.
令$j=[Ts]$. 因为s就是r范围内的某个点, 而j也是范围内的某个值, 所以两者可以相等.
$$\to \begin{aligned}T^{-1/2}y_{\lfloor Tr\rfloor} & =\quad T^{1/2}\sum_{j=1}^{\lfloor Tr\rfloor}\int_{(j-1)/T}^{j/T}e^{(r-s)c}dX_{T}(s)\\ & =\quad T^{1/2}\int_{0}^{r}e^{(r-s)c}dX_{T}(s).\end{aligned}$$
用CMT, FCLT, 和$T^{1/2}X_{T}\left(r\right)\stackrel{d}{\to}\sigma W\left(r\right)$, 可得到:
$$T^{-1/2}y_{\lfloor Tr\rfloor}=T^{1/2}\int_0^re^{(r-s)c}dX_T(s)\xrightarrow{d}\sigma\int_0^re^{(r-s)c}dW(s)\equiv\sigma J_c(r)$$
这证明了$a)\ T^{-1/2}y_{\lfloor Tr\rfloor}\overset{d}{\to}\sigma J_{c}\left(r\right)$.
我们跳过另外的证明步骤, 可得:
$$$$\begin{aligned} &i)T\left(\hat{\phi}-\phi_{T}\right)\to T\left(\hat{\phi}-1\right)\stackrel{d}{\to}\frac{\frac{1}{2}\left(J_{c}\left(1\right)^{2}-1\right)}{\int_{0}^{1}J_{c}\left(r\right)^{2}dr}\equiv\frac{\int_{0}^{1}J_{c}\left(r\right)dW\left(r\right)}{\int_{0}^{1}J_{c}\left(r\right)^{2}dr} \\ &ii)t_{DF}\stackrel{d}{\to}\frac{\int_{0}^{1}J_{c}\left(r\right)dW\left(r\right)}{\sqrt{\int_{0}^{1}J_{c}\left(r\right)^{2}dr}} \end{aligned} \end{aligned}$$
结论
- 仍然有$\hat \phi\to_{p} 1$, 除非c=0 (此时单位根, $J_{0}(r)=W(r)$), 否则我们仍然无法一致地估计c.
- 等下写...
Spurious Regression
我们考虑两个 $I(1)$ 序列: $\left\{y_t\right\} _{t=0}^\infty,\ \left\{x_t\right\} _{t=0}^\infty $ 满足:
$$\begin{aligned} y_{t}=\quad y_{t-1}+u_{t}\quad;\quad u_{t}\sim IID\left(0,\sigma_{u}^{2}\right)\quad\& \quad y_{0}=0 \\ x_{t}=\quad x_{t-1}+\varepsilon_{t}\quad;\quad\varepsilon_{t}\sim IID\left(0,\sigma_{\varepsilon}^{2}\right)\quad\& \quad x_{0}=0
\end{aligned}$$
并假设$E(u_{t},\epsilon_{t})=0,\forall t$.
此时将y对x回归, 即考虑: $y_t=\alpha+\beta x_t+e_t$, 理论上y和x没有任何关系, 所以$\beta$应该是0, 因此应该会有结果$\hat{\beta}\xrightarrow{p}0$.
记$W_{u}(r)$和$W_{\epsilon}(r)$分别为u和$\epsilon$的Brownian Motion, 且记$\bar x,\bar y$分别为${x},{y}$的均值.
可得 OLS estimator为:
$$\begin{aligned}\hat{\beta} & =\quad\frac{\sum_{t=1}^Ty_t\left(x_t-\bar{x}\right)}{\sum_{t=1}^T\left(x_t-\bar{x}\right)^2}=\frac{T^{-2}\sum_{t=1}^Ty_tx_t-T^{-2}\bar{x}\sum_{t=1}^Ty_t}{T^{-2}\sum_{t=1}^T\left(x_t-\bar{x}\right)^2}\\ & =\quad\frac{T^{-2}\sum_{t=1}^Ty_tx_t-\left(T^{-1/2}\bar{y}\right)\left(T^{-1/2}\bar{x}\right)}{T^{-2}\sum_{t=1}^Tx_t^2-T^{-1}\bar{x}^2}\end{aligned}$$
利用前几章得到的结论可得:
$$\begin{aligned}
& T^{-1/2}\bar{y}\stackrel{d}{\rightarrow}\sigma_{u}\int_{0}^{1}W_{u}\left(r\right)dr \\
& T^{-1/2}\bar{x}\stackrel{d}{\rightarrow}\sigma_{\varepsilon}\int_{0}^{1}W_{\varepsilon}\left(r\right)dr \\
& T^{-2}\sum_{t=1}^{T}x_{t}^{2}\stackrel{d}{\to}\sigma_{\varepsilon}^{2}\int_{0}^{1}W_{\varepsilon}\left(r\right)^{2}dr \\ & T^{-2}\sum\limits_{t=1}^{T}y_{t}x_{t}\stackrel{d}{\to}\sigma_{u}\sigma_{\varepsilon}\int_{0}^{1}W_{u}\left(r\right)W_{\varepsilon}\left(r\right)dr
\end{aligned}$$
对上面四个等式使用CMT, 可得:
$$\begin{aligned} & \hat{\beta}\to\frac{\frac{\sigma_{u}}{\sigma_{\varepsilon}}\left[\int_{0}^{1}W_{u}\left(r\right)W_{\varepsilon}\left(r\right)dr-\left(\int_{0}^{1}W_{u}\left(r\right)dr\right)\left(\int_{0}^{1}W_{\varepsilon}\left(r\right)dr\right)\right]}{\int_{0}^{1}W_{\varepsilon}\left(r\right)^{2}dr-\left(\int_{0}^{1}W_{\varepsilon}\left(r\right)dr\right)^{2}}\\ & :=\frac{\sigma_{u}}{\sigma_{\varepsilon}}\Lambda\end{aligned}$$
结论是$\hat \beta$收敛于某个随机变量,并不是0. 因此$\hat \beta$并不是一个consistent的estimator. 此外, 当样本容量趋近于无穷的时候, t-statistics也趋近于(正负)无穷, 因此我们永远会拒绝$H_{0}:\beta=0$.
对常数项, 将其单独提取, 有:
$$T^{-1/2}\hat{\alpha}=T^{-1/2}\bar{y}-\hat{\beta}T^{-1/2}\bar{x}$$
$$\to T^{-1/2}\hat{\alpha}\xrightarrow{d}\sigma_u\left[\int_0^1W_u\left(r\right)dr-\Lambda\int_0^1W_\varepsilon\left(r\right)dr\right]$$