动机——logit变换

在现实生活中，有时候需要探究某一事件A发生的概率$P$与某些因素$X = (X_1,X_2,...,X_p)'$之间的关系。考虑到很多情况下，在$P=0$或$P=1$附近，$P$对$X$的变化并不敏感，即这附近，X需要发生很大的变化才能引起$P$的微弱改变。如，“农药的剂量为$X$的情况下，杀死害虫的概率$P$”之间，就具有这种关系。因此，我们要构造这么一个关于$P$的函数$\theta(P)$，使得它在$P=0$或$P=1$附近，$P$的微小变化对应$\theta(P)$的较大改变，同时，$\theta(P)$要尽可能简单。于是，自然有了如下构造的特性

$$\frac{\partial \theta(P)}{\partial P} = \frac{1}{P} + \frac{1}{1-P}$$

于是

$$\theta(P) = ln(\frac{P}{1-P})$$

$theta(P)$就是传说中的$Logit$变换。

模型——Logistic回归

为了建立因变量$P$与自变量X之间的合理变动关系，一个很自然的假设就是线性关系。即

$$P = X'\beta$$

但是正如前面所说的，某些情况下，在$P=0$或$P=1$附近，$P$对$X$的变化并不敏感，即这附近，X需要发生很大的变化才能引起$P$的微弱改变。这个时候，我们构造的$\theta(P)$就派上用场了，于是有了

$$ln\frac{P}{1-P} = X'\beta$$

由

$$ln(\frac{P}{1-P}) = \boldsymbol{X^T \beta} \implies \frac{P}{1-P} = e^{\boldsymbol{X^T \beta}} \implies P = \frac{e^{\boldsymbol{X^T \beta}}}{1 + e^{\boldsymbol{X^T \beta}}}$$

于是上式等价于

$$P = \frac{e^{X'\beta}}{1+e^{X'\beta}}$$

这就是$Logistic$回归模型。

来个例子。

#logistic example
library(ggplot2)
x<- seq(from = 0, to = 20, 0.01)
p<- exp(-5+0.5*x)/(1+exp(-5+0.5*x))
mydata<-data.frame(x =x , p = p)
ggplot(mydata)+
  geom_line(aes(x = x, y = p))+
  ggtitle("The does Vs the probability of insect dying")

应用场景

到这里，我们对$Logistic$回归的应用场景就比较明了了。它多用于分类——因变量为定类尺度。在运用模型时，需要注意是否满足隐含假设：在$P=0$或$P=1$附近，$P$对$X$的变化并不敏感。