在小区遭遇神经不正常的人受了点惊吓

昨天下午，在小区里碰到一个神经有点不正常的人，我刚要出电梯，他走进电梯的时候撞了我一下，我觉得他很过分，我就问了一句:“没事吧你”结果他打发雷霆，骂得挺难听的，还扬言要打死我，我当时看见他脸色煞白，像是醉酒了，但是我又没闻出酒味，反正他的脸色很像个不正常人，匆匆离开了。那人不认识我，后来我知道那人就住在我住的小区，我是习过武，不怕这种人，可是我就怕这种人神经不正常，所以现在一直不敢回小区，而且，我不知道昨天到底是我的那句话激怒了他还是他神经不正常，请问我现在到底该怎么办？其实我不会小区也行，在外面有住。