除了害怕也是有别的感觉的啊

你的比方特殊性很强啊。在这种情况下（不怕鬼的人遇见鬼），如果很少遇到鬼，那好奇肯定会压倒别的感情因素。如果经常遇见鬼，且本身习以为常 ，平时看到无感也是正常 。以一次的无感来判断一个人知不知物哀是不可行的。
比如我不怕鬼，天天在小巷子里和鬼擦肩而过，无所谓地继续走。但是有一天我走过小巷子的时候发现鬼没有和我照面而是垂着头扶着墙壁。如果这时我心里想着世间之不如意十有八九，连鬼也有神伤的时候，进而对鬼产生哀怜同情的情绪，并能体味这种”哀“的趣味，就是知物哀的人。因为这时客观对象与我的主观感情一致，而产生了美的情趣。之前的无感，不是不知物哀，只是选定的客观对象（鬼）并没有展现出与我的主观感情有一致的特性而已。
简单的说，可以把知物哀看做一种能力，一次不用，不代表没有。