文氏鬼屋已有六十多年歷史, 有傳大宅在日軍佔港時期前已經存在, 但真確出處卻無人得知。顧名思義, 大宅主人姓文, 因文氏酷愛紅梅, 所以大宅四周均種有紅梅樹, 以供大宅主人鑑賞。亦因如此, 所以當時此屋另有「紅屋」之稱。
日軍佔港前, 文氏一家均已逃難, 大宅後來則被日軍佔領。其後日軍投降撤離香港, 英軍進駐, 大宅則為英軍宿舍。靈異事件, 便於此時發生。
自大宅為英軍宿舍初期, 已有怪事發生。有士兵經常聽到有哭泣聲傳出, 但開始時眾人皆不以為然, 後來一士兵於浴室準備洗澡時, 浴缸內的水卻盡皆為血。其後該名士兵被嚇致精神失常, 需送返英國接受治療。
此後怪事繼續發生, 亦有更多人受牽連。當時每天晚上均有士兵於營舍四周巡邏, 但翌日卻皆不見士兵返歸營舍, 宿舍主管初時以為失蹤士兵只是迷路, 或離開營地前往其他軍營, 故未有尋找。後來, 失蹤士兵人數越來越多, 主管下令四出找尋, 卻遍尋不獲, 尋回的只是一些軍服, 加上宿舍連日來所發生的怪事, 令眾人引起恐慌。其中有人認為是妖獸作祟, 將巡邏的士兵都吃掉了。而主管亦束手無策, 唯有發報回國求助, 而英國則任命一名牧師前往香港。
牧師到達宿舍後, 表示邪氣甚深, 更託宿舍主管於宿舍內外四處調查。其後發現大宅花園一小型建築物下竟建有地下室。地下室詭異非常, 室內所佈的顏色全為血紅色, 中央設有祭壇, 壇上放滿祭祀所需之物, 而四周則置有木架, 架上全都放置一個個細小的玻璃瓶, 瓶內所放的均是一些未成形的嬰兒屍體, 是為「靈嬰」。牧師驚見此場面, 認為地下室內所存靈嬰盡為邪靈, 若放之離開會為害人間, 逐託宿舍主管馬上下令眾人撤離宿舍, 而自己則留在地下室, 望能消滅室內所有靈嬰。經過數天後, 所有人皆未見牧師現身, 而地下室及所在位置上的建築物則起火, 火勢之大令眾人都不能接近查看牧師的情況。三天後, 只剩一堆火事過後的瓦礫, 眾人均在瓦礫堆中找尋牧師, 但都找不到牧師的屍體。眾說紛紜, 有人說牧師身受重傷, 早已返國, 亦有人說牧師已於該場火中被燒個精光, 與靈嬰同歸於盡。最後曾於大宅居住的軍官及士兵, 均全數返回英國, 大宅則從此被丟空。
