Kisbéren úgy tudják, hogy a város legrégebbi épülete a mai római katolikus plébánia, hajdanán vörös barátok kolostora volt. Komárom megye nagytekintélyű helytörténet-kutatója Gyulay Rudolf, 1890-ben a következőket írta róla:
„Kisbéren a plébánialak szűk folyosója és a kis szobácskák eléggé mutatják, miszerint kolostor volt egykor.”
Megállapítása Kisbér egyik legrégibb szájhagyományán alapszik, amelyet Pesty Frigyes 1864. évi helynévgyűjtésére válaszolva
Marák György kisbéri bíró csak szűkszavúan közölt:
„Hallásból, az elődeink után annyi tudható, hogy itt ezelőtt vagy hét századdal egy kolostor volt, amely most jelenleg a Plébánia lak, és az úgynevezett „vörös barátok” laktak benne. Későbben azok elpusztulván, a kolostor pedig a győri szemináriumé lett.”
A bíró az alábbi történetet bizonyára eléggé tudománytalannak tartotta, ezért csak a lényegét közölte. A történet így szól:
Valamikor réges-rég, mintegy hét századdal ezelőtt jóságos királynénk erre járva, látva a sok szenvedő beteg zarándokot, elhatározta, hogy istápolásukra vendégházat építtet. A betegek gondozásával és védelmezésével a vörös barátokat bízta meg. Vörös barátoknak azért nevezték őket, mert a vörös ruhájukon fehér keresztet viseltek. A barátok több száz éven át hűségesen szolgálták a betegeket. A környező várak porkolábjai azonban gyakran zaklatták őket, ezért a kolostor lassan elnéptelenedett. Csak egyetlen barát tartott ki a végsőkig.
Élt abban az időben a környéken egy gazdag úr, csodaszép leányával. A szép leányba a barát halálosan beleszeretett. A szenvedély annyira elhatalmasodott rajta, hogy a lányt elrabolta és a kolostor pincéjébe zárta. A szép rab hiába könyörgött, sóhajtozott, imádottját a barát nem engedte szabadon. A bánattól a hajadon lassan hervadozni kezdett, majd hamarosan kilehelte lelkét. De sóhajai továbbra is visszhangoztak az üres falak között. Imádottja elvesztésébe a barát beleőrült, majd hamarosan követte őt a halálba.
A kísértet-kolostort a lakosság hosszú időn keresztül messze elkerülte. Amikor azonban az épületet plébániává építették át, a szép leány tetemét megtalálták és tisztességgel eltemették. Azóta a sóhajok megszűntek és szelleme nem kísért többé.
A vörös barátokról szóló történetek nagyon elterjedtek Kisbér környékén. Szákon úgy tudják, hogy a Jáger-kutat vörös barátok ásták, Bársonyoson feltételezik, hogy a Strázsa-hegyen a vörös barátok kolostora volt, Rédén a Barát-rétet azért hívják így, mert régen a vörös barátok laktak itt. A bakonybánki szájhagyomány áll a kisbérihez a legközelebb:
„A Tót-Rédéhez tartozó dűlőben, úgynevezett Szentkút berkében vörös barátok kolostora állt. A vörös barátok a környező falvakból fiatal lányokat toboroztak össze, kolostori életre kárhoztatva őket. A kolostor törésvonal mentén épült, ezért lesüllyedt. Karácsony éjfélkor, aki a kolostor feltételezett helyére kimegy, fülét a földhöz tartja, hallja az éjféli harangszót az eltűnt hajadonok tiszteletére.” – tartják a bakonybánkiak.
A kisbéri plébánia épületének korát csak egy alapos művészettörténeti kutatás tudná feltárni. A helytörténet-kutatás alapján annyi bizonyos, hogy az épület 1727-ben vendégfogadó volt, amelyért a bérlő 100 rajnai forintot fizetett a győri szemináriumnak. Gróf Batthyány Tódor 1783-ban intézkedett a vendégfogadó átalakításáról plébánia hivatallá.
