Podle lidové tradice byla tato kaple postavena před rokem 1820 zdejším prchlivým lesníkem Neumanem (či nadlesním Neumannem). O důvodu jejího zřízení se vyprávějí 2 pověsti. Podle obou onen lesník zabil svého bratra, rozdíl je jen v tom, že podle první se tak událo při panské hostině v nedalekém loveckém zámečku, kdy jeho bratr jako stolník vylil přinášené jídlo přímo na jednoho ze vzácných hostů a nevrlý Neuman ho praštil tak, že se již nikdy neprobral. Podle druhé legendy měl lesník svého bratra zastřelit při honu nešťastnou náhodou. Jak tomu bylo doopravdy, to se již nikdy nedozvíme. Ale tyto pověsti se tradují snad ve všech knihách, jež se zabývají okolím Kunětické hory, například v knize „Sezemice, Dříteč, Kunětice a Hora Kunětická“ od Josefa Nechvíle z roku 1882 se píše následující: „Ráby, vesnice na jihozápadním úpatí hory Kunětické s myslivnou. Místo ní stál dvůr Podhorský, s oborou, bažantnicí, myslivnou, hospodou, kovárnou a obydlím bažantníka; to místo bylo zváno Dančí Obora. R. 1778. až 1780. byl dvůr ten emfyteusován, obora zrušená a místo vystěhovalcům pruským přenecháno. Osada pak tato ke cti c. k. dvorního rady Raaba, původce systemu emfyteutického byla tak jmenována. Je zde veřejná kaple sv. Jana Nep., kterou asi před rokem 1820. lesník Neumann na vlastní útraty dal postaviti na místě, kde sám nešťastným způsobem zastřelil bratra svého.“
Při procházení zdejších matrik se však uvedená událost či úmrtí výše jmenovaného člověka nedá nalézt, takže opět můžeme jen odhadovat, případně se chytat různých nepřímých důkazů. Protože však nalezneme kapličku zakreslenou již v I. vojenském mapování z let 1764-1768 a jeho rektifikaci z let 1780-1783 (viz
http://oldmaps.geolab.cz/map_viewer.pl?lang=cs&map_root=1vm&map_region=ce&map_list=c130), tak můžeme její vznik stanovit na 2. polovinu 18. století, nikoli tedy na počátek 19. století a v této době se musela udát i ona nešťastná událost, pokud nejde o pouhou legendu. V dochovaných matrikách můžeme dohledat pouze úmrtí Ferdinanda Neumana († 17. června 1794) a Leopolda Neumanna († 6. května 1800), přičemž ani jeden z nich nemohl být oním zastřeleným, takže bychom museli hledat ještě v dávnějších matrikách, pokud by byly k dispozici. Vzhledem k tomu, že ves vznikla díky raabizaci v roce 1777, bychom neměli jít před tento rok, ale myslivna byla mnohem starší, avšak výstavba kaple v opuštěné krajině pouze u myslivny a daňčí obory s bažantnicí není příliš pravděpodobná.
S jistotou však můžeme říci, že je kaple, původně lidově zvaná jako „pohlavková“ či „fackovací“ (něm. Ohrfeigenkapelle; viz
https://www.raby-obec.cz/kaple-sv-jana-nepomuckeho), zanesena jako zděný objekt v indikační skice stabilního katastru z roku 1839, jenž byl vyhotoven adjunktem 2. třídy Vinzenzem Reneltem von Eulenburg a geometrem 4. třídy Antonem Schneiderem (viz
https://ags.cuzk.cz/archiv/openmap.html?typ=skicic&idrastru=CHR362018390). Tehdy byl uvedený pozemek majetkem pardubické vrchnosti a sama kaple byla umístěna do čtveřice jí obepínajících stromů. K její opravě pak došlo v roce 1879 nákladem a pod vedením kunětického faráře. 5. září následujícího roku byl před ní slavnostně posvěcen nový železný kříž. Ve všech pramenech se hovoří o novém kříži, ale v již zmíněné indikační skice není na tomto místě žádný jeho dřevěný předchůdce zakreslen. Nebyla to však jediná její změna, protože v knize „Pardubicko, Holicko, Přeloučsko. Díl III. Místopis“ z roku 1909 nalezneme tuto zmínku: „Při silnici na jihozápadním konci vsi stojí kříž a opodál chudičká, veřejná kaple sv. Jana Nepomuckého, kterou před rokem 1820 lesník Neumann dal postaviti na vlastní útraty na místě, kde sám nešťastným způsobem zastřelil svého bratra. Plechový kryt nynější porušil její starobylý ráz.“
Na závěr je ještě třeba dodat to, že její poslední rekonstrukce proběhla v roce 2004, přičemž z původního objektu zůstalo pouze obvodové zdivo, v takovém byla stavu, neboť od ukončení 2. světové války a zejména po únoru 1948 se na ni příliš nemyslelo. Slavnostní vysvěcení obnoveného objektu se pak uskutečnilo 3. září následujícího roku. Od té doby se zde pravidelně konají během roku 2 pobožnosti – májová (v květnu) a posvícenská mše sv. (v září), jež jsou slouženy sezemickým farářem.