Statant Kauno hidroelektrinę dalis Rumšiškių miestelio atsidūrė Nemuno užliejamoje teritorijoje. Į šią teritoriją pateko ir medinė šv. Onos koplyčia bei Rumšiškių bažnyčia. Todėl nuspręsta jas 1958–1959 m. perkeltos į naują vietą. Naujose kapinėse sovietmečiu koplyčia stovėjo rytiniame pakraštyje, nes dabartinėje koplyčios vietoje buvo pastatyta Bernardo Bučo skulptūra „Karys-nugalėtojas“ skirta sovietiniams kariams. Atgimimo laikotarpiu skulptūra susprogdinta, o į atsilaisvinusią vietą iš kapinių pakraščio perkelta koplyčia. Šalia jos palaidotas žymus poetas Jonas Aistis.
Koplyčia liaudies meistrų statyta 1840 m. Ji savo nuosaikia architektūrine raiška atliepia liaudies architektūrai būdingas formas. Nedidelė koplyčia suręsta ant akmenų mūro pamato, yra stačiakampio plano su trisiene apside. Dvišlaitį stogą dengia malksnos, plačiose pastogėse palikti profiliuoti gegnių galai. Per visą priekinio fasado ilgį eina atviras prieangis su vienšlaičiu malksnų stogeliu. Jį remia profiliuoti stulpai. Sienos apkaltos vertikaliai su lentų sujungimus dengiančiomis siauromis lentjuostėmis. Šoniniuose fasaduose įtaisyta po nedidelį arkinį langelį, įrėmintą stačiakampiame apvade. Priekinis fasadas be langų tik su plačiomis dvivėrėmis durimis. Virš trikampio priekinio fasado skydo kyla nedidelis keturkampis bokštelis. Bokštelis horizontaliai apkaltas su trikampėmis angomis. Malksninis stogelis yra keturšlaitis, piramidinės formos. Jį vainikuoja kaltas dekoratyvus kryžius. Rumšiškių koplyčia palikta nedažyta, kas dar labiau paryškina statino archaiškumą.