L’existence de la paroisse, dédiée à saint Pierre, est attestée dès le IXe siècle.Le bourg de Larochemillay se développe à l’époque féodale sous la protection du château, situé au sommet d’un éperon rocheux. L’église possède un lien important avec le château de La Roche, inscrit au titre des Monuments historiques, étant située dans son enceinte historique.
Au Moyen Age, la Baronnie de La Roche Millay comptait sept paroisses et possédait des droits dans 24 autres. Les barons de La roche fondent les prieurés de Vanoise, de Semelay, de la Vallée et le couvent des Cordeliers qui se situait sur le mont Beuvray. Larochemillay absorba l’ancienne paroisse de Saint-Gengoux (ou Saint-Guengoult) entre 1790 et 1794, puis celle de Poil, avant de céder cette dernière en 1860 (décret impérial du 9 mai 1860). La paroisse faisait partie de l’évêché d’Autun jusqu’en 1817, puis elle fut rattachée à l’évêché de Nevers.
Au XIXème siècle, le bourg de Larochemillay est important, ayant annexé les communes de Poil et Saint-Gengoult, et l’église ne suffit plus.
En 1858 , «l’église actuelle est trop petite pour contenir les paroissiens; elle est dans un tel état de vétusté qu’il est à craindre qu’elle ne puisse rester debout qu’un petit nombre d’années…» (archives de la commune de Larochemillay). L’église est alors située sur la place, devant le musée et le gîte communal actuels. Le marquis de La Ferté Meun échange un terrain situé dans l’emprise du parc du château, contre d’autres parcelles et finance en grande partie les constructions et décors. Deux projets sont proposés dans les années 1860, mais sont refusés par le ministère des Cultes : le premier d’un architecte local, le suivant de l’architecte du marquis de la Ferté-Meun à Paris. Puis ce dernier propose au Ministère les plans de l’architecte Anatole de Baudot qui sont approuvés en 1869. La construction de l’église débute en 1869, d’après les plans et sous la supervision d’Anatole de Baudot, le célèbre architecte, élève de Viollet-le-Duc. Elle s’achève sans imprévus majeurs en 1872.
L’église Saint Pierre a été construite grâce aux dons et souscription de nombreuses personnes en particulier du marquis de la Ferté Meun, du marquis de Sasselange, du maire Charles Martin. De part et d’autre du chœur, des chapelles ont été attribuées aux familles ayant participé à la construction de l’église.