Larochemillay, dominant la voie romaine reliant Bibracte, capitale des Eduens, à la vallée de la Loire, fut dès l’Antiquité occupée par un oppidum romain.
Son nom date de l’époque romaine, rupes militis, le rocher militaire ou la roche du soldat. Tout au long de l’histoire, la façon d’écrire le nom du bourg a changé : La Roche de Millay, La Roche Millet, puis en  1793, le Rocher Montagne. Ses habitants sont les millirupétiens, reprenant l’étymologie du nom du bourg. Le château féodal fut le siège d’une des premières baronnies du Nivernais.Le bourg s’est développé en situation perchée au pied de la forteresse et sous sa protection. Le bourg s’est développé en situation perchée au pied de la forteresse et sous sa protection.

Au Moyen Age, la Roche Millay fut le siège d’une importante seigneurie qui aurait « battu monnaie ». Affranchi dès le XIIIème siècle, le bourg de la Roche Millet prit de l’importance et ses habitants purent s’honorer du titre de bourgeois. Au XVème siècle, ils obtinrent du seigneur la permission de se clore de mur (Abbé Baudiau). Il reste de cette enceinte, la tour du restaurant de la tour. De cette enceinte, celle qui protégeait   le château fort, il reste deux tours, dont une est visible de la place du bourg derrière le monument aux morts, dans le parc du château. La plus grande partie du bourg se trouve « Audelé », c’est à dire au delà des murs. Le bourg reste chef lieu de canton jusqu’en 1801.

Entre 1929 et 1935, la commune recensait  1126 habitants dont 248 dans le bourg. Il y avait une cinquantaine de commerçants et artisans (notaires, tailleurs, bijoutiers , bouchers, boulangers, cafés, ..). Le dernier recensement en 2012 comptait 269 personnes. Certaines façades en bois , anciennes vitrines, sont encore des témoins de cette époque.

Le chemin de fer étant passé par Millay et Luzy, à cause du fort enclavement de Larochemillay, a provoqué une chute de l’activité économique puis démographique. Mais cela a permis de garder un bourg avec une authenticité remarquable et reposante qui attire touristes, vacanciers, artistes et étrangers.

Une étude et un premier inventaire archéologique du bourg de Larochemillay ont été réalisés par Valentin Chevassu, archéologue, dans son rapport de prospection élaboré en  2016 sur «  L’occupation des territoires entre Morvan et Arroux de la Préhistoire au Moyen-âge », dont voici quelques extraits :

« Le bourg de Larochemillay forme un groupe compact d’habitations situé sur une hauteur dominant la vallée de la Roche. Le cœur du village est formé par une place centrale jouxtée par l’église paroissiale actuelle, à peu de distance du sanctuaire médiéval aujourd’hui disparu. Au nord de cette place, le château de la Roche est situé sur un éperon isolé du village par une enceinte. Les maisons anciennes se regroupent autour de cette place et s’échelonnent le long de quatre rues principales. Larochemillay se distingue par la présence de nombreux vestiges architecturaux des XVe-XVIIe siècles situés dans des maisons civiles, alors que ce type d’éléments est quasiment absent des villages environnants. Ce bourg organisé autour du château de la Roche, massé à son pied, est doté à partir de la fin du Moyen Âge d’une enceinte et d’une halle. Le tracé de cette enceinte est encore nettement sensible dans l’organisation actuelle du parcellaire. Cela fait de Larochemillay le seul bourg castral du sud Morvan, dans une région où les principaux châteaux se signalent au contraire par leur isolement vis-à-vis des structures de peuplement. »

Les maisons de Larochemillay présentent un caractère presque urbain : elles sont dotées de plusieurs étages avec une importante hauteur sous plafond ; ces étages sont desservis par des escaliers à vis et éclairés par des ouvertures nombreuses. Le décor architectural est soigné, qu’il s’agisse des vis d’escaliers, des cheminées ou des encadrements de baies. Si l’on ajoute à cette richesse architecturale la présence du château, de l’enceinte et des halles, le statut et la centralité du bourg de Larochemillay sont ainsi nettement affirmés par rapport aux implantations environnantes. D’autres aménagements de plus grande envergure, tels que jambages et manteaux de cheminées ou noyau d’escalier en vis à base prismatique, paraissent appartenir à la charnière des XVe et XVIe siècles.

La cohérence de ces éléments nous permet d’envisager une phase d’essor du bourg autour de cette période, marquée par l’édification, ou la reconstruction en dur, de nombreuses maisons. Ces reconstructions pourraient également être liée aux mentions de destructions de Larochemillay par les troupes françaises en 1475 et lors d’un incendie en 1544 (Baudiau 1865, vol. 2, p. 488 ; sources non vérifiées). Cette richesse architecturale est enfin comparable à celle que l’on retrouve dans les petits sites d’habitats aristocratiques du val d’Arroux et de la vallée de la Roche. Manoirs et maisons fortes se multiplient en effet de manière notable à la fin du Moyen Âge dans ce secteur, ce qui semble donc dénoter une certaine prospérité.

L’agglomération semble ensuite décliner, puisqu’on ne retrouve pas de constructions privilégiées pour les périodes postérieures, à l’exception notable du château de la Roche et d’une porte à fronton peut-être XVIIIe au sud-ouest du village. Les bâtiments anciens semblent s’échelonner le long des voies d’accès à la place centrale. Cette organisation est commune à de nombreux villages médiévaux : les maisons se placent en bordure de rues et les espaces de culture et de jardinage occupent l’arrière des parcelles.