Jean-François Tremblay fut toujours intéressé par l'entreprise de son père. Il connaissait les moindres détails du régime seigneurial. Depuis bientôt vingt ans qu'il assistait son père dans l'administration de la seigneurie. Au cours des prochaines années il amèna de nombreux cénsitaires à s'établir sur la seigneurie. Il poursuivra l'oeuvre déjà entamée par son père et son grand-père.
Il avait épousé le 22 février 1753 aux Eboulements Marie Gonthier, âgée de 19 ans. Le couple eurent dix enfants: cinq garçon, cinq filles. Malheureusement la maladie s'installe dans le foyer et fauche la jeune mère à peine âgè de 43 ans. Elle fut inhumée dans le cimetière de la paroisse le 10 septembre 1777.
Jean-François Tremblay savait que le premier moulin banal construit par son grand-père sur la rivière des Boudreault était insuffisant. La population avait augmenté depuis et le village déménageait tranquillement sur la côte. Le seigneur crut bon de construire un nouveau moulin, sur la rivière tout près du manoir.
C'est le seigneur lui-même qui en fit la construction. Maître-charpentier, Jean-François semble reconnu pour la construction des moulins banaux car en 1792, le sieur Joseph Drapeau, seigneur du Gouffre engagea Jean-François Tremblay pour construire un moulin banal. Ce travail lui valut la somme de 800 livres payable en trois versements.
Le sieur Drapeau a toujours conservé de bonnes relations avec Jean-François Tremblay et savait qu'il allait bientôt vendre sa seigneurie. Maintenant très âgé, Jean-François Tremblay sent ses forces le lâcher, alors, de son côté il songe à se départir graduellement de tout ce territoire. Il décide donc de vendre une partie de sa seigneurie à Joseph Drapeau en 1798. Douze ans plus tard il décide de prendre sa retraite totale, bien méritée d'ailleurs, en vendant la seigneurie à un riche entrepreneur de Trois-Rivières, Pierre de Sales Laterrière (2). Jean François, en effet, s'étant mis d'accord avec ses frères, mandatera le curé Marcheteau, en 1810, pour mener à terme la vente. L'acte de vente fut signé le 31 janvier 1810 devant le notaire Isidore Lévesque.
Les Laterrière vont ériger un nouveau manoir sur la montagne, là où le cours de la rivière rend plus avantageuse l'installation d'un moulin banal. Déjà il avait fallu songer à construire là-haut une nouvelle église, la première ayant été minée par le travail des marées.
