25 ans, il songe à fonder un foyer et il revient à Saint-Jean Port Joli afin d'y prendre femme, comme on disait alors. Bientôt il s'éprend d'amour pour une jeune fille de neuf ans plus jeune que lui. Virginie Fortin était orpheline, ses parents ayant péri dans l'incendie de leur maison. Elle fut élevée par un cousin de sa famille du nom de Octave Dubé; on lui procura l'avantage de quelque temps de pensionnat dans un couvent. On a dit que les parents adoptifs de Virginie la désavantagèrent car ils n'appréciaient pas ce jeune homme sans fortune. Virginie cependant avait vu clair; en cet ami, elle avait reconnu un bon chrétien sobre, rangé et travaillant. On raconte que ce jeune homme ne sacrait jamais mais il avait un patois "Vingaine"; lorsqu'on lui fit remarquer que Virginie ne savait pas faire la cuisine. il répondit: "Vingaine, je lui montrerai". Le mariage eut lieu le 13 octobre 1863."
        Eugène Gagnon et Virginie Fortin ont eu comme enfant:
1-        Eugène, né et baptisé le 9 octobre 1864. Il est décédé le 2 novembre 1864.
2-        Erasme, né le 18 octobre 1865 et baptisé le 12 novembre 1865. Il s'est marié à Clara Labonté en juillet 1891. Il a vécu principalement à Central Falls aux USA. Erasme et sa femme sont décédés en 1950.
3-        Arzeline, née en janvier 1867 à St-Jean Port Joli. Elle s'est mariée à Alfred Bouffard à Arthabaska le 8 janvier 1887. Après avoir vécu dans la côte d'Arthabaska, ils s'installèrent à Gravelbourg en Saskatchewan. En 1910, Alfred a acheté des terres à ses garçons. Il a construit plusieurs maisons à Gravelbourg. Il était ouvrier lors de la construction de la première aréna à Régina. Arzeline est décédée le 10 juin 1917.
4-        Rémi, né le 6 et baptisé le 7 février 1869 à Arthabaska. Il est baptisé sous le prénom de Roméo dans les registres d'Arthabaska. Il s'est marié à Louise Marchand à Arthabaska le 21 septembre 1891. Sa mère lui a offert la terre paternelle mais il n'y est pas resté longtemps. Il a habité Gravelbourg en Saskatchewan. On rapporte une anecdote à son sujet. La terre qu'il avait dans l'ouest n'avait pas beaucoup de roche. A la période des labours, il attelait ses 4 boeufs en avant de la charrue à deux rangs. Il s'assoyait sur le siège de la charrue et labourait tout en jouant du violon. Il est mort asphyxié vers 1918-19 dans un puits.
5-        Irénée, né le 5 et baptisé le 6 février 1871 à Arthabaska. Il est décédé le 2 septembre 1871 à Arthabaska.
6-        Albert, baptisé le 12 mai 1872 à Arthabaska. Il est décédé le 28 janvier 1874 à Arthabaska.
7-        Irénée, né le 31 juillet et baptisé le 1 août 1873. Il s'est marié à Sara Marchand à Arthabaska le 1 septembre 1891. Il s'est remarié avec Alphonsine McNeil à l'église Notre-Dame de Central Falls le 26 septembre 1901. Il est notre aïeul.