A l'âge de 12 ans, il faisait les sucres sur une terre de la couronne. Il n'habitait pas chez ses parents à cette époque. Il aurait été placé dans une autre famille.
                Au recensement de 1861, Eugène Gagnon et Virginie Fortin demeuraient tous les deux chez Octave Dubé au deuxième rang. Les parents de ce dernier, Fabien Dubé et sa femme y habitaient également. Ces deux familles Dubé étaient cultivateurs. Virginie Fortin avait 14 ans et allait à l'école. Eugène Gagnon travaillait chez les Dubé sur la ferme. La maison qu'ils habitaient était en bois. Eugène et Virginie sont notés comme étant des étrangers à la famille. C'est sûrement à cette époque que Virginie et Eugène ont appris à se connaître. Les Dubé signeront comme témoin lors de leur mariage.
                Eugène Gagnon a marié Virginie Fortin le 13 octobre 1863 à St-Jean Port Joli. Virginie était la fille de Régent Fortin et de Madeleine Thériault. Elle est née le 28 et baptisée le 29 octobre 1847. Son père était instituteur en 1844 et commerçant à la naissance de Virginie. Régent connaissait probablement François-Régis Gagnon puisqu'ils ont signé ensemble dans les registres lors d'une sépulture le 23 mai 1843.
       
                Malgré les problèmes de famille qu'il y avait dans celle d'Eugène, il est possible d'établir les rapports qu'il eut avec celle-ci. Son frère Michel et sa soeur Célanire signèrent leur nom dans les registres lors du mariage d'Eugène. Sa mère Marcelline Caron fut la marraine de leur premier enfant en 1864.
                Les parents de Virginie Fortin sont décédés en 1853 dans l'incendie de leur demeure. Elle avait alors 5 ans. Elle avait 3 frères: Régent 13 ans, Charles 9 ans et Joseph 4 ans. On leur assigna comme tuteur Louis-Marie Leclerc qui était leur grand-père maternel. Il devait être le second époux de Madeleine Morin qui était leur grand-mère. Leur oncle paternel Charles Bourbeau fut le subrogé tuteur. C'est plus tard que Virginie Fortin alla habiter chez Octave Dubé. Virginie Fortin était petite. Elle mesurait environ 4 pieds et demi. Elle a laissé comme souvenir l'image d'une femme ayant beaucoup de caractère. Elle imposait son point de vue.
                Avec Eugène, on a de lui des récits qui se sont transmis jusqu'à aujourd'hui. Pour mieux le décrire, je transcris intégralement plusieurs partie d'un document préparé par Soeur Evéline Gagnon de la congrégation Notre Dame. Ces parties sont disposées en ordre chronologique dans les paragraphes qui vont suivre. Ils sont aussi entrecoupés par des éléments trouvés lors de mes recherches. Le récit commence à l'époque où Eugène va commencer à travailler.
       
        "Sans doute bien conseillé et accompagné, Il part vers les Etats. Coiffé du chapeau de son père, vêtu de l'habit de lin tissé et confectionné par sa mère, il s'en va gagner sa vie. En ce temps- là c'était la coutume d'aller "weaver" aux Etats-Unis afin de se gagner un peu d'argent. Eugène sera d'abord balayeur et commissionnaire en attendant d'être assez âgé et assez grand pour apprendre à "weaver", le métier de tisserand. En attendant, c'est sûr, il se garde bon garçon. Plus tard, à