La famille de Canolle fut propriétaire du domaine au 17ème et 18ème siècle, domaine connu successivement sous les noms de «Château de Canolle», «La Rivette» puis «Haut-Brion Larrivet». La production viticole y était importante et très appréciée. Après avoir sensiblement décliné, la propriété passe aux mains d’Ernest Laurent, négociant de la Place de Bordeaux en 1874 puis, en 1893, dans celles d’une famille d’armateurs bordelais, les Conseil. La production connaît alors une prospérité passagère avant de disparaître à la fin des années 30. 
Jacques Guillemaud et ses héritiers, propriétaires de 1940 à 1987, permettront d’engager le renouveau. C’est à cette époque que, suite à un contentieux avec le Château Haut-Brion, le domaine doit changer son nom en «Larrivet Haut-Brion». En 1987, la famille Gervoson, propriétaire de la société agro-alimentaire «Andros», rachète la propriété qui sera, avec les conseils de Michel Rolland, entièrement rénovée et agrandie, retrouvant ainsi son unité et lustre d’antan. Bruno Lemoine, œnologue et ancien du Château Montrose, prend la direction opérationnelle en 2007. Il fait réaliser en 2008 une étude pédologique complète qui servira de base aux progrès à venir. Il réorganise le parcellaire et modernise radicalement les chais.