L’histoire du domaine commence au début du XVIIIème lorsque Dominique d’Armailhacq achète à Nicolas-Alexandre de Ségur, connu sous le nom de "Prince des Vignes" (il possédait entre autres les vignobles de Lafite, Mouton et Latour…), des vignes situées au nord ouest de Pauillac, au lieudit "Mouton". Elles sont localisées juste entre les terres qui allaient donner naissance à Pontet-Canet et Mouton-Rothschild et dont se sépare à la même époque Nicolas de Ségur.
Dominique d’Armailhacq y développe par acquisitions successives le vignoble existant qui dépasse 50 ha à la fin du XVIIème et qu’il renomme "Mouton-d’Armailhacq". Par héritage et après plusieurs transmissions, le vignoble passe dans les mains d’Armand d’Armailhacq, ingénieur agronome et grand promoteur du cabernet sauvignon. Il applique à son vignoble les techniques et connaissances les plus avancées qu’il résumera dans son ouvrage "De la Culture des Vignes, de la Vinification et des Vins dans le Médoc" publié en 1855. Les vins du château font un progrès rapide et sont classés 5ème grand cru en 1855 sous le nom "Mouton-d’Armailhacq".
A cette époque, le vignoble occupe plus de 70 ha. Il continue à se développer mais la guerre et les crises qui touchent le monde viticole forcent le Comte de Ferrand, héritier d’Armailhacq, à vendre en 1933 le domaine et la société de négoce qu’il vient de créer.
Son nouveau voisin à Mouton, le Baron Philippe de Rothschild, se porte acquéreur, satisfait de pouvoir mieux développer son château et ses installations. Il change alors le nom du cru en "Mouton-Baron-Philippe" (il prendra pour quelques années le nom de "Mouton-Baronne-Philippe" à la fin des années 70). Vignoble et chais nécessitent alors un très gros effort de restructuration qui sera entrepris mais stoppé par la guerre. Ce n’est qu’en 1968 que le cuvier et les chais sont reconstruits. Le vignoble replanté est ramené à sa taille actuelle de 50 ha. Certaines installations sont mises en commun avec Mouton-Rothschild mais le Baron Philippe, désireux de ne prendre aucun risque avec la réputation de son candidat 1er cru, n’ira pas au-delà pour intégrer les 2 domaines. Suite au décès du Baron Philippe en 1988, sa fille la Baronne Philippine et ses enfants ont en charge du domaine. Elle décide en 1991, par souci de simplification et pour éviter les confusions avec le 1er cru, de renommer le château "Château d’Armailhac" écrit sans le q final. La direction générale et technique est assurée depuis 2004 par Philippe Dhallui qui bénéficie des conseils de Jacques et Eric Boissenot, les célèbres œnologues du Médoc.