Der spätere Politiker entstammte der Dornbirner Fabrikantenfamilie Herrburger-Rhomberg. Von 1871 bis 1875 studierte er Rechtswissenschaften in Innsbruck und Freiburg im Breisgau. Entgegen den Gepflogenheiten der Vorarlberger Unternehmerkreise des 19. Jahrhunderts tendierte Rhomberg politisch nicht zum liberalen Lager, sondern engagierte sich für die katholisch-konservative Partei, deren gemäßigtem Flügel er zugerechnet wurde.
Ab 1876 gehörte er dem Dornbirner Gemeinderat an, 1884 erfolgte seine Wahl in den Vorarlberger Landtag und noch im selben Jahr avancierte er zum Landeshauptmann-Stellvertreter. Als Abgeordneter widmete er sich vor allem schulischen und sozialen Belangen, insbesondere den Problemen der Bergbauern. Nach den Wahlen zum Landtag im Jahre 1890 erschien Adolf Rhomberg auf Grund seiner gemäßigten politischen Haltung, seiner Ausbildung und seines sozialen Status als geeigneter Kandidat für das Amt des Landeshauptmannes. Die Ernennung sprach Kaiser Franz Joseph I. am 21. September 1890 aus. Rhomberg leitete in dieser Funktion die Geschicke des Landes bis zum Ende der Monarchie im Jahre 1918. Von 1899 an war er überdies Mitglied des Herrenhauses.
Adolf Rhomberg gilt als großer Wohltäter; unter anderem stiftete er das Kapuzinerkloster in Dornbirn, in dem er schließlich auch seine letzte Ruhestätte fand. Seine Popularität fand ihren Ausdruck in der Verleihung der Ehrenbürgerschaft zahlreicher Vorarlberger Gemeinden. Neben anderen hohen Auszeichnungen wurde er 1899 mit dem Titel 'Geheimrat' geehrt. A.N.