Zeller wurde als Sohn eines Arztes geboren und besuchte in seinem Geburtsort die Volksschule. Schon als Kind spielte er mehrere Instrumente. Im Alter von elf Jahren wurde er Sängerknabe in der kaiserlichen Hofkapelle (Wiener Sängerknabe). Carl Zeller absolvierte die Unterstufe des Josefstädter Gymnasiums in Wien und dann die Oberstufe des bekannten Stiftsgymnasiums Melk, wo er auch mit Auszeichnung maturierte. Danach studierte er Rechtswissenschaften in Wien und zugleich Komposition bei Simon Sechter in Wien. Nach seiner Promotion zum Dr. jur. in Graz war Zeller zuerst an verschiedenen Gerichten tätig. Aus dem Justizdienst wurde er von Minister Stremayr 1873 in das Ministerium für Kultus und Unterricht berufen, wo er in der Folge Leiter des Kunstreferates wurde und bis zur Dienstklasse Ministerialrat aufstieg. Am 15. Mai 1875 heiratete Carl Zeller Anna Maria Schwetz, Tochter eines Wiener Schneidermeisters. Aus der Ehe gingen zwei Söhne hervor. Carl Zeller komponierte sein Leben lang nur nebenberuflich, aus Liebhaberei. Dennoch steht sein musikalisches Werk in einer Reihe neben den drei Großmeistern der klassischen Wiener Operette, Karl Millöcker, Franz von Suppé und Johann Strauss. Insgesamt hat Zeller in knapp 20 Jahren sechs abendfüllende Bühnenwerke komponiert, wenn man von seinen unveröffentlichten Vorarbeiten und eigenhändigen Nachbearbeitungen seiner Werke absieht. Seine frühesten Kompositionen sind Lieder, Männerchöre und zyklische Liederspiele wie Das kölnische Narrenfest (Wien 1868). An seinem ersten Bühnenstück, der komischen Oper Joconde (Wien 1876), arbeitete sein unentbehrlicher Librettist Moritz West mit. In den 1880er Jahren ging Zeller ganz zur Operette über und fand sogleich Anklang mit seinen Werken im neapolitanischen und tscherkessischen Milieu: Die Carbonari (Wien 1880) und Der Vagabund (Wien 1886). Die erfolgreichsten Operetten Der Vogelhändler (Inbegriff der deutsch-österreichischen Heimatoperette) und Der Obersteiger werden noch heute von zahlreichen Bühnen gespielt. Daraus wurden Lieder wie „Grüß euch Gott, alle miteinander“, „Wie mein Ahnl zwanzig Jahr“, „Ich bin die Christel von der Post“, „Schenkt man sich Rosen in Tirol“ und „Sei nicht bös’“ zu Weltschlagern. Aus seinem Nachlass wurden später die Operetten Der Kellermeister von Johann Brandl sowie Die Rosl vom Wörthersee von seinem Sohn Carl Wolfgang Zeller in Verbindung mit Rudolf Kattnigg fertiggestellt. Carl Zeller verlebte seine letzten Jahre als schwerkranker Mann, von der Öffentlichkeit wahrgenommen durch die peinliche Affaire eines Erbschaftsstreites und eines damit zusammenhängenden Criminalprocesses. Am 31. März 1897 wurde Zeller am Oberlandesgericht Wien wegen Ablegung eines falschen Eides zu einem Jahr schweren Kerkers verurteilt. (Die Anklage selbst hatte zur Folge gehabt, dass Hofrath Zeller aus seiner amtlichen Stellung schied und pensioniert wurde.) Da Zeller in krankheitsbedingter Abwesenheit verurteilt worden war, wurde von Zellers Frau (und nicht von Zeller selbst) Nichtigkeitsbeschwerde erhoben. Am 18. Juni 1897 kassierte der Oberste Gerichtshof das Urteil und wies die Affaire zur neuerlichen Verhandlung an das Wiener Schwurgericht. — Zu dieser Verhandlung kam es nicht mehr, da Carl Zeller am 17. August 1898 in Baden bei Wien im Alter von nur 56 Jahren an einer Lungenentzündung verstarb.