Heino Elleri Muusikakooli algus langeb kokku eestikeelse professionaalse muusikahariduse algusega 1919. aastal, mil Eestis avati kokku kolm muusikakooli,
neist kaks Tartus: jaanuaris August Nieländeri I Muusikakool ja septembris Eesti Helikunsti Seltsi Tartu Kõrgem Muusikakool (asus muusikakooli praeguses hoones Lossi 15), kooli juhiks oli Juhan Aavik. 21. detsembril 1921 ühendati need koolid Tartu Kõrgemaks Muusikakooliks, kuhu arvati kõik endised õpetajad ja õpilased. Ka direktoreid jäi kaks - Juhan Aavik ja August Nieländer. 1925. aasta aprillis nimetati kool ümber Tartu Konservatooriumiks. Nimeliselt jäi endiselt alles kaks direktorit, ehkki Aavik tegutses juba rohkem Tallinnas. Riikliku kokkuhoiu nimel otsustati, et konservatoorium kui riiklik õppeasutus jääb ainult Tallinna.
Uue kooli loomisega hakkas tegelema selleks ellu kutsutud Muusikalise Hariduse ja Kultuuri Edendamise Selts (alates 1931. aastast Tartu Helikunsti Selts) eesotsas Miina Härmaga. 1. septembril 1927 avati uus Tartu Kõrgem Muusikakool, mille direktoriks sai Harald Laksberg (1887–1963, direktor 1927–1940). Endisest konservatooriumist oli pärit rida õppejõude. Hästi läbimõeldud koolisüsteemi, tugevate õppejõudude ja eeskujuliku töökorralduse tõttu kujunes Laksbergi juhitud õppeasutus kiiresti kooliks, mille paremate lõpetajate tase oli võrreldav Tallinna Konservatooriumi omadega. Mitmed lõpetajad kasutasidki võimalust lõpetada konservatoorium eksternina järgmisel aastal pärast muusikakooli lõpetamist (näiteks Olav Roots, Leonid Milk, Leonhard Virkhaus, Alfred Karindi, Wilhelm Tilting).
Ajajärk 1927–1940 oli Tartu Kõrgema Muusikakooli elus stabiilne ja edukas. Kooli pidas ülal Tartu Helikunsti Selts, lisasissetulekuid saadi õppemaksudest, riikliku kultuurkapitali, asutuste ja eraisikute toetustest. Õppeprogramm oli jagatud alg-, kesk-, kõrgemaks ning ettevalmistus- ja täienduskursuseks. Ehkki kool oli haridussüsteemis aste madalam kui Tallinna Konservatoorium, lähtuti õpetamisel konservatooriumi nõudeist. Muusikakooli täieliku kursuse lõpetanud võisid pärast aastast täiendõpet sooritada eksternina Tallinna Konservatooriumi lõpueksamid.
Kooli õpetajaskonda kuulus nendel aastakümnetel palju nimekaid muusikuid ja muusikapedagooge, kellest kõige silmapaistvaimaks võib pidada helilooja Heino Ellerit (1887–1970), kes töötas siin aastatel 1920–1940 kompositsiooni ja muusikateoreetiliste ainete õppejõuna. Elleri töö tulemusrikkusest Tartus annavad tunnistust tema õpilased, kellest tuntuimad on heliloojad Eduard Tubin ja Eduard Oja, pianist ja dirigent Olav Roots ning muusikateadlane Karl Leichter.
1940 liideti Eesti Nõukogude Liidu koosseisu ja riigi haridussüsteemis toimusid põhjalikud ümberkorraldused. Tartu Kõrgem Muusikakool võrdsustati nõukogude tehnikumi tüüpi kooliga (jäi ainult keskaste) ja nimetati Tartu Muusikakooliks. Alates sellest ajast kuni tänaseni on Elleri-kool riiklik õppeasutus, mis, nagu ka Georg Otsa nimeline Tallinna Muusikakool, valmistab ette keskharidusega muusikuid. Nende aastakümnete tuntumatest õpetajatest võiks ära tuua muusikateoreetilistes ainetes Johannes Bleive, Aare Allikvee, Vivian Tordik; klaveri erialal Aleksandra Semm-Sarv, Aime Karm, Anu Antzon; viiuli erialal Linda Riiner, Eduard Poolakene; puhkpillide erialal August Metsa, Kaupo Antzon; koorijuhtimise erialal Richard Ritsing, Roland Laasmäe, Alo Ritsing, Vaike Uibopuu, akordioni erialal Uno Arro ja palju teisi.
Teise maailmasõja järel on Tartu muusikakooli juhtinud kõigepealt Aleksandra Semm-Sarv (direktor 1950–1969), kes andeka õpetajana pööras suurt tähelepanu pedagoogikale, suure hingega inimesena aga koondas kooli ümber ja hoidis siin inimesi, keda nõukogude võim ei pruukinud sallida. Tema järglase Ago Russakuga (direktor 1969–1991) algas Elleri-kooli ajajärk (kool sai Elleri nime 1971). Ette võeti ulatuslik kapitaalremont, elavnes kontserttegevus. 1981 avati kooli juures algklassid (tänane noorteosakond). Russak unistas ka kõrgema muusikalise hariduse taastamisest Tartu – EMTA Tartu filiaal avati siiski alles peale tema surma, 1997. aastal.
Vahepeal on kooli juhtinud veel Jüri Kuus ja Mart Jaanson. 2001. aastast on Heino Elleri Muusikakooli direktoriks Kadri Leivategija.
30. novembril 2009 avati uuesti täielikult renoveeritud koolimaja.
2012. aasta sügisel hakati ehitama uut õppekorpust, mis avati 15. septembril 2014.
1. septembrist 2019 kannab kool senise Heino Elleri nimelise Tartu Muusikakooli asemel nime Heino Elleri Muusikakool.