Kauno 1-oji muzikos mokykla veikia istoriniame XIX amžiuje statytame pastate, stovinčiame Juozo Gruodžio ir Smalininkų gatvių sankirtoje. Architektūriškai išskirtinio raudonų plytų pastato sienoje matyti beišblunką užrašai hebrajų ir senąja rusų kalbomis, apie čia veikusius žydų berniukų namus.
1945 m. LTSR kultūros ministro įsakymu Lietuvoje, sekant Maskvos (Rusija) muzikinio ugdymo pavyzdžiu buvo įsteigtos dvi dešimtmetės muzikos mokyklos: Vilniuje, dabartinėse Muzikos ir teatro akademijos patalpose, ir Kaune, Gedimino gatvėje. Vilniuje įsteigta muzikos mokykla šiuo metu veikia kaip Nacionalinė Mikalojaus Konstantino Čiurlionio menų gimnazija, o Kauno muzikos mokykla išaugo į Kauno Juozo Naujalio muzikos gimnaziją .
1948 m. LTSR kultūros ministro įsakymu Lietuvoje buvo įsteigtos trys septynmetės vaikų muziko mokyklos: Vilniuje, Kaune ir Klaipėdoje prie tuometinių muzikos technikumų (dabartinių Vilniaus Juozo Tallat-Kelpšos, Kauno Juozo Gruodžio ir Klaipėdos Stasio Šimkaus konservatorijų).
Pirmuoju Kauno vaikų muzikos mokyklos direktoriumi buvo paskirtas vienas garsiausių tų laikų Lietuvos pianistų Jurgis Karnavičius, kuris vėliau tapo Lietuvos konservatorijos (dabartinės Lietuvos muzikos ir teatro akademijos) ilgamečiu rektoriumi, vadovavusiu Lietuvos konservatorijai nuo 1949 iki 1983 metų.
1949 metais Kauno konservatorijai išsikėlus į Vilnių, naujuoju muzikos mokyklos direktoriumi tapo valtornistas Eduardas Brazauskas, kuris vėliau tapo Kauno Juozo Gruodžio konservatorijos direktoriumi, Lietuvos konservatorijos profesoriumi. 1976 metais Eduardui Brazauskui suteiktas Lietuvos TSR nusipelniusio artisto vardas.
1951 metais muzikos mokyklos pareigas pradėjo eiti Kazimieras Znamenskas, kuris direktoriaus pareigas ėjo 22 metus, iki 1973 metų. Vėliau Kazimieras Znamenskas tapo Kauno Juozo Gruodžio konservatorijos direktoriumi.
Iš pradžių Kauno 1-oji muzikos mokykla, nuo pat jos įsteigimo 1948 metais, veikė dabartiniame Kauno Juozo Gruodžio konservatorijos pastate. Tačiau muzikos mokyklai vadovaujant Kazimierui Znamenskui, 1966 metais, muzikos mokykla išsikėlė į atskiras patalpas, dabartinį Kauno 1-os muzikos mokyklos pastatą, Juozo Gruodžio g. 25, kur anksčiau veikė Kauno vaikų namai Nr. 2.
1973 metais Kazimierą Znamenską pakeitė akordeonistas Valentinas Pliskus, o šiam 1975 metais pradėjus dirbti Kauno Filharmonijos direktoriumi, naujuoju muzikos mokyklos direktoriumi buvo paskirtas violončelistas Jonas Kazlauskas, prieš tai dvejus metus ėjęs muzikos mokyklos direktoriaus pavaduotojo pareigas. Jonas Kazlauskas mokyklai vadovavo iki 2018 metų.
1975 metais mokykloje mokėsi 580 mokinių ir dirbo 56 mokytojai, šiuo metu Kauno I-je muzikos mokykloje mokosi apie 1275 mokiniai, kuriuos ugdo 163 mokytojai. 1990 metais mokykla buvo reorganizuota į dešimtmetę muzikos mokyklą, o 1998 metais muzikos mokykla tapo vienintele dvylikamete muzikos mokykla Lietuvoje.
Nuo 2019 metų sausio 3 dienos naujuoju Kauno 1-osios muzikos mokyklos direktoriumi tapo akordeonistas Mindaugas Labanauskas, anksčiau 14 metų vadovavęs Prienų rajono Antano Kučingio meno mokyklai. Kauno technologijos universitete įgijęs viešojo administravimo magistro laipsnį bei Klaipėdos universiteto Menų fakultete – muzikos mokytojo ir atlikėjo bakalauro laipsnį, Mindaugas Labanauskas beveik dvidešimt metų puoselėja Lietuvos akordeono atlikimo meno tradicijas, aktyviai atstovauja Lietuvos akordeonistų interesus Pasaulinėje akordeonistų konfederacijoje.