La storia di K-On! ruota intorno a quattro studentesse giapponesi che si uniscono al club di musica leggera scolastica, per fare in modo che esso non sia smantellato per mancanza di membri. Tuttavia le quattro sono gli unici membri del club, e una di loro, Yui Hirasawa, non ha neppure nessuna esperienza nell'usare uno strumento musicale o nel leggere la musica. Le altre componenti del gruppo l'aiuteranno a comprare una chitarra a migliorare le proprie abilità, ed alla fine il gruppo riuscirà ad esibirsi al festival scolastico con grandi risultati. Al secondo anno si unisce una quinta ragazza, che si trova in prima: Azusa Nakano. All'inizio è sorpresa dalle abitudini del club: bere tè, mangiare spuntini e fare poca pratica. Tuttavia capisce dopo un po' che il K-On è una specie di seconda famiglia.