Acte 1
L'histoire commence en 1912 dans un train quittant Rock Island dans l'Illinois. À l'intérieur du train, Charlie Cowell et d'autres vendeurs itinérants discutent (Rock Island). Charlie et un autre vendeur racontent l'histoire d'un escroc nommé « professeur » Harold Hill, qui pratiquent le délit d'abus de confiance en promettant aux gens d'apprendre à leurs enfants à jouer des instruments. En prétendant vouloir former une fanfare, il commande des instruments et des costumes. Mais une fois que les instruments et les costumes sont arrivés, il fuit la ville sans former la fanfare1. Le train arrive alors à River City dans l'Iowa et un étranger se lève et déclare : « Messieurs, vous m'intriguez, je vais tenter ma chance dans l'Iowa ». Il récupère alors sa valise, sur laquelle on peut clairement lire "Professeur Harold Hill" et descend du train.
Lors de son arrivée les habitants de River City, décrivent leur caractère tétu (Iowa Stubborn) et Harold découvre qu'un de ses vieux amis, Marcellus, s'est "rangé" et s'est installé en ville. Marcellus informe Harold que dans toute la ville, une seule personne s'y connait en musique, Marian Paroo la bibliothécaire. Il lui dit également qu'une nouvelle table de billard vient juste d'être livrée au club de billard local, et Harold essaye de convaincre les parents de River City que « ce jeu à quinze boules est un instrument du diable » (Trouble)
Harold suit Marian jusque chez elle et tente de flirter avec elle, mais elle ne lui prête aucune attention. Une fois chez elle, Marian donne une leçon de piano à une petite fille nommée Amaryllis tout en discutant avec sa mère, Mrs Paroo, de ce qu'elle cherche chez un homme, après lui avoir dit qu'un étranger l'avait suivi(Piano Lesson / If You Don't Mind My Saying So). Le jeune frère de Marian, Winthrop, un enfant timide et qui zozotte, fait son entrée, et Amaryllis qui l'aime secrètement mais se moque de son défaut de prononciation, demande à Marian à qui elle devrait dire bonne nuit, vu qu'elle n'a pas d'amoureux ("Goodnight, My Someone").
Le lendemain, c'est la fête de l'Independence Day et M. Shinn, le maire de la ville, fait un discours dans le gymnase du lycée, avec sa femme Eulalie Mackecknie Shinn ("Columbia, Gem of the Ocean"). Tommy Djilas, un garçon des mauvais quartiers de la ville allume un pétard et Harold profite de l'occasion pour monter sur scène et annonce aux habitants de la ville que pour empêcher la corruption engendrée par la table de billard il va former une fanfare (Seventy-Six Trombones). Inquiet, le Maire, qui est le propriétaire du club de billard, demande au personnel de l'école de vérifier les références d'Harold, mais à la place il leur apprend à chanter comme un quatuor barbershop ("Ice Cream / Sincere"). Marian se rend tout de suite compte qu'il est un escroc et elle le rejete encore une fois lorsqu'il tente de flirter avec elle. Harold déclare alors à Marcellus qu'il recherche The Saddest but Wiser Girl (« la plus triste mais la plus intelligente des filles »). Les femmes de la ville sont très excité par la perspective d'une fanfare municipale et par le comité de danse qu'Harold a prévu. Quand il leur demande des renseignements sur Marian, elles insinuent qu'elle aurait eu une relation avec le vieux M. Madison, maintenant décédé, qui a offert à la ville la bibliothèque, mais a laissé tous les livres à Marian. Elles le préviennent aussi qu'elle recommande aux gens de mauvais livres ("Pick-a-Little, Talk-a-Little"). Le personnel de l'école arrive pour se renseigner sur les références de Harold, mais une fois encore il les fait chanter ("Goodnight, Ladies") et s'échappe.
Le jour suivant, il se rend à la librairie mais Marian l'ignore encore. Il lui déclare son amour sans borne et danse avec les adolescents qui se trouvent dans la bibliothèque ("Marian the Librarian"). Pendant un instant, Marian s'oublie et danse avec Harold. Il l'embrasse et elle tente de le gifler mais il esquive et elle frappe Tommy Djilas par erreur. Avec l'aide de Tommy, Harold enrôle tous les garçons de la ville pour être dans la fanfare, même Winthrop, le frère de Marian ("Gary Indiana"). Mrs Paroo aime bien Harold et ne comprend pas pourquoi sa fille n'est pas intéressée. Marian essaye de lui décrire son homme parfait ("My White Knight"). Elle essaye de donner au Maire une preuve contre Harold, qu'elle a trouvé dans un bulletin de l'État d'Indiana. Ils sont interrompus par l'arrivée des "Wells Fargo Wagon", qui amènent les instruments. Quand elle se rend compte que Winthrop, tout à sa joie devant son nouveau cornet à piston, en oublie de bégayer, elle commence à tomber amoureuse de Harold. Elle déchire la page du bulletin avant de la laisser au Maire.
Acte 2
Les femmes s'entrainent à danser dans le gymnase, pendant que le personnel de l'école s'entraine pour son quartet ("It's You"). Marcellus et les adolescents interrompent les femmes en dansant le "shipoopi" à travers tout le gymnase ("Shipoopi"). Harold attrape Marian pour danser avec elle et tous les adolescents les rejoignent. Marian en profite pour questionner Harold à propos de sa remarque, regardant le cornet à piston de Winthrop, qu'"il ne faut pas se soucier des notes". Les femmes de la ville demande à Marian de les rejoindre dans leur comité de danse car elle était "si mignonne en dansant le shipoopi avec le Dr Hill" ("Pick-a-Little, Talk-a-Little" (reprise)). Elles ont complètement changé d'avis sur les livres qu'elle leur recommande et lui déclarent : "Le Professeur nous à dit de lire ces livres et nous les avons toutes adorés."
Cette nuit le personnel de l'école vient voir Harold pour connaitre ses références mais, encore une fois, il leur fait chanter "Lida Rose" et s'enfuit. Pendant ce temps, Marian, assise sur le porche devant sa maison se demande si elle osera jamais avouer son amour ("Will I Ever Tell You?"). Winthrop rentre à la maison après avoir passé la journée avec Harold et parle à Marian et Mrs Paroo de la ville natale du professeur ("Gary, Indiana"). Alors que Marian attend seule le passage d'Harold, Charlie Cowell arrive avec des preuves contre Harold qu'il veut montrer au maire. Il doit partir avec le prochain train mais s'arrête quand même pouir flirter avec Marian. Elle essaye de le retarder pour qu'il ne puisse pas montrer les preuves, allant même jusqu'à l'embrasser. Lorsque le sifflet du train retentit, elle le repousse. Charlie en colère lui déclare alors qu'Harold à une fille "dans chaque comté de l'Illinois (…) et qu'il y a 102 comtés en Illinois !"
Lorsqu'Harold revient, et qu'elle lui pose la question, il lui rappelle les rumeurs qu'il avait entendu à son sujet. Marian se convainc que Charlie a tout inventé et accepte de rejoindre Harold plus tard sur la passerelle. Elle lui confie alors la différence qu'il a fait dans sa vie ("'Till There Was You"). Marcellus les interrompt, pour informer Harold que les uniformes sont arrivés. Il insiste pour qu'Harold prenne la caisse et s'enfuie mais celui-ci refuse. Il retourne vers Marian qui lui dit qu'elle sait qu'il est un escroc mais qu'elle l'aime quand même ("Il dit qu'il est diplômé du conservatoire de Gary, Indiana médaille d'or de la promotion de 1905, mais la ville n'a même pas été construite avant 1906!). Il raccompagne marian chez elle et elle lui chante « Goodnight My Someone », pendant qu'il chante "Seventy-Six Trombones". Harold se rend compte qu'il est amoureux de Marian et chacun chante la chanson de l'autre.
Pendant ce temps, Charlie Cowell qui a manqué le train revient en ville et dénonce Harold comme étant un faussaire. Toute la ville se lance à la recherche d'Harold. Winthrop a le cœur brisé et dit à Harold qu'il aurait préféré qu'il ne vienne jamais en ville. Mais Marian déclare à Winthrop qu'elle croit tout ce que Harold ait jamais dit, puisque d'une certaine façon tout est devenu vrai dans le sens où tous les enfants de la ville ont parlé et joué cet été. Marian et Winthrop presse Harold à partir. Il choisit de rester et dit à Marian qu'il n'était jamais vraiment tombé amoureux avant de l'avoir rencontré ("Till There Was You" [Reprise]). Le policier passe alors les menottes à Harold et l'emmène.
Le Maire tient alors un meeting dans le gymnase du lycée pour décider que faire d'Harold, en demandant à la foule "Où est l'orchestre, où est l'orchestre". Tommy entre alors en tambour major suivi par les enfants dans leurs uniformes d'orchestre. Marian dit à Harold de diriger "l'Orchestre des garçons de River City" sur le menuet en sol majeur de Beethoven. Malgré une qualité moyenne, les parents sont captivés par la vision de leurs garçons jouant de la musique. Même le maire est gagné par l'émotion et Harold est relâché dans les bras de Marian sous les cris de joie des habitants de la ville ("Finale").