À Paris, Nestor Patou, un agent de police naïf, vient d'être affecté dans le quartier des Halles. Il interroge une mignonne brune aux bas verts qui prétend promener son chien. En la voyant entrer avec un homme dans l'hôtel Casanova devant lequel elle stationnait, il comprend qu'elle et les autres filles sont des prostituées. Il alerte son commissariat pour qu'une descente soit effectuée dans l'hôtel. Son chef, qui se trouvait parmi les clients appréhendés, est furieux, et Nestor est renvoyé de la police. Le nouveau chômeur, de passage rue Casanova, rencontre de nouveau la fille aux bas verts dite « Irma la Douce ». Mais le costaud Hippolyte, souteneur de celle-ci, voyant son gagne-pain perdre son temps en bavardages, vient brutalement interrompre leur conversation.