Poly, Pascal et sa sœur Marina sont en vacances à Grimaud. Ils doivent loger au "Moulins des Alouettes". Mais des rumeurs disent qu'il est hanté. En fait de fantômes, ce sont deux voleurs qui s y sont installés et qui se déguisent pour faire peur aux gens du village. Poly se lie d amitié avec Pierrot, le petit-fils du rémouleur.

Pierrot et Poly se rendent au moulin des Alouettes car, Pierrot, curieux, aimerait voir les fantômes. Caché dans une jarre, il surprend la conversation de Mimile et l'Artiste qui font partie d'une redoutable bande de voleurs, la bande à Jo…

Le diamant noir que Madame Janis devait coudre sur une robe a été volé. Aussitôt le vllage accuse le rémouleur fraîchement arrivé. Marina et Pascal crient à l'injustice et décident d'héberger Pierrot et son grand-père, Zéphirin.

Pierrot et Pascal veulent prouver à Marina que l'Artiste n'est pas un voleur et qu'il a rejoint le camp des enfants. Ce dernier est bien décidé à coincer les coupables et à démasquer Jo, le chef de la bande…

Pierrot est retenu prisonnier par Mimile, véritable voleur du diamant noir. Poly, Pascal et tous les enfants du village partent à sa recherche. L'Artiste, complice de Mimile, essaie de le convaincre de libérer l'enfant.

Les enfants rôdent trop autour des souterrains du château, alors Carmagnol et Mimile décident d'enfermer l'Artiste chez Carmagnol. Pendant ce temps, les gendarmes arrêtent Zéphirin…

L'Artiste a sauvé Pierrot mais il se retrouve accusé à son tour du vol. Avec l'aide de Pascal et de Pierrot, il veut prouver son innocence, trouver le complice de Mimile dans le village et confondre la bande à Jo, véritable instigateur du vol.

Grâce à Poly, Pascal et Pierrot découvrent l'endroit où les voleurs ont caché le diamant. Ils veulent le rendre à Madame Janis mais l Artiste les en empêche : pour arrêter la bande, il faut laisser le diamant où il est et les prendre sur le fait. Quand les enfants retournent à la cachette le diamant a disparu.

Zéphirin est finalement arrêté. Tous les enfants du village, menés par Marina organisent son évasion. L'Artiste qui était retenu prisonnier chez le complice de Mimile réussit à se libérer et les rejoint. Il emmène Zéphirin sur la plage pour le cacher.

Alors que les gendarmes recherchent Zéphirin et l'Artiste, les enfants retrouvent par hasard le diamant dans le lit de la rivière. L'Artiste écrit à Jo pour qu'il vienne récupérer le diamant avec ses complices pour pouvoir les arrêter.