À l'âge de 16 ans, il s'engage dans le maquis. Après la fin de la seconde Guerre mondiale, il entre au Conservatoire national d'art dramatique. C'est là qu'il apprend à placer sa voix et acquiert l'art du mime. À cette époque, on le cantonne dans des rôles de grand dégingandé.
En 1949, presque malgré lui -- des amis l'ayant inscrit à son insu --, Philippe Clay gagne un concours amateur dans un bar « À la colonne de la Bastille ». Il part pour l'Afrique avec, sous le bras, des chansons signées par
Charles Aznavour, alors peu connu. Après avoir rodé son répertoire pendant un an, il rentre à Paris et se produit aux Trois baudets et à la Fontaine des quatre saisons. Il fréquente alors les caves de Saint-Germain-des-Prés et devient l'ami de
Jacques Prévert,
Boris Vian et
Serge Gainsbourg auquel il ressemble très vaguement . En 1957, il passe à l'Olympia. De 1957 à 1962, il passe à quatre reprises en vedette à l'Olympia, fait de nombreuses tournées à l'étranger et connaît ses plus grands succès : Les voyous, Festival d'Aubervilliers, Le danseur de charleston. Au cinéma il est Valentin le désossé dans le film
French Cancan de
Jean Renoir et Clopin, le chef de la cour des miracles, dans le Notre-Dame de Paris de
Jean Delannoy. Après un passage à vide, il renoue en 1971 avec le succès en chantant des chansons comme Mes universités ou La quarantaine en réaction au mouvement de mai 68. Ce répertoire anticontestataire l'avait marqué politiquement à droite; D'autant plus que dans la décennie suivante, il s'était s'engagé au RPR, le parti fondé par Jacques Chirac.
C'est aussi à lui que l'on doit l'interprétation de La complainte des Apaches, générique de la série Les brigades du Tigre, orchestré par Claude Bolling. Phillipe Clay a chanté également Marseille, Le cerisier de ma maison, Je t'aime.
Philippe Clay appartenait au cercle très fermé des comédiens-interprètes de grand talent aux côtés de
Serge Reggiani et d'
Yves Montand. Son visage anguleux, son allure filiforme qui soulignait sa grande taille (1,90 m), sa façon d'arpenter la scène à grandes enjambées, son art du mime, sa voix puissante et gouailleuse et son sens du comique en faisaient un interprète hors pair.