Frank Serpico entre dans la police de New York au début des années 1960 avec une conception très idéaliste de son métier. Il veut être un bon policier, travailler sur le terrain et faire respecter la loi. Son allure anticonformiste : cheveux longs, barbe, vêtements inhabituels pour un policier de l'époque le distingue déjà de ses collègues.

          Mais Serpico découvre rapidement que la corruption est profondément installée dans la police. De nombreux agents acceptent régulièrement de l'argent provenant notamment de trafiquants, de bookmakers et d'autres activités illégales. Serpico refuse catégoriquement de prendre sa part.

          Ce refus le transforme progressivement en paria. Ses collègues se méfient de lui parce qu'un policier qui refuse l'argent peut aussi devenir celui qui les dénoncera. Serpico tente alors d'alerter sa hiérarchie, mais ses supérieurs évitent le problème ou ne donnent pas suite à ses accusations. Il comprend peu à peu que la corruption ne concerne pas seulement quelques policiers : le système lui-même protège largement le silence.

          Cette lutte l'obsède et affecte également sa vie personnelle. Plus Serpico cherche à dénoncer ce qu'il voit, plus il se retrouve isolé et exposé. Finalement, constatant l'inefficacité des procédures internes, il contribue à rendre publiquement connue l'affaire, qui conduira à l'enquête de la commission Knapp sur la corruption policière.

          La situation devient extrêmement dangereuse. Lors d'une opération contre des trafiquants de drogue, Serpico est grièvement blessé par balle au visage. Le film laisse peser un doute particulièrement sombre sur la solidarité de ses collègues au moment où il est en danger. Après sa convalescence, il témoigne sur la corruption policière, puis finit par quitter la police.