Algunos autores estiman que los pingüinos siempre han vivido en el hemisferio Sur ya que no se han encontrado fósiles mucho más al norte de su distribución actual. También se estima que los antepasados de estas aves hace unos 40 millones de años ya tenían un aspecto muy similar a la forma presente. Los fósiles más antiguos, 40 millones de años, proceden de Australia, Nueva Zelanda e islas próximas. Los fósiles que se han encontrado en América del Sur no sobrepasan los últimos 10 millones de años. Los de África y Antártica son de especies que vivieron no hace más de un millón de años. Algunos autores estiman que aun no sería prudente crear una hipótesis ya que los fósiles no indican ser de linajes continuos.

Se han encontrado fósiles de una especie, a la cual se le ha llamado Pachydyptes ponderosus, que vivió hace unos 25 millones de años. Este pingüino era más grande que las especies que existen hoy en día. De acuerdo a los restos encontrados, esta especie medía metro y medio de longitud con un peso de unos 110 kg. Se han encontrado otros fósiles que se han podido identificar como pertenecientes a otros pingüinos ya también extinguidos, en total unas 30 especies.

Se le estima que los parientes más cercanos de los pingüinos son las aves tubinares (Orden Procellariiformes: Albatros, Petreles, Paíños, Potoyuncos). Posiblemente las dos ramas de la evolución se separaron, divergieron, hace más de 60 millones de años. Un dato interesante es que algunos tubinares, entre la especies más pequeñas, además de ser excelentes volando en el aire también ejercen las alas bajo la superficie; vuelan por el agua como lo hacen los pingüinos.