Patterson seria então encadear uma série de 5 vitórias (com adversários notáveis Eddie Machen e George Chuvalo) antes de uma outra luta pelo título mundial com o homem que havia tomado o título de Liston. Muhamed Ali (que era 21-0) venceu o ex-campeão duas vezes, apesar de ser convincente-se em pontos Ali conseguiu fechar o show com uma parada na 12ª rodada, outra perda em uma luta pelo título para Patterson.He voltaria dessa perda com 3 KO (incluindo uma vitória rodada 4 sobre Henry Cooper) antes de enfrentar Jerry Quarry em uma luta que iria terminar em um empate maioria.
A revanche com Quarry foi travada 4 meses mais tarde com a pedreira de tomar uma decisão apertada (maioria decisão win) em parte do torneio 8 homem para o título da WBA vago (despojado de Ali quando ele não conseguiu transformar-se no projecto para a guerra do Vietnã). Embora Patterson iria enfrentar Jimmy Ellis (o vencedor), em sua luta seguinte para outra chance de ganhar o título. Ellis iria bater Patterson sobre a distância 15 rodada no que seria uma das últimas grandes lutas de sua career.
After a perda Patterson foi em uma série de vitórias de 9 lutas, embora a maioria estivesse contra adversários relativamente mais baixos de qualidade com apenas um único adversário notável (Oscar Bonavena, que se foi passado o seu melhor, perdeu por pontos). Na luta final da carreira de Patterson teve uma revanche com Muhammed Ali que iria impedi-lo de novo, desta vez devido a cortes ao redor dos olhos em 7 round.A registro final de 55 (40KO de) -8-1 era apenas uma das coisas Floyd deixou de boxe com mais de sua carreira de 20 anos.
Ele afirmou que os registros de ser o campeão mundial peso pesado mais jovem (até Mike Tyson teve que gravar na década de 1980), ele foi o primeiro homem a recuperar o título, ele ainda é o homem mais jovem a recuperar o título (com idade entre 25). Ele foi o primeiro medalhista de ouro olímpico para ganhar um título mundial dos pesos pesados (