Pfluger wurde in der bayerischen Gemeinde Rottach-Egern geboren und begann seine Fußballkarriere in der Jugend des FC Rottach-Egern.[2] Später wechselte er in die U19 der SpVgg Unterhaching, die ihn 1980 in die erste Mannschaft beförderte. Sein erstes Tor schoss er gegen den VfR Oli Bürstadt in den Aufstiegsrunde in die 2. Bundesliga[3] und stieg 1989 erstmals in die zweite Liga auf. Am 29. Juli 1989, dem ersten Spieltag gegen den SC Freiburg in der 2. Fußball-Bundesliga, startete Josef Pfluger von Anfang an und erzielte sogar ein Tor.[4] Mit Ausnahme des Spiels gegen den SpVgg Bayreuth am 31. Spieltag, bei dem er aufgrund einer roten Karte im vorherigen Spiel gegen die Stuttgarter Kickers aussetzen musste,[5] stand Josef Pfluger in der Saison 1989/90 in jedem Ligaspiel der SpVgg Unterhaching volle 90 Minuten auf dem Platz.[6] Trotz seiner Leistung stieg der Verein in die Oberliga Bayern. Dort verweilte man nur eine Saison und kehrt 1991/92 zurück. Pfluger absolvierte insgesamt 154 Pflichtspiele für die Spielvereinigung und erzielte als Verteidiger vier Tore.[7] Am 30. Juni 1993 wechselte er gemeinsam mit Udo Mai zum FC Miesbach,[8][9] wo er bis Juli 2001 aktiv war, bevor er seine Fußballschuhe an den Nagel hing.