Le palais du Tau doit son nom au plan en forme de T majuscule (tau en grec), résultat sans doute fortuit du développement du bâtiment.
Toutefois, nous devons nous souvenir que le tau a précédé la crosse comme bâton pastoral des évêques et des abbés.
A Reims, on vénérait comme une relique le Tau que le Pape Hormisdas aurait envoyé à saint Remi, l'évêque qui a baptisé Clovis. Ses successeurs exhibaient cette relique quand ils revendiquaient le privilège de sacrer le roi en mémoire du baptême de Clovis.