Planeta Władców Czasu - Gallifrey jest podobna do Ziemi, znajduje się w konstelacji Kasterborous. Jej stolicą jest miasto również zwane Gallifrey (czasami określane jako Cytadela), w którym znajduje się Kapitol - miejsce przebywania rządu Władców Czasu.
Władcy Czasu, którzy zostali wydaleni ze społeczeństwa, żyją w mniej zaawansowanych technologicznie społecznościach, unikających życia w miastach.
Ogólnie Władcy Czasu są ludźmi wyniosłymi, ze społeczeństwem pełnym przepychu i uroczystości. Gatunek "ma skłonności do wygłaszania przemów" i ma "nieskończenie wiele argumentów". Władcy Czasu mają zwyczaj organizowania uroczystości na cześć ich technologii, z różnymi artefaktami o doniosłych nazwach, takich jak Ręka Omegi, Oko Harmonii lub Klucz Rassilon.
Władcy Czasu to "wystawna rasa" ze "starymi, zmąconymi senatorami... bojącymi się zmian i chaosu" oraz "pokojowy leniwy naród". Ich charakterystyka w seriach opisywała naukowców żyjących w wieżach z kości słoniowej, którym obojętne są zewnętrzne wydarzenia. Zasugerowano, że odkąd udoskonalili naukę podróży w czasie, wycofali się ze związanej z moralną złożonością możliwości wtrącania się w naturalny bieg historii.