Im Orden der Istari ist Gandalf der Graue der Zweitmächtigste. Zweitausend Jahre lang arbeitete er im dritten Zeitalter beharrlich und unbeirrt auf den Sturz Saurons hin und in seiner weisen Voraussicht setzte er viele Entwicklungen in Gang, die den dunklen Herrscher am Ende zu Fall brachten.
Bei seiner Ankunft in Mittelerde um das Jahr 1000 D.Z. gab Cirdan ihm Narya, einen der drei Ringe. Während des dritten Zeitalters hatte Gandalf viele Abenteuer und Prüfungen zu bestehen. Im Jahre 2063 ging er im Auftrag der Weisen nach Dol Guldur, um herauszufinden, wer sich hinter dem neuen Herrn der Burg verbarg, doch ohne Erfolg. Im Jahre 2850 drang er im Auftrag des weißen Rats erneut in Dol Guldur ein und entdeckte, dass es Sauron war, erhielt dabei von Thrain den Schlüssel zum Erebor und entkam aus den Verliesen. Später, im Jahre 2941, weckte Gandalf in Thorin das Verlangen zur Rückeroberung Erebors; sein Ziel war dabei die Errichtung eines starken Reiches im Norden, das einem Angriff von mit Sauron verbündeten Ostlingen standhalten könnte.
Gandalfs Plan, Thorin dazu zu bringen, Bilbo Beutlin als Dieb für die Expedition anzuheuern, vielleicht weil er die verborgene Stärke des Auendland-Volkes für spätere Zeiten erproben wollte, hatte ungeahnte Folgen, da Bilbo dabei in den Besitz des einen Ringes gelangte. Gandalf hegte den Verdacht, dass es sich bei Bilbos Schatz um den Einen handeln könnte und von 2941 bis 3001 ließ Gandalf das Auendland mit Hilfe der Waldläufer des Nordens scharf überwachen und abschirmen. Im Jahre 3001 überzeugte Gandalf Bilbo, dass er den Ring an Frodo weitergeben sollte (eine beispiellose Tat, die seine hohe Meinung von den Hobbits bestätigte). Nachdem er in Gondor herausgefunden hatte, woran sich der eine Ring erkennen ließ und dies an Frodos Ring erprobt hatte, setzte er 3018 die Ereignisse in Bewegung, die zum Aufbruch der Hobbits und der Suche nach dem Schicksalsberg führten.
Nach dem erfolgreichen Ende des Ringkriegs fuhr Gandalf, da seine Aufhabe erfüllt war, mit den anderen Ringträgern übers Meer.
Gandalf sah aus wie ein alter Mann mit weißem Haar und Bart, bekleidet mit einem langen grauen Mantel sowie einem spitzen blauen Hut. Er wirkte wie ein harmloser, ein wenig schäbiger Wunderling, doch manchmal zeigte er seine wahre Größe und Macht. Nach dem Sieg gegen den Balrog starb er, aber er wurde als Gandalf der Weiße, mit größerer Macht zurück nach Mittelerde geschickt, um seine Aufgabe zu vollenden.
Gandalf zog meist in den Westlanden umher und hatte keinen festen Wohnsitz. Von allen Istari stand er den Eldar am nächsten und er war der einzige Zauberer, der sich für Dinge von scheinbar geringem Wert wie Hobbits und Bäume interessierte. Er war ein großer Kenner alter Überlieferungen und beherrschte (vielleicht verstärkt durch Narya) Licht- und Feuerzauber; bei den Hobbits war er berühmt für sein Feuerwerk. Beim Kampf mit dem Balrog bezeichnete er sich selbst als Diener des geheimen Feuers und Walter der Flamme Anors. Gandalf war Freund und Lehrer Aragorns und die zwei halfen einander, wo sie nur konnten. Nach 2941 trug Gandalf zu seinem Stab auch das große Schwert Glamdring. Im Jahre 3018, nachdem er von Isengard entkommen war, zähmte er Schattenfell, das größte der Mearas von Rohan und ritt auf ihm für den Rest des Rinkrieges.
Gandalf war der Name, den die Menschen des Nordens ihm gaben. Von den Elben wurde er Mithrandir genannt; auch die Westron-Formen Grauer Wanderer, Grauer Pilger und Grauer Bote wurden verwendet. Bei den Zwergen hieß er Tharkûn, bei den Rohirrim und zu verschiedenen Zeiten wurde er als Sturmkrähe (von Theoden), Lathspell (von Grima) und der Graue Narr (von Denethor II., der ihm wegen seiner Freundschaft zu Throrongilm dem Rivalen seiner Jugend, misstraute) beschimpft. Er war auch bekannt als Saurons Feind und (während des Krieges) als der weiße Reiter. Sein ursprünglicher Name, der ihm in Valinor in seiner Jugend gegeben wurde, war Olorin. Er war einer der Maiar, vom Rang her dem Balrog und Sauron ebenbürtig.