39 साल की उम्र में, जो क्लार्क 1979 में कनाडा के सबसे युवा प्रधानमंत्री बने। एक राजकोषीय रूढ़िवादी, जो क्लार्क, और उनके अल्पसंख्यक सरकार कर वृद्धि और कार्यक्रम में कटौती के बजट पर अविश्वास प्रस्ताव पर सत्ता में आने के महज नौ महीने बाद हार गए।
1980 का चुनाव हारने के बाद, जो क्लार्क विपक्ष के नेता के रूप में रहे। जब ब्रायन मुलरोनी ने 1983 में प्रोग्रेसिव कंजर्वेटिव पार्टी ऑफ कनाडा के नेता के रूप में पदभार संभाला और फिर प्रधान 1984 में मंत्री, जो क्लार्क ने विदेश संबंधों के एक प्रभावी मंत्री और संवैधानिक मंत्री के रूप में जारी रखा मामलों। जो क्लार्क ने 1993 में एक अंतरराष्ट्रीय व्यापार सलाहकार के रूप में काम करने के लिए राजनीति छोड़ दी, लेकिन 1998 से 2003 तक प्रोग्रेसिव कंजर्वेटिव पार्टी के नेता के रूप में लौट आए।
जो क्लार्क ने 1966 से 1967 तक अल्बर्टा प्रोग्रेसिव कंजर्वेटिव पार्टी के लिए संगठन के निदेशक के रूप में अपने राजनीतिक जीवन की शुरुआत की। वह 1967 में संसद डेवी फुल्टन के एक कंजर्वेटिव सदस्य के विशेष सहायक थे। उन्होंने 1967 से 1970 तक संसद के एक संरक्षक सदस्य रॉबर्ट स्टैनफील्ड के कार्यकारी सहायक के रूप में कार्य किया।
जो क्लार्क पहली बार 1972 में हाउस ऑफ कॉमन्स के लिए चुने गए थे। उन्हें 1976 में प्रोग्रेसिव कंजर्वेटिव पार्टी ऑफ़ कनाडा के नेता के रूप में चुना गया था और 1979 तक विपक्ष के नेता थे। 1979 के आम चुनाव के बाद जो क्लार्क ने कनाडा के प्रधान मंत्री के रूप में शपथ ली।
रूढ़िवादी सरकार 1980 में हार गई थी। 1890 से 1983 तक जो क्लार्क फिर से विपक्ष के नेता थे। जो क्लार्क ने प्रगतिशील प्रगतिशील पार्टी नेतृत्व सम्मेलन बुलाया और 1983 में ब्रायन मुल्रोनी को पार्टी नेतृत्व खो दिया।
मुलरोनी सरकार में, जो क्लार्क ने 1984 से 1991 तक विदेश मंत्री के रूप में कार्य किया। वह 1991 से 1993 तक प्रिवी काउंसिल के अध्यक्ष और संवैधानिक मामलों के जिम्मेदार मंत्री थे। जो क्लार्क 1993 के आम चुनाव में नहीं चले थे।
जो क्लार्क 1998 में कनाडा की प्रोग्रेसिव कंजर्वेटिव पार्टी के नेता के रूप में लौटे। उन्हें 2000 में हाउस ऑफ कॉमन्स के लिए फिर से चुना गया। 2002 में, जो क्लार्क ने कहा कि उन्होंने प्रोग्रेसिव कंजर्वेटिव पार्टी को जहाँ तक हो सके, आगे बढ़ाया। प्रोग्रेसिव कंजर्वेटिव पार्टी के नेता के रूप में जो क्लार्क का इस्तीफा मई 2003 में नेतृत्व सम्मेलन में प्रभावी था।