特殊奧運起源於一個給心智障礙者的運動夏令營，後來擴大規模，在1968年於美國芝加哥舉辦一場大型的運動會，從北美各地來了超過千名的運動員。在運動會上，尤妮絲．甘乃迪．史維法(Eunice Kennedy Shriver)女士宣佈成立特殊奧委會，從此特殊奧運成為固定的國際運動盛會。
在1971年，特殊奧運得到美國奧委會的認可，開始使用奧運會(Olympics)的名稱；1977年首度舉辦冬季特奧；1988年得到國際奧委會的認可。2003年特奧首次走出美國國境，在都柏林舉辦，150個國家、七千人參賽，同時這也是特奧首次開幕與閉幕典禮被轉播。
特殊奧運接受不同能力的運動員，沒有人會因為能力差而被排除在外，不論是參加比賽或是得到鼓勵─特殊奧運會使用分組系統，讓參加者和與自己情況相近的運動員競賽；同時特殊奧運不僅只表揚得到名次者，特奧會欣賞並鼓勵所有參賽運動員的特質與其表現。