Rafnsson był prezesem FIBA Europe od 2010 roku. W latach 2002–2010 był członkiem zarządu FIBA Europe. Od 1996 do 2006 roku był także prezesem Islandzkiego Związku Koszykówki.
Od 2006 roku pełnił funkcję prezesa Islandzkiego Komitetu Olimpijskiego. Wcześniej był także koszykarzem (występował w reprezentacji Islandii) oraz trenerem.
