Po študiju umetnostne zgodovine na Filozofski fakulteti v Ljubljani se je zaposlil v Pokrajinskem muzeju Maribor, kjer je pozneje postal ravnatelj. Predaval je tudi muzeologijo in konservatorstvo na ljubljanski Filozofski fakulteti.

Njegovo raziskovalno delo je obsegalo predvsem: baročno kiparstvo na Slovenskem, zgodovino oblačenja in vojaških uniform, kulturno zgodovino Maribora, muzeologijo in varstvo kulturne dediščine.

Med njegovimi pomembnejšimi deli so Baročno kiparstvo na slovenskem Štajerskem (1963), Baročno kiparstvo v osrednji Sloveniji (1976), Baročno kiparstvo na Primorskem (1983) in Uniforme v zgodovini Slovenije in sosednjih dežel (1987).

Za svoje strokovno delo je prejel Valvasorjevo nagrado (1974) in Steletovo nagrado (2001).

Sergej Vrišer velja za enega pomembnejših slovenskih raziskovalcev baročnega kiparstva, njegovo delo pa je pomembno prispevalo k poznavanju in ohranjanju slovenske umetnostne dediščine.