Bil je najpomembnejši zgodovinar prve generacije slovenskih šolanih zgodovinarjev. V letih 1902 do 1928 je v petih zvezkih izdal temeljno delo slovenskega zgodovinopisja Gradivo za zgodovino Slovencev v srednjem veku od leta 500 do 1246. Njegovo raziskovalno delo se deli v več skupin. V vrsti razprav in v uvodih v je sistematično obravnaval zgodovino Slovencev do leta 1269. V uvodih k vsaki knjigi je podal tudi oris slovenske zgodovine (historična geografija, politična in cerkvena, v četrti knjigi pa tudi kulturna zgodovina. V posmrtni izdaji pete knjige je uvod napisal sin Milko Kos. Zbral je tudi velik del virov za naslednja stoletja, od tega je v dunajskem državnem arhivu pridobil nad 5.000 do takrat še neobjavljenih regestov (kratkih povzetkov vsebine listine) iz 13. do 15. stoletja.

Že pred začetkom izdajanja Gradiva je posvetil več razprav zgodovini slovenskega ozemlja pred prihodom ter naselitvijo Slovanov. Večkrat je obravnaval slovensko zgodovino v dobi pokristjanjevanja, v zgodovini 9. stoletja pa je poleg več razprav posvetil svojo prvo knjigo Spomenica tisočletnice Metodove smrti (1885). Za razvoj slovenske zgodovinske kritične misli so pomembne zlasti njegove ocene iz prvih let dela. Napisal je skupino del o Škofji Loki (Doneski k zgodovini Škofje Loke in njenega okraja), pa tudi številne razprave, posvečene zgodovini Goriške (K zgodovini Gorice v srednjem veku). Kos se je tudi zanimal za slovenska družinska in osebna imena ter slednja z uspehom poskušal oživiti. Objavljal pa je tudi razne starejše slovenske tekste. Umrl je v Ljubljani leta 1924.