Совместима ли gtx660/amd 5870 hd с материнской платой ASRock H61M-VS

любая из карт подойдет

да они совместимы уже как минимум лет 12 - с тех пор как PCI-E стал стандартным разъемом для видеокарт ;))
главное чтоб мощности БП хватило и у него было 6-pin для доп. питания видеокарты

gtx660 заметно предпочтительней чем 5870

Неа