势更加煊赫，与总监察长高元海共掌北齐政府机要。

高元海的妻子是陆令萱的外甥女，高元海准备借这层关系分化祖珽与陆令萱，并逐步把祖珽排挤出朝廷。

祖珽请求当中央禁军总监，高纬已经允许，高元海暗中警告高纬：“祖珽是汉人，两眼又全盲，怎么可以当禁军总监。”并揭发祖珽与广宁王高孝珩结交的情形。

祖珽的请求被拒，知道发生了什么突发状况，赶紧进宫为自己辩护：“我与高元海一向不睦，定是他对我陷害。”

高纬脸皮薄，不会说谎，迟疑了好一会儿，只好把实情告诉他，祖珽于是把高元海与农业部长结交的事报告高纬，又把高元海平时透漏的陆令萱的私密谈话告诉陆令萱，陆令萱大怒，力劝高纬把高元海贬出当郑州州长，高元海的同党也被免职。

从此之后，祖珽开始独掌大权，掌握中枢机要，直接控制隶属于丞相府的骑兵司和民间武力司，家族亲戚纷纷擢升高位。

高纬对祖珽也十分恭敬信赖，时常让太监扶祖珽入宫，并让他登上皇帝的御座，坐在一起密谈，共同裁决军国大事。