南京教區(qū)的最后一位主教是意大利傳教士羅伯濟。1856年，南京教區(qū)改為江南代牧區(qū)，交給1842年已經(jīng)來此、1847年在徐家匯建立總部的的耶穌會巴黎省會的法國神甫管理，管轄范圍包括江蘇、安徽2省。

　　1921年，分為南京代牧區(qū)（主教座堂在上海）和安徽代牧區(qū)（主教座堂在蕪湖）。1926年和1931年，再度分出海門教區(qū)和徐州教區(qū)。1936年，江蘇省剩下的部分分別設(shè)立上海代牧區(qū)和南京代牧區(qū)，上海代牧區(qū)管轄長江以南蘇州以東的地區(qū)，和長江以北除徐州和南通附近以外的地區(qū)（大半個蘇北，但信徒較少）。

　　1946年，羅馬教廷宣布成立中國圣統(tǒng)制，上海宗座代牧區(qū)改設(shè)正式的上海教區(qū)。1949年，從上海教區(qū)又分出蘇州教區(qū)和揚州、海州兩個監(jiān)牧區(qū)，上海教區(qū)和蘇州教區(qū)均由中國籍主教管理。1950年，蘇州主教龔品梅兼任上海主教。

　　1955年9月8日，上海教區(qū)龔品梅主教和一批神父被打成反革命集團，被捕入獄。1960年自選自圣張家樹為上海教區(qū)主教，主教座堂也遷到徐家匯。

　　1966年文革開始，所有圣堂全部關(guān)閉，挪作他用。