Đây là giai đoạn tiền thân của Sở Ngoại vụ Thành phố Hồ Chí Minh, với tên gọi là Ban Ngoại vụ, trực thuộc ủy ban Quân quản Thành phố Hồ Chí Minh. Ông Hoàng Bích Sơn, Thứ trưởng Bộ Ngoại giao Chính phủ Cách mạng lâm thời Cộng hoà miền nam Việt Nam được cử làm trưởng đoàn tiếp quản Bộ Ngoại giao của chế độ Việt Nam Cộng hòa.

Ngày 2-5-1975, Ban Ngoại vụ ủy ban Quân quản Thành phố Sài Gòn - Gia Định được thành lập tại trụ sở số 6 đường Alexandre de Rhodes, phường Sài Gòn. Ông Hoàng Bích Sơn được giao nhiệm vụ làm Trưởng ban và ông Dương Đình Thảo, Vụ trưởng Vụ Báo chí thuộc Bộ Ngoại giao Chính phủ Cách mạng lâm thời Cộng hòa miền Nam Việt Nam làm Phó ban.

Sau khi hiệp thương thống nhất đất nước vào ngày 25-4-1976, Sở Ngoại vụ Thành phố Hồ Chí Minh được thành lập thay thế Ban Ngoại vụ. Sở Ngoại vụ Thành phố Hồ Chí Minh là Cơ quan Đại diện ở phía Nam, trực thuộc Bộ Ngoại giao, đồng thời chịu sự chỉ đạo của Thành ủy và Ủy ban nhân dân Thành phố Hồ Chí Minh. 

Từ sau năm 1986, khi Việt Nam bắt đầu thực hiện chính sách mở cửa và đối mới kinh tế, muốn làm bạn và là đối tác tin cậy với tất cả các nước trên thế giới. Do đó, số lượng các đoàn khách quốc tế tới thăm Thành phố tăng rõ rệt, trong đó có nhiều đoàn là nguyên thủ quốc gia các nước trên thế giới. Cùng với các đoàn khách quốc tế, số lượng các phóng viên nước ngoài tới tìm hiểu, đưa tin và số lượng các nhà đầu tư nước ngoài tới tìm kiếm cơ hội đầu tư, kinh doanh cũng tăng mạnh. Đặc biệt, số lượng các Cơ quan đại diện nước ngoài và các tổ chức quốc tế đã tăng lên nhanh chóng. Các hoạt động động giao lưu văn hóa quốc tế cũng diễn ra thường xuyên hơn với quy mô ngày càng lớn tại Thành phố. Nhìn chung, hoạt động đối ngoại tại Thành phố Hồ Chí Minh trong giai đoạn này được mở rộng nhanh cả về chất và lượng.