Sau khi hiệp thương thống nhất đất nước vào ngày 25-4-1976, Sở Ngoại vụ Thành phố Hồ Chí Minh được thành lập thay thế Ban Ngoại vụ. Sở Ngoại vụ Thành phố Hồ Chí Minh là Cơ quan Đại diện ở phía Nam, trực thuộc Bộ Ngoại giao, đồng thời chịu sự chỉ đạo của Thành ủy và Ủy ban nhân dân Thành phố Hồ Chí Minh.
Sau khi hiệp thương thống nhất đất nước vào ngày 25-4-1976, Sở Ngoại vụ Thành phố Hồ Chí Minh được thành lập thay thế Ban Ngoại vụ. Sở Ngoại vụ Thành phố Hồ Chí Minh là Cơ quan Đại diện ở phía Nam, trực thuộc Bộ Ngoại giao, đồng thời chịu sự chỉ đạo của Thành ủy và Ủy ban nhân dân Thành phố Hồ Chí Minh.
Trong giai đoạn này Sở Ngoại vụ Thành phố Hồ Chí Minh có những chức năng và nhiệm vụ sau:
1. Phổ biến, hướng dẫn thực hiện các chủ trương, chính sách của Đảng và Nhà nước Việt Nam có liên quan đến đối ngoại tới các Cơ ng quan Đại diện nước ngoài và người nước ngoài, đồng thời hướng dẫn, giúp đỡ các cơ quan tại thành phố, cán bộ và nhân dân thành đi phố thực hiện các chủ trương, chính sách về công tác đối ngoại.
2. Quản lý hoạt động của các Cơ quan Đại diện nước ngoài đóng tại thành phố. Giải quyết các yêu cầu về ăn, ở, làm việc, đi lại... cho các Cơ quan Đại diện nước ngoài thường trú hoặc tạm trú tại thành phố.
3. Tổ chức đón tiếp và bố trí chương trình hoạt động cho các đoàn khách và phóng viên nước ngoài do địa phương hoặc Trung ương mời đến thành phố và theo dõi, báo cáo kết quả việc thực hiện.
4. Phối hợp với các cơ quan chức năng giải quyết những vấn đề có nhân tố quốc tế và quản lý thống nhất công tác đối ngoại theo đúng chủ trương, chính sách đối ngoại, luật pháp của Việt Nam, phù hợp với luật pháp và tập quán quốc tế.
5. Thực hiện một số công tác được Bộ Ngoại giao ủy nhiệm như:
- Hỗ trợ thành lập Tổng Lãnh sự quán Campuchia tại Thành phố Hồ Chí Minh.
- Tiếp nhận và quản lý Viện Trao đổi văn hóa với Pháp (IDECAF) từ tháng 9-1982.
- Phối hợp với Cục Quản lý xuất nhập cảnh tổ chức thực hiện Chương trình xuất cảnh định cư ODP, Chương trình xuất cảnh con lai, Chương trình xuất cảnh HO (ba chương trình này đều kết thúc vào năm 2001).
Để thực hiện tốt những chức năng và nhiệm vụ trên, Sở Ngoại vụ Thành phố Hồ Chí Minh đã tổ chức bộ máy gồm những phòng ban chức năng như sau:
- Phòng Lãnh sự.
- Phòng Lễ tân - Báo chí.
- Phòng K (được thành lập năm 1980, chuyên trách về Campuchia. Đến năm 1982, Phòng K kết thúc nhiệm vụ và được giải thể).
- Cơ quan Phục vụ Đại diện nước ngoài (đến năm 1984 được tách ra khỏi Sở và trực thuộc Ủy ban nhân dân Thành phố Hồ Chí Minh, hiện nay là Công ty Dịch vụ Cơ quan nước ngoài - FOSCO).
- Văn phòng Sở.
- Phòng Tổ chức Cán bộ.
- Phòng Tài vụ (được thành lập năm 1984).
- Viện Trao đổi văn hóa với Pháp.
- Nhà khách quốc tế.
Đây là giai đoạn đất nước còn nhiều khó khăn, tình hình quốc tế không thuận lợi cho Việt Nam, tuy nhiên, Sở Ngoại vụ Thành phố Hồ Chí Minh đã góp phần quan trọng vào công tác đối ngoại chung của cả nước, từng bước khắc phục khó khăn, hoàn thành tốt mọi nhiệm vụ được giao.