La Fayette và Washington ở Mount Vernon năm 1784

La Fayette hình thành nhãn quan của mình về chế độ nô lệ khi ông còn ở Mỹ, mà sau này ông đem áp dụng tại Pháp. Ban đầu ông coi nô lệ là tài sản nhưng sau khi gặp người nô lệ da đen James Armistead (một người hoạt động gián điệp cho Cách mạng Mỹ và đóng vai trò quan trọng trong việc cung cấp thông tin dẫn đến chiến thắng Yorktown) ông đã đề xuất sử dụng họ làm binh sĩ cho cuộc cách mạng. Từ năm 1783, qua việc thư từ với Washington, La Fayette đã đề xuất tới việc bãi bỏ chế độ nô lệ và sắp xếp cho họ trở thành những tá điền. Khi Washington vẫn do dự, La Fayette mua một vùng đất ở Guyane thuộc Pháp và thí nghiệm cho việc bãi nô. Trở về Pháp, ông tham gia Hội Bạn hữu của người da đen (Société des amis des Noirs), chủ trương bãi nô, chống lại việc buôn bán nô lệ, bênh vực những người da màu.