Mengawali karier di negerinya sendiri membela ASC Diaraf, Diop hijrah ke Eropa dari Swiss pada 1999 dan menghabiskan hampir tiga tahun di Vevey, Neuchatel Xamax dan Grasshoppers sebelum diboyong RC Lens ke Prancis pada Januari 2002.
Kemudian pada 2004 Diop dibeli Fulham dari Lens dan empat musim membela klub London itu, bahkan sempat dinominasikan sebagai pemain terbaik tahunan internal klub pada musim 2005 -2006.
Diop kemudian membela Portsmouth, hijrah ke Yunani untuk AEK Athens, kembali ke West Ham United dan gantung sepatu setelah musim 2012-2013 mengenakan seragam Birmingham City sebagai klub terakhirnya. ***