Basketbola Ankara’da başlayan Erkan Yılmaz, 2013-14 sezonunda Antalya BŞB takımına transfer oldu. Burada geçirdiği iki yılın ardından Banvit’e geçen Erkan, bir sezon sonra TBL’de Bandırma Kırmızı forması giydi. Daha sonra 2017-18 sezonunda Yeşilgiresun Belediye, 2018-19 sezonunda TBL’de Yeni Mamak Spor Kulübü forması giydikten bir sezon sonra Bandırma’ya geri döndü ve Teksüt Bandırma ile anlaştı. 2020-2022 yılları arasında Bahçeşehir Koleji’nde görev yapan Erkan, 2022-23 sezonunda Türk Telekom forması giydikten sonra 2023-24 sezonu öncesinde takımımıza katıldı.

2015’de Genç (U18) Milli Takımı ile Avrupa Şampiyonası’nda ikincilik kürsüsüne çıkan Erkan Yılmaz, 2022’de Bahçeşehir Koleji ile FIBA Europe Cup şampiyonluğu yaşadı.