Sultan III. Selim’in taraftarları da boş durmuyordu. Memleketin her gün daha da kötüye gitmesi ve yeni padişahın eski padişahı aratması, Sultan III. Selim’in bazı muhaliflerini de ona taraftar yapmıştı.
“Kötü aldandık, kötü iş ettik, efendimizi tekrar iclâs etmekten [tahta çıkarmaktan] başka çare yok,” diyorlardı.
Bunlar Alemdar Mustafa Paşanın et-rafında toplanmışlardı. Sultan III. Se-lim’i tekrar tahta geçirmek istiyorlardı. Rusçuk’ta bir araya gelmişler ve Sultân IV. Mustafa’yı tahttan indirmek için çareler düşünmeye, plânlar yapmaya başlamışlardı.
Eski Sadaret Kethüdası Mustafa Refik,
“Başka çare yok,” diyordu, “Kabakçı Mustafa’yı öldürmek lâzım, böylece hem cinayetlerinin cezasını çekmiş olur, hem de devletin başı belâdan kurtulur.”
“İyi, ama bu işi nasıl yapacağız?” “Kolay değil, adam bir çavuş, ama sultanlar gibi korunuyor. Etrafında bir sürü serkeş var.”
En sön Alemdar Mustafa Paşa konuştu :
“Siz bu işi bana ısmarlayın ve gerisine karışmayın. Zaten Sadrazam bizi sefer işlerini görüşmek için Edirne’ye davet etmiştir. Oradan bir yolunu bulur, Dersaadet’e [istanbul’a] geçer ve Kabakçı rezilinin kârını itmam eyleriz.”
Ordusunu alıp 4 Haziran 1808 Salı günü Edirne’ye gitti.