Mektebi Tıbbiye-i Şahane’de (Askeri Tıbbiye) 58 kişilik gurup 3 Haziran 1889’da “İttihadı Osmani Cemiyeti” adıyla bir gizli örgütlenmeyi başlatır.Kurucuları daha öğrenci olan fakat sonradan siyasette önemli roller alacak ;İbrahim Temo(Arnavut), Abdullah Cevdet (Kürt), İshak Sürkuti(Kürt), Mehmet Reşit (Çerkez),Hüseyin Zade Ali’dir.Öncelikli amaçları, Padişahı çağdaşlaşmaya yöneltmek,baskı rejimini azaltmak ve devletin varlığı içinde “İlerleme ve Çağdaşlaşma”ya erişilmesi idi.
İttihadı Osmani’ciler 1895’de derneğin adını “Osmanlı İttihad ve Terakki Cemiyeti” olarak değiştirir.Gizliliğin son derece mühim olduğu, hücre tipi teşkilatlanmanın benimsendiği cemiyet, küçük rütbeli subaylar arasındasında yayılmış, sonrasında ilk dönem subaylarının rütbe artışlarına paralel olarak üyelerinin statülerinde de yükselme söz konusu olmuştur.1895 yılına dek neredeyse sessiz kalmış, 1894’te başlayan Ermeni isyanlarının, ülkede infial yaratan halkası Bab-ı Ali Baskını’na dek ciddi bir çıkış yapmamıştır.Örgütün 1895’teki “bende varım” adlı bildirgesindeki açıklamalarda Ermeni vahşet ve kanunsuzluğunu telin etmekte, hem de imparatorluğun “unsurları birarada tutma” politikasına sahip çıkarak aşırı milliyetçi bir tutum takınmaktan kendisini alıkoymaktaydı.Ayrıca işbaşındaki hükümetle arasına mesafe koyan tüm unsurlar, İttihat ve Terakki’nin bayrağı altında birleşmeye çağrılıyordu.
Değinilmesi gereken bir başka husus ise, cemiyetin1895 yılında açıkladığı 39 maddelik tüzüğün, Örgüte üyelik şartlarını açıklayan ilk maddesinde yer alan “Ezcümle tüm Osmanlı yurttaşlarına açık”olduğu vurgulanmaktaydı.”Ezcümle tüm yurttaşlar” çağrısı kadınlarında örgüte üye olabileceklerini gösteriyordu.Aynı tüzüğün 37.maddesinde kadın-erkeklerin cinsiyet farkı gözetmeksizin tüzüğe uymak ve aynı işleri yapmakla yükümlü olacaklarına dair söylem, ülkede kadın-erkek eşitliğinden söz edilmediği bir dönemde,İttihat Terakki’nin ulusu oluşturan cinsi unsurların eşitliği bağlamında ne denli cesur olduklarını gösteriyor ve bununla yetinmeyip bir de Osmanlı İttihat ve Terakki Kadın Örgütü’nü kurarak Türkiye’de Kemalizm tarafından tamamlanacak sürecin başlatıcısı olmuştur.