1850'de Güney Arnavutluk'ta Permet'e yakın Fraşıri kasabasında doğdu. Tımar sahibi Fraşırî ailesinden Halit Bey'in beş oğlundan üçüncüsüdür. Diğer iki oğul, Naim ve Abdül, Arnavutluk tarihinde önemli roller oynamışlardır.
İlk eğitimini Bektaşi tarikât'a ait olan Nasîbi Tâhir Baba Tekkesi'nde aldı. Ortaöğrenimini bugünkü Yunanistan sınırları içinde kalan Yanya'da ünlü Zosimea Lisesi'nde tamamladı. Arnavutça, Eski ve yeni Yunanca, Fransızca ve İtalyanca'nın yanı sıra Türkçe, Arapça ve Farsça öğrendi. Aile geleneği doğrultusunda Bektaşi tekkesine devam etti.
Emine Hanım ile evli olan Şemseddin Sami, bir süre Yanya Mektubi Kalemi'nde çalıştı. 1871'da İstanbul'a geldi. Matbuat Kalemi'nde memur olarak göreve başladı. Memurluk yaparken bir yandan da ilk telif eseri olan Taaşşuk-ı Talat ve Fitnat adlı romanını 1872-1873 yıllarında forma forma yayınladı. Ebüzziya Tevfik'in çıkardığı Sirac ve Hadika gazetelerinde çalıştı. Vatan Yahut Silistre krizi esnasında bu gazete Yeni Osmanlılar lehine neşriyatta bulunduğu için kapatıldı. 1874'te Fransızca'dan çevirdiği İhtiyar Onbaşı adlı trajedisinin sahnede kazandığı başarı üzerine, Arnavut sorunlarını ele alan Besa adlı oyunu da Gedikpaşa Tiyatrosu'nda sahnelendi.
1880'te Abdülhamit'in isteği üzerine saraya alınarak mabeynde kurulan Teftiş-i Askeri Komisyonu'nun katipliğine getirildi. Ölümüne kadar koruduğu bu görev, onun ekonomik rahatlığa kavuşarak kitapları üzerinde çalışmasına imkan sağladı. Bu yıllarda Daniel Defoe'dan Robenson Kruzo ve Victor Hugo'dan Sefiller romanlarını Türkçeye çevirdi. 1882-83 yıllarında, büyük eserlerinin ilki olan Fransızca-Türkçe Kamus-ı Fransevi'yi, 1885'te de bu eserin Türkçe-Fransızca kısmını yayınladı. Bu eserden dolayı II. Abdülhamit tarafından İftihar Madalyası tevcih olundu. 1889'dan itibaren tek başına yazdığı ve dokuz yılda altı cilt olarak yayımladığı Kamus-ül A'lâm adlı ansiklopediyle, Türkiye'nin en popüler yazarlarından biri haline geldi