Siyah tenliler, Osmanlı coğrafyasının pek çok yerinde varlıklarını sessiz sedasız sürdürmüşlerdi. Ancak bazıları, imparatorluğun görsel kayıtçılarının bile dikkatini çekecek kadar şaşaalı bir yaşam sürdüler. Topkapı Sarayı’nın padişahın evi demek olan Dârüssaâde bölümünü yönettiler ve köle kökenli olmalarına rağmen veziriazamlarla yarışacak kadar büyük bir iktidara eriştiler.
Padişahın evinde, onun kadınlarıyla bir arada yaşayan kara hadımlar, genç yaşta Habeşistan (Etiyopya) başta olmak üzere Afrika’nın çeşitli yerlerinden toplanır; Mısır’da Kıptî rahiplerin eliyle geçirdikleri bir dizi operasyon sonucu cinsel güdülerinden koparılmış olarak İstanbul’a yollanırdı. Aslında İslâm’ın yasak ettiği bu uygulamanın kökenleri Emevî, Bizans, İran ve Roma saraylarına dayanıyordu. Veziriazam Şehid Ali Paşa (öl. 1716) zamanında Mısır’a yazılan bir ferman Habeşistanlıların kısırlaştırılmasını engellemeye çalışsa da kâr etmedi; uygulama ancak Sultan Abdülmecid döneminde (1839-1861) durdurulabildi.
Siyah kölelerin Osmanlı sarayında istihdam edilmesi Fâtih Sultan Mehmed’in iktidarının başlarına rastlar. Önceleri -yine hadım edilmiş- Ak Ağaların idare ettiği Bâbüsaâde (Mutluluk Kapısı) birimi tüm Harem’i yönetiyorken, 1574’te Habeşistanlı Mehmed Ağa, Dârüssaâde’nin (Mutluluk Yeri) ayrı bir birim hâline getirilmesini sağlayıp ağalığını üstlendi. 1586-87’de de Evkâf-ı Haremeyn nezareti (kutsal topraklardaki vakıflarının yönetimi) görevini Ak Hadımların elinden aldı. Böylelikle 150 yıllık nüfuzlarını da onlardan çalıyordu. 1623-1922 arasında sarayın yönetimi siyah ağaların elinde kaldı. Mutluluk Yeri’nde toplam 21 Ak Ağaya karşılık, 77 Kara Ağa görev yaptı.
Tüm sultan ve vezir vakıflarını yönetmeleri ve padişahla her an görüşebilme imtiyazının getirdiği hediye akışı, servetlerine servet kattı. 17-18. yüzyıllarda iktidarları öyle bir seviyeye erişmişti ki, vezir tayin ve azillerinde ağızlarına bakılır, sultanın gazabına uğrayan kabahatli vezirler Kara Ağaların ocağına düşer olmuştu.
Bu devasa güç, Ak Hadımlar başta olmak üzere Veziriazam İpşir Mustafa Paşa (öl. 1655) gibilerin tepkisini çekti. 17. yüzyılda Dârüssaâde ağasının emrinde çalışan Eski-Saray Baltacıları ocağından Derviş Abdullah öylesine hınçlanmıştı ki, Risâle-yi Teberdariye adında bir kitapçık yazıp kara hadımların Nuh Peygamber’den 1742’ye kadar süren “kötülükleri”ni anlattı. Ona göre kara hadımların erkeklik güdüleri gizliden gizliye sürüyor, birçok cariye gönüllerini beyazlar erkeklere değil, onlara kaptırıyordu. Eserin yazıldığı dönemin Dârüssaâde ağası Hacı Beşir Ağa (öl. 1746), Sultan 1. Mahmud üzerinde büyük bir nüfuza sahipti ve bu güç hâliyle kıskanılıyordu.
Kara Ağaların büyük iktidarları 1839’da Tanzimat’ın ilanıyla zayıfladı; yetkilerinin çoğu artık ellerinden alınmıştı. 1908’de 2. Meşrutiyet’in ilanıyla 2. ve 3. derece memur hâline düşürüldüler. İlber Ortaylı bir yazısında, 1950’lerde sarayı gezdiğini ve burada hâlâ siyah memurların çalıştığını aktarır.