Köyün tarihi eskilere dayanmakla birlikte Oğuzların, Bozok kolunun, Alkırevli boyunun, Elbeyli Türkmen Aşiretine mensupturlar ve 12. asırda halep üzerinden bu günkü topraklara gelip yerleşmişlerdir.Ayrıca aynı aşirete bağlı 42 köy vardır.Akrabalık bağları oldukça güçlüdür. Türkiye'nin değişik yerlerinde ve Suriye'de bu aşirete bağlı yerleşim yerleri vardır.Kilis Elbeyli İlçesi ile akrabadırlar. Köy adınında Elbeyli aşiretinden ve Avşar boyundan olan Karalı obasından aldığı rivayet edilmektedir.
Sivas merkezine 46 km uzaklıktadır.İç Anadolu Bölgesi'ndedir.Arazi olarak çok geniştir.Komşu köyler: Durdulu,Haydarlı,Bedirli, Akkuzulu, Sarıkaya, Direkli, Yaramış Köyü'ne kadar geniş arazisi vardır.Bu arazinin büyük bölümü Kızılırmak'ın yatağında bulunduğundan sulamaya elverişli olup,özellikle patates ve şeker pancarı yetiştirilmektedir, buda köy ekonomisinin iyileşmesinde büyük katkı sağlamaktadır. Devlet tarafından orman köy olarak ilan edilmiş olup, özellikle Yaramış köyü sınırında bulunan ve köy halkı tarafından Haramı olarak adlandırılan meşelik gerçekten övgüye değer bir mesire yeridir.Burada bulunan buz gibi pelit tadında insana zindelik veren övgüye değer sularından da bahsetmeden geçmemek lazımdır.Muhtarlığın çalısmasıyla fidan dikme işlemleri yapılacaktır. Son zamanlarda köye yatırım artmıştır.Çevre köylerden de yeşillik bakımından zengindir.Sivas selvisi bu köyde çok miktarda yetiştirilmektedir.