1- Tarihî Kayılı Köyü Camii
Kaykılı Köyünde bulunan Tarihî Kayılı Köyü Camii, Osmanlı tarzı büyük kubbesi ve tek şerefeli minaresi ile köy meydanında yer almaktadır. Taş işçiliği ile yapılan bu caminin ön kısmında kemerli bir revak kısmı bulunmaktadır. Yozgat ili Şefaatli ilçesi Kaykılı Köyü’nde bulunan Tarihî Kayılı Köyü Camii’si köy halkını ve köye gelen ziyaretçilerini ağırlamaya devam etmektedir.
2- Tarihî Keçi Kalesi
Yozgat ili Şefaatli ilçesi Kaykılı Köyü yakınında yer alan Tarihî Keçi Kalesi’ne dair şöyle bir efsane anlatılmaktadır;
Türklerin çevre köylerde yaşadığı bir dönemde bu kalede gayri müslimler yani kâfirler yaşamaktadır.
Türkler, kaleyi almak için çeşitli planlar yaparlar. Fakat kalenin bulunduğu mevkiiye ulaşılması oldukça güç olduğundan ve kalenin farklı yeraltı tünelleri ile giriş çıkışları bulunduğundan bir türlü kaleyi feth edemezler. Günümüzde Kayaaltı olarak bilinen mevkiiden kaleye giden bir tünel girişinin bulunduğu hala bilinmektedir.
Bu zorlu süreçlerin ardından Türkler bir defasında bin kadar keçinin boynuzuna mum takarak geceleyin bu mumları yakıp keçileri kaleye doğru sürerler. Gayri müslim askerler bu durum karşısında şaşkına dönerler. Türkler bir taraftan keçileri sürerken, diğer taraftan kendileri de kaleye doğru ilerlerler. Çok yüksek olan bu kalede sıkışan kâfirler, gece olduğu için neler olduğunu anlayamazlar ve çok korkarlar. Bunun üzerine Türkler saldıraya geçip kaleyi fethederler.
Bu kalenin fethedilmesinde keçiler kullanıldığı için kaleye “Keçi Kalesi” adı verilir.
3- Mülâzım Höyüğü
Yozgat İli, Şefaatli İlçesi, Kaykılı Köyü yakınlarında bulunan Mülâzım Höyüğü 1. Derece Arkeolojik Sit Alanı olarak tescil edilmiştir.
Kaygılı Köyü’nün 3,5-4 kilometre güneydoğusunda yer alan höyük, 220×200 metre ölçülerinde yatay düzlemde 60 metre yüksekliktedir. Höyüğün kuzey kısmından başlayıp batı ve güney batı kısmından devam eden bir dere yer almaktadır. Höyük üzerinde yapılan incelemede farklı dönemlere ait seramik örneklerine rastlanılmıştır.
Höyük oldukça iyi durumda olup üzerinde kapanmaya yüz tutmuş az miktarda can ve mal güvenliği açısından tehlike arz etmeyen kaçak kazı çukurları yer almaktadır. Höyüğün etrafında aktif olarak kullanılan tarım arazileri yer almaktadır.
4- Izgınlı Nekropol Alanı
Yozgat İli, Şefaatli İlçesi, Kaykılı Köyü yakınlarında bulunan Izgınlı Nekropol Alanı 1. Derece Arkeolojik Sit Alanı olarak tescil edilmiştir.
Mülâzım Höyüğünün yaklaşık 350 metre güneydoğusundadır. Üzerinde geçmiş dönemlerde yapılmış can ve mal güvenliği açısından tehlike arz etmeyen irili ufaklı kaçak kazı çukurları yer almaktadır. Kaçak kazı çukurları çevresinde ve hafriyat toprağında yapılan incelemede farklı dönemlere ait seramik parçaları ile insan kemiklerine tesadüf edilmiştir.
Bu alanın Mülâzım Höyüğü ile bağlantılı bir yerleşim alanı olabileceği düşünülmektedir.
5- Beştepe Tümülüsleri
Yozgat İli, Şefaatli İlçesi, Kaykılı Köyü yakınlarında bulunan Beştepe Tümülüsleri 1. Derece Arkeolojik Sit Alanı olarak tescil edilmiştir.
Beştepe Tümülüsleri Kaykılı Köyü’nün 2 kilometre kuzeybatısında yer almaktadır.
Tümülüs, bir mezar içeren ve üzeri toprakla örtülerek oluşturulmuş bir yükselti olarak tanımlanır. Antik dönemde önemli bir yerleşim merkezi olan bu alanda 5 tane birbirinden ayrı tümülüs bulunmaktadır.
Üzerinde geçmiş dönemlerde yapılmış tehlike arz etmeyen irili ufaklı kaçak kazı çukurları yer almaktadır. Kaçak kazı çukurları çevresinde yapılan incelemede farklı dönemlere ait seramik parçaları ile gözyaşı şişelerine rastlanılmıştır.