Karolina urodziła się w podtarnowskiej wsi Wał-Ruda 2 sierpnia 1898 r. jako czwarte z jedenaściorga dzieci Jana Kózki i Marii z domu Borzęckiej. Pięć dni później otrzymała chrzest w kościele parafialnym w Radłowie. Jej rodzice posiadali niewielkie gospodarstwo. Pracowała z nimi na roli. Wzrastała w atmosferze żywej i autentycznej wiary, która wyrażała się we wspólnej rodzinnej modlitwie wieczorem i przy posiłkach, w codziennym śpiewaniu Godzinek, częstym przystępowaniu do sakramentów i uczestniczeniu we Mszy także w dzień powszedni. Ich uboga chata była nazywana „kościółkiem”. Krewni i sąsiedzi gromadzili się tam często na wspólne czytanie Pisma świętego, żywotów świętych i religijnych czasopism. W Wielkim Poście śpiewano tam Gorzkie Żale, a w okresie Bożego Narodzenia – kolędy. Karolina od najmłodszych lat ukochała modlitwę i starała się wzrastać w miłości Bożej. Nie rozstawała się z otrzymanym od matki różańcem – modliła się nie tylko w ciągu dnia, ale i w nocy. We wszystkim była posłuszna rodzicom, z miłością i troską opiekowała się licznym młodszym rodzeństwem. W 1906 roku rozpoczęła naukę w ludowej szkole podstawowej, którą ukończyła w 1912 roku. Potem uczęszczała jeszcze na tzw. naukę dopełniającą trzy razy w tygodniu. Uczyła się chętnie i bardzo dobrze, z religii otrzymywała zawsze wzorowe oceny, była pracowita i obowiązkowa. Do Pierwszej Komunii św. przystąpiła w roku 1907 w Radłowie, a bierzmowana została w 1914 r. przez biskupa tarnowskiego Leona Wałęgę w nowo wybudowanym kościele parafialnym w Zabawie.
Duży wpływ na duchowy rozwój Karoliny miał jej wuj, Franciszek Borzęcki, bardzo religijny i zaangażowany w działalność apostolską i społeczną. Siostrzenica pomagała mu w prowadzeniu świetlicy i biblioteki, do której przychodziły często osoby dorosłe i młodzież. Prowadzono tam kształcące rozmowy, śpiewano pieśni religijne i patriotyczne, deklamowano utwory wieszczów. Karolina była urodzoną katechetką. Nie poprzestawała na tym, że poznała jakąś prawdę wiary lub usłyszała ważne słowo; zawsze spieszyła, by przekazać je innym. Katechizowała swoje rodzeństwo i okoliczne dzieci, śpiewała z nimi pieśni religijne, odmawiała różaniec i zachęcała do życia według Bożych przykazań. Wrażliwa na potrzeby bliźnich, chętnie zajmowała się chorymi i starszymi. Odwiedzała ich, oddając im różne posługi i czytając pisma religijne. Przygotowywała w razie potrzeby na przyjęcie Wiatyku. W swojej parafii była członkiem Towarzystwa Wstrzemięźliwości oraz Apostolstwa Modlitwy i Arcybractwa Wiecznej Adoracji Najświętszego Sakramentu.

Zginęła w 17. roku życia 18 listopada 1914 roku, na początku I wojny światowej. Carski żołnierz uprowadził ją przemocą i bestialsko zamordował, gdy broniła się pragnąc zachować dziewictwo. Po kilkunastu dniach, 4 grudnia 1914 r., w pobliskim lesie znaleziono jej zmasakrowane ciało. Tragedia jej śmierci nie miała świadków. Pogrzeb sprawowany w niedzielę 6 grudnia 1914 r. zgromadził ponad 3 tysiące żałobników i był wielką manifestacją patriotyczno-religijną okolicznej ludności, która przekonana była, że uczestniczy w pogrzebie męczennicy. Tak rozpoczął się kult Karoliny. Pochowano ją początkowo na cmentarzu grzebalnym, ale w 1917 roku bp Wałęga przeniósł jej ciało do grobowca przy parafialnym kościele we wsi Zabawa.
W trakcie procesu beatyfikacyjnego 6 października 1981 r. przeprowadzono ekshumację i pierwsze rozpoznanie doczesnych szczątków Karoliny; złożono je w sarkofagu w kruchcie kościoła w Zabawie. Rekognicję kanoniczną i przełożenie doczesnych szczątków Karoliny do nowej trumny przeprowadzono w marcu 1987 r., po ogłoszeniu dekretu o męczeństwie służebnicy Bożej.

10 czerwca 1987 r. w Tarnowie św. Jan Paweł II beatyfikował Karolinę. W czasie Mszy beatyfikacyjnej powiedział: „Święci są po to, ażeby świadczyć o wielkiej godności człowieka. Świadczyć o Chrystusie ukrzyżowanym i zmartwychwstałym dla nas i dla naszego zbawienia – to znaczy równocześnie świadczyć o tej godności, jaką człowiek ma wobec Boga. Świadczyć o tym powołaniu, jakie człowiek ma w Chrystusie”. Uroczystym rozpoczęciem kultu bł. Karoliny była translokacja relikwii – przeniesienie trumny z przedsionka kościoła i złożenie jej w sarkofagu pod mensą głównego ołtarza jej parafialnego kościoła. Kilka lat temu przy Diecezjalnym Sanktuarium bł. Karoliny w Zabawie poświęcono kaplicę Męczenników i Ofiar Przemocy, a obecnie trwa budowa Pomnika Ofiar Wypadków Komunikacyjnych, który jest pierwszym etapem powstania Centrum Leczenia Traumy Powypadkowej.