Niewielka, nadmorska osada położona jest na samym południu wyspy.
Nazwa miasteczka powiązana jest z grecką mitologią. Carycus był synem Chirona, najsłynniejszego i najmądrzejszego centaura czyli pół konia pół człowieka oraz nimfy Chariclo.
Wiadomo, region zamieszkały był od okresu neolitu, czyli nawet kilka tysięcy lat p.n.e. Natomiast miasto założone zostało w okresie geometrycznym.
Pierwsza wzmianka o Karystos pojawia się w Iliadzie Homera w spisie statków wysłanych na wojnę trojańską. Port w Karystos jest wymieniony jako bezpieczne miejsce do którego powrócili wracający z bitwy.
W 490 r. p.n.e., podczas wojen grecko-perskich, wojska perskie jako pierwszy cel obrało Karystos. Tak długo oblegały miasto i z mocno przeważającą armią, aż zmusiły mieszkańców do kapitulacji.
Kilka lat później, po bitwie pod Salaminą w 480 r. p.n.e., flota ateńska zmusiła Karistos do płacenia okupu.
W kolejnych latach Ateny usilnie naciskały na przyłączenie Karistos do Związku Morskiego. Miasto długo odmawiało przystąpienia, gdyż uczestnictwo związane było z dużymi opłatami. Ateny, aby wymusić uległość, napadły na miasto i doszczętnie je splądrowały. Karistos, zdając sobie sprawę, że nie jest w stanie dłużej opierać się silnym Atenom, opowiedziały się po stronie Związku Morskiego.
W 196 r. p.n.e., miasto dostało się pod panowanie rzymskie.
Okupanci mocno eksplorowali tereny. Znaleźli unikatowy marmur o zielonym zabarwieniu. Wywozili często gotowe elementy. Do dziś cenioną atrakcją są kolumny w całości wydobyte z kamieniołomów, a znajdujące się zaledwie 5 km od miasta.
Pozyskiwano tu również azbest. Dziś minerał uznany jest jako rakotwórczy, jednak w starożytności ceniony był za wytrzymałość na wysoką temperaturę oraz odporność na wodę i zmienną temperaturę.
Miasto rozkwitło w średniowieczu. W XIII w., podczas panowania weneckiego, życie regionu koncentrowało się wokół zamku, po którym została do dziś baszta nadmorska oraz Castello Rosso.
Współczesne Karystos nie jest położone w tym samym miejscu. Wzięło od niego jedynie nazwę.
Położony jest nad brzegiem morza. Nazwa zamku pochodzi z języka arabskiego i oznacza „nadmorską fortecę”.