U Jelsi je 1. lipnja 1868. godine utemeljena Hrvatska Narodna čitaonica. Njezin utemeljitelj i prvi predsjednik bio je Niko Duboković, a među počasnim članovima bili su biskup Josip Juraj Strossmayer i Mihovil Pavlinović. Kao prva hrvatska čitaonica na jadranskim otocima, imala je zadatak širenja prosvjete, kulture i nacionalnog osvješćivanja pod geslom Prosvjetom do slobode. Pri utemeljenju je imala 56 članova, a njegovala je kulturno-prosvjetiteljski i politički rad, potičući osnivanje preporodnih čitaonica u drugim mjestima otoka Hvara, ali i na susjednim otocima.

U rujnu 2018. godine obilježena je 150. obljetnica osnivanja Narodne čitaonice u Jelsi. Simbolika mjesta proslave je u tome što je nakon njezinog prvog sjedišta na Pjaci, zgrada Općinskog doma bila dom jelšanske knjižnice i čitaonice više od sto godina, od 1896. godine. Izgradnju nove zgrade tih su godina potaknuli upravo članovi Narodne čitaonice, koji su Općini ponudili beskamatni zajam, s uvjetom da se prizemne prostorije na pedeset godina unajme Čitaonici. Nova zgrada na rivi postala je sjedište političkog i kulturnog zbivanja u Jelsi i simbol njezine individualnosti.

Nasljednica Narodne čitaonice – Općinska knjižnica Jelsa osnovana je 23. travnja 1939. godine, dok je 14. travnja 1998. godine donijeta Odluka o osnivanju Općinske knjižnice i čitaonice Jelsa. Jelšanska je čitaonica i knjižnica tijekom svoje duge povijesti uvijek pridonosila kulturnom, prosvjetiteljskom i svekolikom napretku mjesta.

Nažalost, 10. studenog 2003. veliki je požar progutao čitav njezin fundus, između deset i jedanaest tisuća knjiga, nakon čega su uslijedile dobrotvorne akcije Darujmo knjigu za Jelsu u organizaciji Knjižnica Grada Zagreba i Gradske knjižnice Marka Marulića iz Splita i Knjiga za Jelsu koju je pokrenula Slobodna Dalmacija. Ove su akcije uvelike pridonijele uspješnom oporavku Općinske knjižnice i čitaonice Jelsa, koja se posebno nakon preseljenja u nove prostore u zgradi Doma kulture na Trgu Tome Gamulina 2014. godine, vratila ulozi kulturnog i informativnog centra, dostupnog žiteljima otoka Hvara, ali i brojnim posjetiteljima. Knjižnica je smještena u centru Jelse, opremljena suvremenom tehnologijom i prikladna za održavanje raznih kulturnih događanja i edukativnih sadržaja.