En söndagseftermiddag för 100 år sedan, 28 maj 1905, bildades Varbergs Gymnastik och Idrottsförening på Pehrsonska Trädgården, en restaurang som låg där Gallerian ligger idag.
På försommaren var man igång med både fotboll och allmän idrott på Lindnerska lyckan, som låg strax väster om Gamlebyskolan. I augusti var man med och bildade Hallands Idrottsförbund och några veckor senare deltog man i de första halländska mästerskapstävlingarna i allmän idrott. Efter sommaren när det så blev för kallt för utomhusaktiviteter ordnade man gymnastikövningar i realskolans gymnastiksal.
Redan första året föreslog GIF att man skulle få anlägga en idrottsplats på Påskberget. Det gick ej utan istället anlades den i Vallgraven och togs i bruk sommaren 1906.
Föreningen såg under de första 15 åren ut att vara helt mansdominerad. Ett förhållande som definitivt ändrades 1920, då det beslöts att föreningen skall omfatta alla samhällsklasser och alla åldrar. Man valde också en styrelse med tre kvinnor och fem män. Könsvallen bröts och GIF blev därmed den breda förening som varbergsborna genom åren vant sig vid.
En idrottsplats på Påskberget blev verklighet 1925, då Påskbergsvallen invigdes av konung Gustav V.
Genom åren har GIF också haft sektioner för simning, bandy, handboll och bowling. Dessa har senare gått upp i motsvarande specialföreningar inom varbergsorten.
Idag är Varbergs GIFs verksamhet ungefärligen densamma som vid starten och den är uppdelad i föreningar för fotboll, friidrott och gymnastik.
Under hösten 2017 flyttade friidrotten och gymnastiken in i sina specialhallar Tresteget i Trönninge.
