Deres funktionsprincip er meget enklere, end hvad mange forestiller sig, og geotermiske varmepumper fungerer grundlæggende på samme måde som airconditionanlæg og køleskabe, dvs. ved brug af overførsel af varme. For at udtrykke det så simpelt som muligt, geotermiske varmepumper kan lede varme fra et koldt rum til et varmt rum, imod den naturlige bevægelsesretning, eller de kan forstærke den naturlige bevægelse af varme fra et varmt område til et koldt rum, alt afhængig af hvorvidt de anvendes til opvarmning (om vinteren) eller til afkøling (om sommeren).
Forskellen mellem geotermiske varmepumper og luftvarmepumper (kompressorbaserede, fx) bør også nævnes her. Mens luftvarmepumper overfører varmen til eller fra den udendørs luft, udveksler en geotermisk varmepumpe varme med jorden, hvilket gør denne proces meget mere effektiv, eftersom temperaturen i jorden er meget mere konstant end lufttemperaturen, som svinger betydeligt hele året.
Geotermiske varmepumper kan enten være udformet som åbne eller lukkede anlæg. Åbne anlæg anvender brøndvand som varmekilde eller varmedræn, og leder efter brug dette brønd vand til et drænområde eller til en anden brønd. Åbne anlæg anvender en løsning baseret på vand og frostvæske, som cirkuleres i en rørsløjfe i jorden for at udvinde varmen fra jorden. Rørsløjfer kan installeres i en vertikal brønd eller horisontalt under jorden. Den horisontale sløjfe er som regel den billigste, og vertikale sløjfer anvendes i dag kun der, hvor grundarealet er for begrænset, eller hvor sten i overfladen besværliggør boring på grund af de høje omkostninger, dette medfører.