如图所示，T、Tn、T0分别为热电偶所处的测量端温度、参比端温度、环境温度(室温)，这时图中回路的总电势为EABBA(T，Tn，T0)=EAB(T，Tn)+EAB(Tn，T0)
当参比端Tn示用另外替代的导线来代替A、B，如果A′与A、B′与B的热电性质相同，即EABBA(T，Tn，T0)=EAB(T，Tn)+EA′B′(Tn，T0)
如果用能满足EAB(Tn，T0)=EA′B′(Tn，T0)的连接导线，就可以起到补偿热电势的作用。这时回路的总热电势为EABB′A′(T，Tn，T0)=EAB(T，Tn)+EA′B′(Tn，T0)
此时，所测得的热电偶的总热电势只受测量端温度T和环境温度T0的影响，而与参比端的温度变化Tn无关。在实际应用中补偿导线用的就是这一原理。但准确地说，是通过补偿导线延长了热电偶的参比端至温度较恒定的环境，以消除参比端温度变化的影响。
