Как вы знаете из курса механики, физический смысл имеет не сама потенциальная энергия, а ее изменение: именно оно связано с совершенной системой работой соотношением 
Поэтому физический смысл имеет не потенциал точки, а разность потенциалов между двумя точками: именно она связана с работой поля при перемещении заряда из одной точки в другую.
Разность потенциалов между точками 1 и 2 равна отношению работы поля при перемещении заряда из точки 1 в точку 2 к величине этого заряда: 
Разность потенциалов называют также напряжением и обозначают 
Статьи энциклопедии