Впервые упоминается в конце 14 в. В конце 15 - начале 16 вв. присоединён к Московскому государству. Официальная дата основания - 1536, когда на месте древнего городища на мысу, при впадении ручья Коневец в Западную Двину, была сооружена новая крепость (сохранились остатки вала и рва).
Расположен на р. Западная Двина, которая по мнению ряда авторов в верхнем течении некогда называлась Велья - "большая"; гипотеза подтверждается существованием селений Велищи, Привелье, Завелье, лежащих на этой реке.
С 1580 под властью Польши, получил Магдебургское право. С 1655 в составе Русского государства, в 1678 вновь отошёл к Польше. С 1722 окончательно в составе России.
С 1776 уездный город сначала Псковской, затем Витебской губернии.
До 19 в. Велиж имел торговые связи с Ригой по Западной Двине. Основными занятиями жителей были строительство барж и лесосплав.
Во время Великой Отечественной войны 1941-45 был оккупирован немецко-фашистскими войсками в июле 1941, освобождён в сентябре 1943, Велиж был сильно разрушен.
Велиж - важный центр заготовки древесины. Леспромхоз, лесхоз, мебельная фабрика.
Льнообрабатывающий завод, филиал Московского завода электромеханизмов, молочный завод, хлебокомбинат.
В Велижском районе выращивают зерновые культуры, лён, картофель. Разводят крупный рогатый скот, свиней.
Месторождения известняка, торфа, стекольных песков, гравия.