return false в обработчике события блокирует выполнение стандартного обработчика по умолчанию. В данном случае обрабатывается событие submit и потому return false запрещает отправку формы на сервер.
Подробности:
https://learn.javascript.ru/default-browser-action
form onsubmit="return removeDummy(); ">
input type="submit" value="Remove DUMMY"/>
/form>
function removeDummy() {
var elem = document.getElementById('dummy');
elem.parentNode.removeChild(elem);
return false;
}