Лейбористы против "Брексита", мнения тори разделились