no tendrás configurado el explorer en pantalla completa?
pulsa F11 para comprobarlo

para tener varias ventanas en la barra de tareas, vete a propiedades y desmarca la casilla que pone Agrupar los botones siilares en la barra de tareas,

un saludo.