De la forma que deberias de eliminar las Layers es la siguiente:
- Ir al menu File>Drawing Utilities>Purge (Elimina elementos que no se estan ocupando actualmente en el dibujo)
Seleccionar el item que se decea Purgar o dar clic en el botón Purge all
NOTA: Si alguna capa o cualquier otro elemento que se este ocupando en el dibujo, no podra ser purgado. Incluyendo las capas usadas por los elementos dentro de un bloque.
Si en este caso no te elimina una Layer de un bloque inserto en el dibujo deverias de redefinir el bloque y dejarlo en la layer 0 Por ejemplo.