낙하물방지망(1단) 해체 가능여부

낙하물 방지망 해체에 관한 사항은 여러가지 의견이 있는거 같습니다..
판단하기 곤란하여 질의 드립니다...
저희 현장은 골조공사가 마무리되어 창호, 유리까지 설치가 되었습니다..
하지만 상부에 철구조물이 있어서 상부에 추락방지망이 설치되어 있습니다..
그런데 공사팀에서 공정진행을 위해 1단 낙하물방지망을 해체하자고 합니다..
상부에서 낙하물이 발생할수 있는 공정은 철구조물뿐이며, 그아래에는 추락방지망이 있으니 상관없지 않느냐는 의견입니다..
산업안전보건법상 상관이 없는 것인지여??
될듯 말듯하여 질의 드립니다...
참고로 저희현장은 추락방지 및 낙하물 방지 공용 망을 사용하고 있습니다...