V rcoe 1941 přijel do Terezína v rámci prvního transportu, tzv. aufbaukommanda, jehož členové měli za úkol připravit ghetto na příjezd tisíců Židů z celého protektorátu. V roce 1943 byl deportován do Osvětimi. Život mu zachránila selekce v červnu 1944, jejímž cílem bylo odeslat práceschopné vězně do německých továren. V pracovním lágru Schwarzheide u Drážďan slyšeli vězni dunění děl přibližující se fronty. Z lágru nakonec vyrazili na pochod smrti a Pavel Oliva se nakonec pěšky a vlakem dostal v květnu zpět do Terezína, kde se dočkal osvobození. Epidemie tyfu zde mezitím zabila více než 1500 vězňů.