As bordas ornamentais são projetadas para funcionar com qualquer tamanho de página, em teoria, mas, como você descobriu, teoria e realidade nem sempre coincidem... As peças dos cantos têm um tamanho fixo (definido a partir da borderwidth/espessura da borda) e, em seguida, aloca o espaço restante da melhor forma possível, de acordo com as regras a que foi submetido.
Para o Han4, por exemplo, as laterais são feitas de um elemento voltado para cima e um elemento voltado para baixo (dependendo de como você considera a 'face' das pequenas unidades repetidas!) e as regras dizem para colocar a mudança de direção exatamente no meio da página dupla (spread) e, em seguida, aumentar/diminuir o número de elementos acima e abaixo da linha da forma que fizer mais sentido, sendo permitidos também o esticamento e o encolhimento deles. Mas não é permitido deixar nenhum espaço em branco, nem encolher as peças dos cantos. Imagino que você tenha algumas páginas que estão ficando tão curtas (e a espessura da borda é tão grande?) que realmente só há espaço para meio elemento de borda e ele está tentando colocar um voltado para cima e um voltado para baixo ali.
