Negativa a recoger notificación por tercero en lugar de trabajo del destinatario cuando no está. 161.3

Hola, tengo la siguiente duda respecto a lo mencionado en el título del tema.

Si en el momento de realizar una notificación en su lugar de trabajo (no ocasional) éste no se encuentra, el art. 161.3 dice que "la entrega se efectuará a persona que manifieste conocer a aquél o, si existiere dependencia encargada de recibir documentos u objetos, a quien estuviere a cargo de ella, con las mismas advertencias del párrafo anterior" (las del párrafo anterior son las de su responsabilidad de entregarla)

Pero no dice que ocurre si se niegan a hacerse cargo del traslado de la notificación.

Mi pregunta es ¿qué tipo de diligencia hay que hacer? ¿tiene alguna consecuencia para el que se niega? ¿se le tiene que hacer alguna advertencia especial?

Gracias.