He pasado un buen tiempo buscando solucion a este problema con WSUS y por fin la encontre en el link https://gal.vin/2017/04/29/wsus-config-tweaks/ que resumo abajo.
Este procedimiento lo he realizado para solucionar los problemas de conexión en WSUS 2012 R2, probablemente aplica tambien para 2016.
- Abrir Internet Information Services (IIS) Manager
- Clic sobre Application Pools
- Clic sobre WsusPool
- En la columna derecha Actions has clic en Advanced Settings
- Desplazate hacia abajo al final y cambia el valor de Private Memory Limit (KB) a 0
- Cambia el valor de «Service Unavailable» Response a TcpLevel
- Cambia el valor de Limit Interval (minutes) a 15
- Por ultimo cambia el valor de Queue Length a 2500
- Reinicia el servidor