Pues asi como me lo cuentas, yo te recomendaria que cortaras la partes donde han estado los gusanos, porque pueden defecar en los cogollos y crear hongos, o bien donde comen. Pero puede ser relativo, para asegurarte, ponte unos guantes de latex y examina el interior del cogollo, abrelo con cuidado pero sin miedo, y si hay algo extraño lo vas a ver. Pero si quieres puedes cortarlos ya sin problemas, aunque no esten del todo maduros, te puedes ahorrar el disgusto de detectar tarde una enfermedad. Yo este año he tenido que cosechar una planta entera cuando aun le faltaba unas 4 semanas, por culpa de la brotytis y por haberla detectado tarde.
Saludos y suerte!