beh innanzitutto credo che il grosso si possa togliere con la lama del taglierino e con molta molta delicatezza.
In alternativa, esiste un prodotto che si chiama VIASIL della saratoga (ho chiesto a paparino ferramenta

), costa 6-7 euro, mi ha detto che è come se "lo rammollisse", lo metti sul silicone e dopo lo togli col taglierino appunto. Magari con questo prodotto hai meno rischi di danneggiare il filtro.