De naam viltkokeranemoon heeft dit dier te danken aan "dat" gedeelte van de anemoon dat niet te zien is: namelijk zijn "viltkoker". Deze viltkoker is een door de anemoon zelf gemaakte koker van slik en zand waarin hij zich kan terugtrekken in geval van gevaar. Meestal zit de koker zelf voor het grootste gedeelte in het zand begraven en kan wel 40 cm. lang worden, terwijl de tentakelkrans vaak niet groter wordt dan hooguit 6 cm. Wat er van de anemoon zelf is te zien, als hij zich niet in de koker heeft terug getrokken, zijn de twee kransen van tentakels: de buitenste lange sierlijke en de klein korte in het midden van de anemoon. De lange buitenste tentakels liggen vaak totaal uitgespreid naar buiten toe terwijl de korte binnenste, rond de mondopening schuin naar boven wijzen.

De Viltkokeranemoon is dan ook hoofdzakelijk aan zijn vorm te determineren. De kleurpatronen, van de tentakels en de mondopening, zijn daarbij niet van belang omdat die per exemplaar te veel variëren.