Para empezar, hace siglos que no trabajo con xampp, así que no sé si estaré en lo cierto en lo que te diré de cada directorio.
Pero antes, mi consejo es que no borres nada. No creo que la instalación de XAMPP ocupe mucho, y siempre es mejor borrar otras cosas antes que "partes" de programas, porque al final te va a dejar de funcionar algo y no te vas a acordar (o no lo vas a relacionar) con aquello que borraste y te volverás loco. Sobre todo porque puede que haya directorios que no se utilicen pero que estén en los ficheros de configuración, y si los borras, es posible que se queje con errores de que esos directorios no existen.
anonymous: Es usado como carpeta para el usuario anónimo de FTP. Si no usas FTP o no quieres tener usuario anónimo, supongo que la podrías borrar.
cgi-bin: Es donde se guardan scripts en python que XAMPP suele utilizar para diversas cosas, así que si te lo cargas, es probable que algo te deje de funcionar.
contrib: Si no me equivoco contiene herramientas extras de terceros, si no las utilizas, lo podrías borrar
install: Este no lo borres ni de broma. Contiene scripts utilizados para instalar extensiones y para actualizar XAMPP
licenses: Lo podrías borrar, pero estarías violando la licencia de uso de XAMPP. Poco ético, sobre todo si luego subes este código a un servidor.
locale: Aquí supongo que hay cosas relacionadas con el idioma, por lo que si lo borras, puede que no te funcione, o que no puedas poner mensajes en otro idioma que el configurado por defecto, o que se te cambie el idioma de español a inglés.
MercuryMail, sendmail, mailtodisk y mailoutput: Son los directorios que utiliza XAMPP para las herramientas de envío de mails. Supongo que si no las utilizas, los podrías borrar.
rollbackBackupDirectory: Este ni idea de para qué se usa, por lo que aplica la regla nº1, no lo borres.
src: Contiene código fuente de XAMPP, no sé si se utilizará para el funcionamiento, pero por si acaso no lo borraría
tmp: Directorio para guardar ficheros temporales. Seguramente puedas borrar su contenido, pero no borres la carpeta, o te dará errores.
tomcat: El servidor de servlets Java. Si no usas java puede que lo puedas borrar, pero lo dicho, es posible que salte algún error de configuración o que algo no funcione.
webalizer: Es un servidor de logs. Lo mismo que con tomcat, puede que lo puedas borrar, pero que te dé errores de configuración o algo.
webdav: Este sí lo puedes borrar sin problemas si no usas webdav
