o fato de usar algum swap ou de estar usando quase toda a memória não é indício de problema. não importa quanta memória RAM você tenha, o núcleo vai usando essa memória como cache até que não haja mais memória livre. quanto mais chega perto de esgotar, mais ele caça coisas que possa descartar, por exemplo porque já estão em disco. no caso de uma porção de memória que não é usada faz tempo mas que não é parte de um arquvo que poderia ser escrito em disco, faz mais sentido jogar pra swap pra liberar essa memória pra usos mais eficientes que ficar segurando os dados sem uso e com baixa probabilidade de uso.