正確に訳すと「これ以上少なくケア（心配）することはできない（ぐらい心配していない）」ですから、どうでもいい、全く気にしない、という意味になります。
肯定表現の “I could care less.” も同じ意味で使われ、 “I could care less.（but I wouldn't）” という仮定表現なので、「これ以上少なく気にかけることができる（でもしない）」で、やはり「どうでもいい」となります。
英語では、こういった逆説的な表現がよく使われます。 Never better. （これ以上いいことはない＝最高！）、 Never worse.／Can't be worse. （これ以上悪いことはない・あり得ない＝最悪！）といった具合。
最初はちょっと戸惑いますが、慣れてしまうとすっごくアメリカンになった気分で、ネバ〜ベタ〜よ！（^^）