Básicamente, ese operador es el bitwise not, y saltándonos los detalles técnicos, simplemente decir que lo podemos utilizar para comprobar si un valor numérico es diferente de -1, así que he aquí algunos ejemplos que son equivalentes:
let a = "hola"; if (a.indexOf("h") !== -1) { // true } // Esto sería equivalente if (~a.indexOf("h")) { // true }