Essencialmente, qual a diferença entre vanilla os e nix os?

Cara, são sistemas completamente diferentes

O NixOS usa um sistema muito único de configurações declarativas. Ou seja, tem um arquivo de configuração que você declara como você quer que seu sistema seja, daí ele simplesmente vai baixar e configurar tudo do jeito que você declarou. Isso é muito útil para facilmente reproduzir sistemas completos.

O Vanilla OS é mais parecido com um sistema comum. Ele tem um gerenciador de arquivos, o apx, que você pode usar para instalar aplicativos, seja eles em containers de outros sistemas ou container próprio.

Acho que é mais fácil falar o que tem em comum entre eles. Ambos os sistemas são de base imutável, ou seja, o core do sistema é inacessível (em condições normais) para edições manuais. Fora isso, são dois sistemas muito diferentes. Inclusive o NixOS ganha uma medalha nesse quesito porque ele é especialmente muito diferente de todas as outras distros.