Názov Ipolyvarbó sa spomína prvýkrát v roku 1781, o čom svedčí aj pečať vtedajšieho richtára. Súčasný názov Vrbovka, sa používa od roku 1920. V obci sa nachádza Základná škola s materskou školou Kálmána Mikszátha s vyučovacím a výchovným jazykom maďarským.Neskorobarokový rímskokatolícky kostol z roku 1789, postavený Ferenczom Szentiványim, rímskokatolícka fara, renovovaná v roku 1718. V strede obce je umiestnený pomník padlých hrdinov v I. a II. svetovej vojne.