Daha sonra, Bauhaus'un dokuma atölyesini yönetecek olan sanatçı Anni Fleischmann ile evlendi. Okul, 1933'te Nazizm nedeniyle kapanınca Berlin'e taşındılar. Bauhaus kapandıktan sonra, Albers ABD'ye geldi. O zamanlar, Modern Sanat Müzesi'nde küratör olan Philip Johnson'dan yardım aldılar. Albers, ingilizce bilmemesine rağmen yeni bir deneysel sanat okulunun başkanı oldu. Ruth Asawa, Robert Rauschenberg ve Cy Twombly dahil olmak üzere sonunda kendilerine bir isim yapacak öğrencilere ders verdi. Okul; sanat ve hayatı birleştirmeyi, aynı zamanda ders çalışmayı amaçlıyordu. Hayatının sonuna kadar öğretmenliğin yanı sıra Yale Üniversitesi'nde bölüm başkanlığı yaptı.
'Sanat, hayatın tüm sorunlarının yansıtıldığı bir alandır.'
-Josef Albers