离开部队之后，缺乏约束的环境让阿尔伯特一步步走向犯罪的深渊。
1955年1月，阿尔伯特因为猥亵儿童罪被捕，但受害儿童的母亲认为，法庭公审会让年幼的孩子受到更大的心灵创伤，所以她撤回了对阿尔伯特的指控，阿尔伯特又一次侥幸逃脱了法律的制裁。
1956年，阿尔伯特带着自己的妻女离开了新泽西州，回到了他八年前狼狈逃离的城市——波士顿。刚回到波士顿的阿尔伯特看起来应该是一个很顾家的好男人，他每天会做多份工作，并将工作挣来的钱全部交给自己的老婆。1960年，阿尔伯特家的第二个孩子降生了，这本该是一个好消息，但阿尔伯特却逐渐陷入了发狂的境地。
犯罪心理学家认为，在阿尔伯特的内心中，他一直渴望成为一名大人物，这样他就可以很轻松地赚取养家的钱，并且有很多时间去做自己想要做的事情。但事实上他没有可以成为大人物的背景，也没有接受过良好的培训或教育。此外，遇到事情的时候，阿尔伯特通常只会大喊大叫、暴躁不安，所以从本质上讲阿尔伯特只不过是一个自私自利，喜欢胡吹乱侃的人。这种人的自控力是十分差的，所以此时的阿尔伯特已经没有能力控制自己内心中的变态欲望了。