驾驶电动自行车应当携带行驶证。根据《广东省道路交通安全条例》第五十五条第二款第八项的规定，电动自行车等安装有动力装置的非机动车未依法登记，或者未按照规定悬挂号牌，或者未携带行驶证的；责令改正，处警告或者五十元罚款。