依据我国城乡规划法的规定，违章建筑的认定主体是违章建筑的违章建筑物的建设者，包括单位或者个人。

相关法律规定

《中华人民共和国城乡规划法》

第六十四条未取得建设工程规划许可证或者未按照建设工程规划许可证的规定进行建设的，由县级以上地方人民政府城乡规划主管部门责令停止建设;尚可采取改正措施消除对规划实施的影响的，限期改正，处建设工程造价百分之五以上百分之十以下的罚款;无法采取改正措施消除影响的，限期拆除，不能拆除的，没收实物或者违法收入，可以并处建设工程造价百分之十以下的罚款。

第六十五条在乡、村庄规划区内未依法取得乡村建设规划许可证或者未按照乡村建设规划许可证的规定进行建设的，由乡、镇人民政府责令停止建设、限期改正;逾期不改正的，可以拆除。

第六十六条建设单位或者个人有下列行为之一的，由所在地城市、县人民政府城乡规划主管部门责令限期拆除，可以并处临时建设工程造价一倍以下的罚款：

(一)未经批准进行临时建设的;

(二)未按照批准内容进行临时建设的;

(三)临时建筑物、构筑物超过批准期限不拆除的。

第六十七条建设单位未在建设工程竣工验收后六个月内向城乡规划主管部门报送有关竣工验收资料的，由所在地城市、县人民政府城乡规划主管部门责令限期补报;逾期不补报的，处一万元以上五万元以下的罚款。

第六十八条城乡规划主管部门作出责令停止建设或者限期拆除的决定后，当事人不停止建设或者逾期不拆除的，建设工程所在地县级以上地方人民政府可以责成有关部门采取查封施工现场、强制拆除等措施。

对于违法建筑该怎么处罚

(1)违法占用集体土地或农用地进行建设，处理：由县级以上人民政府土地行政主管部门责令退还非法占用的土地，对违反土地利用总体规划擅自将农用地改为建设用地的，限期拆除在非法占用的土地上新建的建筑物和其他设施，恢复土地原状，对符合土地利用总体规划的，没收在非法占用的土地上新建的建筑物和其他设施，可以并处罚款;对非法占用土地单位的直接负责的主管人员和其他直接责任人员，依法给予行政处分;构成犯罪的，依法追究刑事责任。

(2)未取得建设工程规划许可证或者未按照建设工程规划许可证的规定进行建设的，由县级以上地方人民政府城乡规划主管部门或乡镇人民政府责令停止建设;限期拆除或者予以没收;罚款。

(3)对历史和原因形成的违建处理：因为历史原因和社会原因，居民房屋存在大量未办理土地使用手续或规划手续情况，这种情况下不宜按照违章建筑处理，特别是在房屋征收和土地征收中这类矛盾尤为凸出，根据《国有土地上房屋征收与补偿条例》的精神和原则，应当组织规划、土地、执法等部门对于未办理关手续的建筑物进行认定，认定为合法的要给予补偿，认定违法的不予补偿;但是也不能排除一些地方为实现拆迁速度，将一些历史原因形成的违章建筑强制拆除。