1921年2月，陈独秀起草了一个党章，寄到上海，李汉俊看到草案上主张党的组织采取中央集权制，对陈独秀不满意，说他要党员拥护他的个人独裁，因此他也起草了一个党章，主张地方分权，中央只不过是一个有职无权的机关。陈独秀看了李汉俊这个草案，大发雷霆，从广州寄来信责备我一顿，说上海的党员反对他。其实我当时并不知道这件事。从此，陈独秀和李汉俊二人之间的裂痕愈来愈深，我觉得党刚发起就闹起分裂来，太不像话，只得调停于二者之间，要大家加强团结。但李汉俊态度坚决，不肯接受调停，并连书记也不做了，《新青年》也停刊不编了，他把党的名册和一些文件移交于我，要我担任书记。我为了党的团结，只好接受了。[3]
李汉俊拂袖而去，但意气归意气，并非一概不管。有好多事情，他一直在做。比如1921年5月，李汉俊派包惠僧去广州请陈独秀回沪工作。包惠僧说，从陈独秀去广州至中共一大召开，此一时期是由李汉俊“在上海代理共产党的书记”[4]。陈望道亦说，中共建立过程中，“做工作比较多的是陈独秀、李汉俊”；在陈去广州后，“要紧的事，由李汉俊、杨明斋和我们三四人讨论”[5]。