海社會(huì)主義青年團(tuán)出現(xiàn)于20世紀(jì)20年代。五四運(yùn)動(dòng)前，陳獨(dú)秀曾長(zhǎng)期在上海活動(dòng)。1915年，他在上海創(chuàng)辦了《青年雜志》（后改名《新青年》），使得上海在新文化運(yùn)動(dòng)中占有重要地位。

在共產(chǎn)國(guó)際的幫助下，中國(guó)工人階級(jí)最密集的中心城市上海首先建立了共產(chǎn)主義小組。在這個(gè)黨的早期組織的籌建過(guò)程中，共產(chǎn)黨的發(fā)起人李大釗、陳獨(dú)秀等人就對(duì)發(fā)展中國(guó)青年運(yùn)動(dòng)、在青年中培養(yǎng)和挑選預(yù)備黨員的工作給予了極大的關(guān)注。因此，上海共產(chǎn)主義小組一成立，陳獨(dú)秀便指派小組內(nèi)最年輕的成員俞秀松組建社會(huì)主義青年團(tuán)。

1920年，8月22日，上海社會(huì)主義青年團(tuán)由俞秀松、施存統(tǒng)等8人正式發(fā)起建立。俞秀松擔(dān)任了中國(guó)第一個(gè)地方青年團(tuán)組織的書(shū)記，團(tuán)的機(jī)關(guān)就設(shè)在當(dāng)時(shí)上海法租界的一個(gè)普通民居——霞飛路漁陽(yáng)里6號(hào)。為了聯(lián)系和團(tuán)結(jié)進(jìn)步青年，上海共產(chǎn)黨和青年團(tuán)組織就在這里開(kāi)辦了中國(guó)黨、團(tuán)組織的第一所培養(yǎng)青年革命者的學(xué)校——外國(guó)語(yǔ)學(xué)社，并且在這個(gè)學(xué)社的學(xué)員中發(fā)展青年團(tuán)員。

1921年2月至4月間，一大批上海社會(huì)主義青年團(tuán)團(tuán)員陸續(xù)離滬赴蘇維埃俄國(guó)，在上海的團(tuán)員參加了由上海的共產(chǎn)黨早期組織領(lǐng)導(dǎo)的紀(jì)念“五一國(guó)際勞動(dòng)節(jié)”活動(dòng)。

5月1日，負(fù)責(zé)工人工作的李啟漢帶領(lǐng)部分群眾在上海閘北、天后宮、永安公司等處散發(fā)傳單，外國(guó)語(yǔ)學(xué)社的學(xué)生參加了這次活動(dòng)。在此之后，由于團(tuán)的大批骨干赴俄，加上黨的早期組織籌備召開(kāi)黨的一大，加之漁陽(yáng)里6號(hào)因?yàn)樵獾窖膊斗康乃巡槎鵁o(wú)法開(kāi)展活動(dòng)，青年團(tuán)的活動(dòng)逐漸處于“無(wú)形停頓”狀態(tài)。

1921年7月，中國(guó)共產(chǎn)黨正式成立后，決定加強(qiáng)對(duì)青年團(tuán)的領(lǐng)導(dǎo)。8月，從蘇俄參加青年共產(chǎn)國(guó)際“二大”回來(lái)的張?zhí)祝瑤Щ厍嗄旯伯a(chǎn)國(guó)際要中國(guó)建團(tuán)和在中國(guó)共產(chǎn)黨中央局的領(lǐng)導(dǎo)下恢復(fù)上海社會(huì)主義青年團(tuán)的指示，并在11月制定了中國(guó)社會(huì)主義青年團(tuán)臨時(shí)章程，明確規(guī)定：社會(huì)主義青年團(tuán)“以研究馬克思主義、實(shí)行社會(huì)改造及擁護(hù)青年權(quán)利”為宗旨，使團(tuán)的性質(zhì)得到進(jìn)一步明確。同時(shí)，也比較嚴(yán)格地確定了團(tuán)員的標(biāo)準(zhǔn)和義務(wù)。

此后，上海社會(huì)主義青年團(tuán)內(nèi)部的思想信仰達(dá)到了初步的統(tǒng)一，上海團(tuán)的活動(dòng)，也進(jìn)入了一個(gè)新的時(shí)期。1922年4月，團(tuán)的臨時(shí)章程公布時(shí)，在附則上明確規(guī)定：團(tuán)的正式中央機(jī)關(guān)未組成時(shí)，以上海機(jī)關(guān)代理中央職權(quán)。