达摩遵照师父的嘱咐，准备好行李，驾起一叶扁舟，乘风破浪，飘洋过海，用了三年时间，历尽艰难曲折，来到了华夏。达摩到华夏以后，广州刺史得知此事，急忙禀报金陵，梁武帝萧衍立即派使臣把达摩接到京都，为其接风洗尘，宾客相待。
达摩漂洋过海来到华夏，得知梁武帝笃信佛教，先去了建康找梁武帝聊佛法，达摩是禅宗大乘派，普渡众生。而梁武帝信奉小乘佛教，主张自我修行。由于他们的主张不同，每谈论起佛事，二人总是不投机。武帝不能理解，这时达摩感到南京不是久留活动的地方，于是便告辞萧衍，渡江北上入魏。
据说，当他来到洛阳时，看到永宁寺内十分精美的宝塔，自云：“年一百五十岁，历游诸国”，从未见到过，“极佛境界，亦未有此！”因而“口唱南无，合掌连日”。后到嵩山少林寺，“面壁而坐，终日默然，人莫之测，谓之壁观婆罗门”。在此期间，收弟子慧可，有慧可“立雪断臂”的故事流行于世。
北魏孝昌三年，达摩抵达少林寺，达摩抵达少林寺后便在少林寺旁不远的嵩山西麓五乳峰的中峰上部、离绝顶不远的一孔天然石洞中面壁九年。他就在这个石洞里，面对石壁，端端正正的坐在那里，两腿曲盘，两手作弥陀印，双目下视，五心朝天入定。开定后，他就站起身来，作一些径行活动，锻炼一下身体，待倦怠恢复后，又是坐禅入定。就这样进行了长达九年的修性坐禅。最终悟出了一样能让中原人们接受的佛法：东土禅宗。禅宗不需要言语文字来阐述，只要了解自己的心性，就可以悟道成佛。所以有些大师虽然一个字也不认识，也毫不妨碍成为大师。比如后来的禅宗六祖慧能大师，就不识字，但是他吟出了一首堪称禅宗高度总结的诗：菩提本无树，明镜亦非台；本来无一物，何处惹尘埃。
他用“顿悟”来讲述禅宗，随时随地，讲究的是内心的理解和明净。
时神光于伊洛披览群书，以旷达闻，慕师之高风，断臂求法，师感其精诚，遂传安心发行之真法，授彼一宗之心印，改名慧可。经九载，欲归西方，嘱慧可一宗之秘奥，授袈裟及楞伽经四卷。未久即入寂，葬于熊耳山上林寺。越三年，魏使宋云度葱岭时，适逢达摩携只履归西方。师之一生颇富传奇，亦难辨其真伪。师之示寂年代有梁大通二年、梁大同元年或二年等异说。又梁武帝尊称师为“圣胄大师”；唐代宗赐“圆觉大师”之谥号，塔名空观。
达摩传说渡过长江时，并不是坐船，而是在江岸折了一根芦苇，立在苇上过江的。现在少林寺尚有达摩“一苇渡江“的石刻画碑。关于“一苇渡江“的解释，儒家有不同的说法。他们认为“一苇“并不是一根芦苇，而是一大束芦苇。