比喻男女相思，也指朋友间的思念之情。
唐时，江南书生柳明远与绣娘苏婉儿自幼相识，常在村口老槐树下读书刺绣。及笄之年，苏婉儿赠柳明远一枚红豆锦囊，笑言：“此物生南国，最解相思意。”柳明远珍之若宝，次年赴长安赶考，临行前与苏婉儿相约：“待我金榜题名，必以八抬大轿迎你过门。”
不料长安科场舞弊案发，柳明远被牵连下狱，待昭雪出狱已逾三载。他星夜兼程返乡，却见老槐树犹在，苏家绣坊却已易主。邻人叹道：“苏姑娘等你不得，上月已随商队南下寻亲……”柳明远攥着褪色的红豆锦囊，忽忆起王维诗句，含泪采撷新发的红豆，题诗于帕：“劝君多采撷，此物最相思。”
后柳明远终生未娶，每逢春日便至南国寻访，世人皆见其腰间锦囊中，红豆鲜红如初。