В Древней Руси калачи ,были очень популярны и изготавливались в форме амбарного замка с круглой дужкой.
На ярмарках народ с охотой покупал выпечку, совсем как мы сейчас хот-доги или шаурму, чтобы быстренько перекусить. Угощались прямо на улице, на ходу, держа калач за удобную ручку «замка». Руки не всегда были чистыми и из соображений гигиены, саму ручку не ели, а отдавали неимущим или бросали на прокорм собакам. Про тех, кто не брезговал ее съесть, люди так и говорили: «дошел до ручки».
А в наше время это выражение немного более критично, означает, что человек не просто голоден, а совсем потерял человеческий облик.