В начале фильма место действия — Берлин, время — 1927 год, когда в Веймарской республике царила массовая безработица. Самоучка-аранжировщик Гарри Фроммерман задумал собрать мужской вокальный коллектив по примеру самого популярного американского квартета того времени «The Revelers» и с этой целью внимательно просматривает объявления в газетах. Гарри встречает Роберта Биберти, который будучи сыном оперного певца, обладает звучным басом, хотя и не имеет музыкального образования. К ним присоединяются ещё три вокалиста: Ари Лешников, талантливый болгарский тенор, подрабатывающий в Германии как учитель пения и официант в ресторане; баритон Роман Цыцовский, родившийся в Польше и мечтавший об оперной карьере; тенор Эрих Коллин, только что сдавший экзамен в консерваторию. Пять вокалистов и пианист Эрвин Боц объединяются в секстет под названием «Melody Makers» (создатели мелодий).
После первой неудачи вокалисты продолжали интенсивно репетировать, искать свой стиль и репертуар. В августе 1928 года с секстетом подписал контракт на выступления в берлинском Большом Шаушпильхаусе художественный руководитель театра, сценарист, продюсер, режиссёр и актёр Эрика Чарелла, который посоветовал исходное название группы заменить на новое — «Comedian Harmonists».
Коллектив постепенно начал завоёвывать симпатии зрителей благодаря запоминающимся мелодиям и весёлым часто фривольным текстам многих песен со скрытым подтекстом: «Вероника, весна пришла» (нем. Veronika, der Lenz ist da), «Мой маленький зелёный кактус» (нем. Mein kleiner grner Kaktus) и так далее. Их шлягеры приобретали широкую известность не только в Германии, но и зарубежом во время гастролей, что отражено в фильме. Секстет признали легендарной вокальной группой всех времен. Их аранжировки народных и классических произведений были широко узнаваемы, любимы и популярны.
Ни сами вокалисты, ни их восторженная публика не предполагали, чем может грозить им новая власть Третьего рейха. В 1933 году коллектив дал 150 концертов, но уже в конце года внезапно было отменено выступление в городе Гера с обоснованием, что половина участников ансамбля — евреи. Летом 1934 года коллектив совершил поездку в США, где дал около 30 концертов по радио — больше всего в Радио-сити-мьюзик-холл. Выступление на авианосце «Саратога» транслировалось на кораблях Атлантики и Тихоокеанского флота. Явные шансы для успешной карьеры в Америке были, но группа всё-таки решилась на возвращение в Германию. И сразу стало ясно, что давление властей не ослабевает, а усиливается. 22 февраля 1935 года каждый член музыкального коллектива получил запрет на совместную работу арийцев с не арийцами. В фильме показано одно из последних выступлений накануне отъезда половины участников группы из Германии, когда, не испугавшись гнева со стороны нацистов, зрители стоя аплодировали музыкантам. По воспоминаниям Роберта Биберти, многие выходили на сцену, чтобы выразить артистам своё сочувствие, звучали даже ругательные слова в адрес нацистского режима. Прощальная песня «До свидания, мой дорогой» (нем. Auf Wiedersehen, My Dear) приобрела особенно широкую известность.