Хоккейный клуб «Сарыарка» создан по решению Акима Карагандинской области в августе 2006 года. В дебютном сезоне команда выступала в Открытом Всероссийском соревновании по хоккею среди команд 1 лиги (дивизион «Сибирь-Дальний Восток»). По результатам сезона команда заняла третье место. Во внутреннем чемпионате «Сарыарка» финишировала на четвертом месте.
В сезоне 2007–2008 годов, команда вновь выступала в первенстве России среди команд первой лиги. В том сезоне карагандинская «Сарыарка» значительно обновилась, руководством команды перед главным тренером Галымом Мамбеталиевым была поставлена задача попадания в тройку призеров. Сезон команда провела достаточно уверенно, пробилась в плей-офф, где дошла до финала и в финальной серии до двух побед переиграла хоккейный клуб «Вымпел» из Междуреченска — став чемпионом России среди команд 1 лиги. В чемпионате Казахстана «Сарыарка» закончила сезон на шестом месте.
Сезон 2008–2009 годов стал для команды также дебютным. Впервые «Сарыарка» выступала в Открытом Всероссийском первенстве среди команд Высшей лиги (дивизион «Сибирь — Дальний Восток»). В межсезонье в команде сменился тренер, у руля «Сарыарки» встал Валерий Тушенцов. Карагандинский клуб сезон закончил на девятом месте. Перед стартом российского первенства, в конце августа, в Караганде прошел кубок Казахстана. По его итогам «Сарыарка» заняла второе место, обладателем же Кубка стал сатпаевский «Казахмыс». В финальном этапе Чемпионата Казахстана команда заняла четвертое место.
В 2009 году при инициативе Президента Республики Казахстан было принято решение о проведении первого полноценного национального чемпионата по хоккею с шайбой среди мужских команд. В сторическом для казахстанского спорта первенстве золотые медали в трудной бескомпромиссной борьбе завоевала карагандинская "Сарыарка". В сезоне 2009-2010 гг. состоялся дебют "Сарыарки" на европейской арене. Карагандинцы во втором раунде Континентального Кубка встретились с чемпионами Польши, Эстонии и Литвы. Обыграв "Калев-Вялк" 8-0 (Эстония) и "Энергию" 4-1 (Литва) и инимально уступив "Краковии" 2-3 (Польша), "Сарыарка" заняла второе место в группе.