Центральная городская библиотека была организована на базе одной из массовых библиотек (библиотека №10) во время осуществления централизации в 1976 году и стала центром Централизованной библиотечной системы (ЦБС) г. Петропавловска, которая насчитывала в 1976 году 16 филиалов.
В декабре 1977 года библиотека переехала в новое здание по улице Пролетарской, 65 /ныне ул.Брусиловского,65/.
В декабре 1977 году Центральной городской библиотеке было присвоено имя ИВАНА ПЕТРОВИЧА ШУХОВА, известного казахстанского писателя
16 массовых библиотек-филиалов ЦБС охватывали всё население города библиотечным обслуживанием. ЦБС обслуживала 42 библиотечных пункта на предприятиях и в организациях.
Общий книжный фонд составлял более 400 000 экземпляров книг и брошюр, число читателей достигало 320000 человек.
Первым руководителем ЦГБ им.И.П.Шухова была Попова Нина Евгеньевна – человек, бесконечно преданный своему делу.
С середины 90-х годов начался процесс оптимизации, в ходе которого были закрыты все библиотеки-филиалы и к 1997 году осталась только Центральная городская библиотека им. И. Шухова.
В 2000-х годах начался процесс возрождения массовых библиотек в микрорайонах города:
2005 г. — открыта Библиотека №1 в районе поселка Кожзавод.
2007г. — открыта Библиотека №2 в районе вокзала.
В городе вновь была создана централизованная библиотечная система. В 2002 году в состав ЦБС г. Петропавловска вошла Специальная библиотека для незрячих и слабовидящих граждан.
Сегодня КГУ «Центральная городская библиотека им. И. Шухова» — это сеть культурно-просветительных и информационных учреждений, осуществляющих библиотечное и информационное обслуживание пользователей с детских лет до самого преклонного возраста. Своим читателям, а их более 10 000 человек, ЦГБ и библиотеки-филиалы представляют фонд более 146 000 экз. книг и брошюр, периодических изданий.
Основную часть читателей составляют служащие, пенсионеры, рабочие, студенты, учащиеся.
Одним из приоритетных направлений ЦГБ в последние годы стала работа по библиотечному обслуживанию инвалидов: незрячих и слабовидящих, людей с ограниченными физическими и социальными возможностями. В ЦГБ им. И. Шухова действует арттерапевтический клуб «Магия творчества». Учреждение сотрудничает с Детской деревней семейного типа акимата СКО, со школой-интернат для глухих детей г. Петропавловск, с КГУ «Отдел занятости и социальных программ» акимата г. Петропавловска, а именно с отделением социальной помощи на дому с детьми-инвалидами, с коррекционными школами-интернатами №1 и 2.
В настоящее время директором КГУ «Центральная городская библиотека им. И. Шухова» является БИКЕНЕВА Гульназия Токубаевна.