从来就没有“精武门”一说。1910年成立时，它就是以爱国修身、正义助人为宗旨的体育教习所，欢迎一切武术门类加入，没有派别之分。精武会把武术分为长江、黄河、珠江流域派，拳、手、枪、刀、剑、鞭、空手入白刃都有人教授，在繁荣时期甚至还包括田径、球类、骑马、举重、溜冰、书法、绘画、雄辩、旅游、医学、弦乐、京剧等一切能想到的娱乐。“我们为国家队输送了很多队员.贾瑞宝说，李富荣、张燮林都曾经在这里练球。
精武会的正堂供有霍元甲的半身像，他作为公认的创始人被电影演绎得恍若神人，可是其后代和精武会并不领情。贾瑞宝叮嘱记者说:“你得写上我们对电影《霍元甲》很不满意，李连杰来过我们这里不止一次，明明知道历史是怎样的，偏偏把霍元甲拍成了只知道打打杀杀，日本人倒是姿态很高。”霍元甲在精武会成立后的几个月就咯血而死，而他的形象，在创始人之一的陈公哲的描述中，“发辫盘束顶上，灰土布短衣、布靴，北方土佬装束，高五尺八寸，腰围横阔，面色赭黄，熊腰虎步，约二百磅”。
1909年冬，西洋力士奥皮音在阿波罗影戏院露肌健美，称华人为东亚病夫。展示肌肉在当时蔚为风气，陈公哲等人有一张合照，着斜肩豹纹连体衣，做出各种健美的姿势，与营养不良的国民相比，他们个个肌肉发达。同盟会会员陈其美、农劲荪和五金行经理陈公哲等人气愤之下开会商讨，决定请个高人煞煞洋人威风。农劲荪和当时在他所开药栈当伙计的霍元甲实为好友，霍在河北也颇有武名，能轻松挑的起500斤柴，一人打得十几个无赖跪地求饶，还吓跑过俄国大力士。霍元甲被请到竹深居茶社暂住，奥皮音坚持用西洋规矩，手带皮套，只击腹围上部，不许踢，霍元甲则要求手足并用，最后双方同意摔跤决胜负，约好在张氏莼味园比赛。结果那天奥皮音逃得无影无踪，发起人失望之余，提议众宾可以登台比武，由刘振声和霍元甲接招，霍元甲与海门张姓拳师的比武中，“右手执张臂，出左手揽其腰间，轻轻抱起，张某两足离地，霍将其置于地上”。这个比武只有一个回合，远不是影视中血肉四溅的厮杀。但霍元甲还是凭此役名声大噪，陈其美考虑到武装起义推翻帝制需要军事人才，他提出:“希望十年内训练出千万名既有强健体魄，又有军事技能的青年，以适应大规模革命运动和改良军事的需要。”革命组织为了不引起当局注意，采用体育办学的方式聚众是常事。1905年，徐锡麟、陶成章托名为清廷征兵，在大通师范学堂购步枪50支，子弹2万发，学生均入光复会。毕业后还能得到清廷发的文凭，背面却印有组织暗号。生源也都是擅长狩猎、射击的浙东山地学生，秋瑾还在该校穿男装教过骑马、击剑、实弹射击，被乡绅群起攻之。
陈公哲和现在的副会长贾瑞宝都矢口否认精武会有任何政治倾向。在陈炯明兵变后，陈公哲还在船上与孙中山长谈，阐述精武会为何不介入政治并求得谅解。但是精武会的成员复杂也是事实，陈其美是国民党元老，陈铁笙是同盟会会员，有位别名虚吾的会友，因为他加入了虚无党。另一些主力是商界名流，比如称作“精武三公司”的陈公哲、卢炜昌、姚蟾伯，都各有实业，上海最红的是永安、先施、新新公司，所以他们三人也叫三公司。这些爱好武术的富人为精武会出钱出力，陈公哲为精武会捐献了一幢4层小楼作为办公场所，他还举例说:“精武会建会花费8000元，地段值2000元，50年后翻了10倍;友人为雏妓赎身，花费10万金，50年后雏妓鸡皮鹤发，而精武活动无已，无时不在少年时。”深为自得。霍元甲只是精武会的缘起，而精武会能够延续壮大，完全依靠这些怕惹事的商人。1912年，袁世凯解散社团，精武会因为不问政治，奇迹般地未被取缔;上世纪30年代，南京国术院想把精武体育会合并，变为国立，会员不同意。贾瑞宝说:“如果当时变成国立，就不会再有精武会了。”
