软骨和硬骨从微观上来看，虽然是由细胞与细胞外基质物质构成，但最主要的区别是形成软骨和硬骨的细胞，本身是不同种类的细胞。形成软骨的细胞有软骨细胞和成软骨细胞，而形成硬骨的细胞可以分为骨细胞、成骨细胞和破骨细胞。
另外，构成软骨与硬骨的基础细胞外的基础物质也不相同，软骨细胞外侧的基础物质大多数是胶状物质、纤维物质等，这也决定了软骨这种结构富有弹性，质地半透明或者透明，颜色呈乳白色或者偏蓝色，还能够产生振动。
而构成硬骨的细胞外的基础物质，大多数都是钙、磷等矿物质，也存在少量的胶质，所以硬骨的质地比较坚硬，弹性略小，颜色呈灰白色或者白色不透明。