在接下香山饭店的设计任务之后，贝聿铭以一贯的认真细致的作风，不但多次到香山勘察地形、攀登峰顶、俯览周围环境，而且不辞劳苦地走访了北京、南京、扬州、苏州、承德等地，考察当地的大建筑和园林，最后采取了建筑一系列不规则院落的布局方式，使它与周围的水光山色，参天古树融为一体。
在整体上，采取中国园林惯有的对称轴向布局，香山饭店有一条中轴线贯穿广场式的前院、常春四合院和后花园，而轴线两旁的建筑结合古树保护，布置相对自由。
在功能上分为四个主要的功能区:公共活动区、后勤供应区、客房区和游憩区；公共活动区以常春四合院为主体居中，与其它三个功能区取得紧密、简捷的联系；后勤供应区紧挨公共活动区并靠近交通道，联系方便。客房区采用水平方向延伸布置，曲曲折折，走道很长，但走道上多半有景可赏，这也使得客房周边各自独立的庭院由于人的视线移动而有了连续性。
在形式上多采用几何图形，在通往香山饭店的道路两旁，坐着一个个由花岗石正方体构成的灯具，在正方体的四个侧面，各挖了一个圆图；继续前进到达引桥时，牌坊是由三种正方形组成的图；进入前庭广场，正中是一个圆形停车池，池底正方形分块，每块正方形上排列着许多圆形鹅卵石。
回车道的两边，竖立着两盏由正方形组织成的宫灯和圆形灯座，进入香山饭店内部，处处都是正方形和圆，圆和正方形，正方形里有圆，圆里有正方形，总之，人们所到之处，都能看到正方形的和圆，建筑图形的重复出现是香山饭店设计的长处。
在色彩的处理上，室外以白色为主，灰色为辅，储色点缀，大厅的墙面是白色，门窗套及其联系的线条、屋面、压顶等等面积较小而勾划建筑轮廓的用灰色砖勒脚、装饰性的铺地用储色花岗石、鹅卵石。
室内也是这三种颜色，总的来说仍以白色墙面和顶棚为主灰色的比重加大了，地毯和主要家具如床、沙发等都用灰色，以获得室内柔和感储色分两类，一类色调偏黄，用于硬木装修，另一类偏熟褐，用于中餐厅的硬木装修和仿明家具；室内室外，三种颜色，使建筑内外非常统一和谐。
建筑融合自然的空间理念，主导着贝聿铭一生的作品，这些作品的共同点是内庭，内庭将内外空间串连，使自然融于建筑。
香山饭店是贝聿铭试图以现代主义建筑的设计手法来表达中国文化特征的一次尝试，一次不算成功的尝试。
再直白点，就是贝聿铭先生试图开创性的解决“新中式”建筑问题，贝聿铭先生的意愿是美好的，但就香山饭店这个结果来说，应该是远远没有达到他自己对这个作品的预期。
虽然贝聿铭出生于中国，小时候还在狮子林园这样优美的江南园林中生活过，但是他毕竟离开这片土地太久了，尽管回国后去了很多地方考察学习，但要想在这么短的时间里就把握住中国建筑的精髓还是太困难了些。
多年以后，贝聿铭对建香山饭店是自责的，他说，“香山这个树木，水啊，都是很美啊，很多树木啊几百年了，所以香山的挑战是最好不动它，所以摆一个建筑在里面，我觉得已经错了，香山饭店我不应该做。”
当然他同时还说了，“可是已经做了，也是一个经验，我不做香山，我在苏州就没那么把握。做错了以后啊，有机会可以改，苏州是给我这个机会。”如果没有香山饭店，或许也就没有日后的苏州博物馆。
至于缺点，除了贝老承认的这些之外，最饱受诟病的要数建筑成本的问题，贝聿铭为了特殊的建筑效果，不惜采用磨砖对缝这样的传统手工做法，大大提高了建筑的造价，极端例子是灰砖价格高达每块十元人民币。
到山东长岛挑选的颜色、直径都一样铺地卵石，运到北京后，一个的价钱相当于一个鸡蛋，从云南搬运巨石的做法也为人所诟病，甚至有人把这种做法与宋徽宗的花石纲相提并论。
还有环保的问题，贝聿铭在设计中为保存古树想了许多办法，但最终建设过程中，还是伐树245棵，其中百年以上树龄的79棵。
在选址上也饱含争议，从旅馆经营的角度看，香山并不是一个大的风景区，离市区不过二十几公里，游人可以一天之内游完主要景区，回到市内过夜，在此处建造一个300多间客房的旅馆，客源无法得到保证。
日后也果然如此，香山饭店的名声很响亮，但客源却不如人意，好多人专门从市区过来，但是到了饭店到处看看就走了，并不会留下过夜。
同时，香山饭店的原址也是静宜园二十八景之一虚朗斋，曾经是康熙、乾隆的行宫，虽然被英法联军烧毁，但尚有遗址存留，就这么拆毁等于是抹去了一段历史印记。
从建筑设计而言，香山饭店也并非完美，尤其是和贝聿铭日后另两个具有浓郁气息的项目——rb的秀美术馆和国内的苏州博物馆新馆相比。
在建筑和自然的关系上，香山饭店的处理是通过调整建筑的边缘，利用极其曲折的边缘来营造园林的意象，就像建筑长出几条手臂伸入到自然之中；而美秀美术馆和苏博新馆反而是建筑边界逐渐清晰，不再是建筑伸入自然，而是像建筑张开手臂环抱自然。
这点区别其实就是东西方理念的本质区别之一香山饭店是自然