新的quTS总算是认出来QM2-2P10G1T万兆网卡上的固态盘了 不过主板上的固态盘m.2的接口在model.conf里定义了BDF还是没用 也许我会把这个盘换到别的机器上 换成Coral M.2 Accelerator (B+M key) QNAP package来加速quMagie的人脸识别

感觉上定义的三个接口上盘都没出现 系统自作主张新建了2个m2口  ，但是在终端里用nvme list都可以看到3个m.2的nvme盘 里面有个Proxmox其实是个960 Pro 512，如果可以用来做日志盘是足够奢侈的 可惜识别 不上 也行吧 先用着到时候再看

[/etc] # nvme list
Node             SN                   Model                                    Namespace Usage                      Format                                  FW Rev
---------------- -------------------- ---------------------------------------- --------- -------------------------- ------------                       ---- --------
/dev/nvme0n1     S2U3NX0J304382       SAMSUNG MZVLW1T0HMLH-00000               1           1.02  TB /   1.02  TB    512   B +  0                        B   CXY7501Q
/dev/nvme1n1     S2U3NX0H900707       SAMSUNG MZVLW1T0HMLH-00000               1           1.02  TB /   1.02  TB    512   B +  0                        B   CXY7301Q
/dev/nvme2n1     S3EWNWAJ301544K      Samsung SSD 960 PRO 512GB                1         388.45  GB / 512.11  GB    512   B +  0                        B   1B6QCXP7



新系统启动很慢 但是进入之后响应速度比起我自己的白威联通的确快速多了
打算用来做临时转储

QM2-2P10G1T

我的
主板是华硕的H170i-plus D3
CPU是i5-6500k
2根8G的team D3-2400是从以前老i7机器的3通道套条拆来的
然后就是联力的 5盘位itx机箱 无奈主板是个4口SATA 我这就是来胡搞瞎搞的 也许只有4个盘做的RAID-Z1有成本上的好处 毕竟这
QUTS的软件内核还是4.14.24 估计zfs版本比较老 不足以用上新的动态扩容的功能 先将就着用吧
显卡输出HDMI4K没有办法 但是可以输出到2K 30Hz 1080p 60Hz估计是skylake的确不支持4K 60Hz 界面上显示不出来 不过终端可以看到i915正确挂好驱动了
crw-------  1 admin administrators 226,   0 2021-08-31 22:58 card0
crw-------  1 admin administrators 226, 128 2021-08-31 22:58 renderD128
[/dev] # lsmod|grep i915
[/dev] # lspci -nnk
00:1f.3 Class 0403: 8086:a170 snd_hda_intel
00:00.0 Class 0600: 8086:191f skl_uncore
02:02.0 Class 0604: 111d:8063 pcieport
06:00.0 Class 0108: 144d:a804 nvme
05:00.0 Class 0108: 144d:a804 nvme
00:1d.0 Class 0604: 8086:a118 pcieport
00:1f.6 Class 0200: 8086:15b8 e1000e
00:02.0 Class 0300: 8086:1912 i915
04:00.0 Class 0200: 1fc9:4027 tn40xx
00:14.0 Class 0c03: 8086:a12f xhci_hcd
00:1f.4 Class 0c05: 8086:a123 i801_smbus
02:04.0 Class 0604: 111d:8063 pcieport
00:17.0 Class 0106: 8086:a102 ahci
00:1f.2 Class 0580: 8086:a121
03:00.0 Class 0108: 144d:a804 nvme
00:1f.0 Class 0601: 8086:a144
00:01.0 Class 0604: 8086:1901 pcieport
00:16.0 Class 0780: 8086:a13a
01:00.0 Class 0604: 111d:8063 pcieport
02:06.0 Class 0604: 111d:8063 pcieport
把我的model.conf贴上来 我在proxmox虚拟机里面没办法认到盘的情况 实体机认出来了 也算是个进化下面是实体机相关的

1. [System Enclosure]
   
2. VENDOR = QNAP
   
3. MODEL = TVS-872X
   
4. CAP=0x9694dbbc
   
5. MAX_DISK_NUM = 11
   
6. MAX_FAN_NUM = 2
   
7. MAX_CPU_FAN_NUM = 2
   
8. DEFAULT_CPU_FAN_COUNT = 2
   
9. FACTORY_CPU_FAN_COUNT = 2
   
10. MAX_TEMP_NUM = 2
    
11. MAX_NET_PORT_NUM = 10
    
12. INTERNAL_NET_PORT_NUM = 2
    
13. NET_PORT_MAPPING = ENHANCE
    
14. MAX_PCIE_SLOT = 5
    
15. CPU_TEMP_UNIT=DTS:1
    
16. SYSTEM_TEMP_UNIT=EC
    
17. SIO_DEVICE = NCT6775
    
18. PWR_RECOVERY_CMOS_STORE = 0x70,0x61
    
19. BOARD_SN_DEVICE = VPD:BP
    
20. ETH_MAC_DEVICE = NET
    
21. DISK_DRV_TYPE = SAS
    
22. DISK_DEFAULT_MAX_LINK_SPEED = PD_SATA_SAS_6G
    
23. SYSTEM_DISK_CACHEABLE_BITMAP = 0x7fe
    
24. SS_MAX_CHANNELS = 80
    
25. SS_FREE_CHANNELS = 8
    
26. HEAT_PCI_DEVICE = 1fc9:4027
    
27. EUP_STATUS = CMOS
    
28. FORCE_ENABLE_SAS_ENC = yes
    
29. [System FAN]
    
30. FAN_UNIT = EC
    
31. FAN_1=I1
    
32. FAN_2=I2
    
33. FAN_LEVEL_0 = 0
    
34. FAN_LEVEL_1 = 50
    
35. FAN_LEVEL_2 = 70
    
36. FAN_LEVEL_3 = 95
    
37. FAN_LEVEL_4 = 120
    
38. FAN_LEVEL_5 = 160
    
39. FAN_LEVEL_6 = 200
    
40. FAN_LEVEL_7 = 250
    
41. SYSTEM_DISK_MONITOR_BITMAP = 0x7fe
    
42. PCIE_SLOT_MONITOR_BITMAP = 0x2
    
43. HEAT_SOURCE = SYS, DISK
    
44. [CPU FAN]
    
45. FAN_UNIT = EC
    
46. FAN_1=I7
    
47. FAN_2=I8
    
48. FAN_LEVEL_0 = 0
    
49. FAN_LEVEL_1 = 50
    
50. FAN_LEVEL_2 = 80
    
51. FAN_LEVEL_3 = 110
    
52. FAN_LEVEL_4 = 140
    
53. FAN_LEVEL_5 = 170
    
54. FAN_LEVEL_6 = 210
    
55. FAN_LEVEL_7 = 250
    
56. HEAT_SOURCE = CPU
    
57. [FAN Region]
    
58. MAX_REGION_NUM = 3
    
59. [System I2C]
    
60. DEV_BUS = B00:D31:F4
    
61. DEV_PORT = 0
    
62. [System EDID 1]
    
63. DEV_BUS = B00:D02:F0
    
64. DEV_PORT = 3
    
65. 
    
66. [System Disk 1]
    
67. DEV_BUS=B00:D23:F0
    
68. DEV_PORT = 0
    
69. PCI_SWITCH_PORT = 0
    
70. SLOT_NAME = Disk 1
    
71. [System Disk 2]
    
72. DEV_BUS=B00:D23:F0
    
73. DEV_PORT = 1
    
74. PCI_SWITCH_PORT = 0
    
75. SLOT_NAME = Disk 2
    
76. [System Disk 3]
    
77. DEV_BUS=B00:D23:F0
    
78. DEV_PORT = 2
    
79. SLOT_NAME = Disk 3
    
80. [System Disk 4]
    
81. DEV_BUS=B00:D23:F0
    
82. DEV_PORT = 3
    
83. SLOT_NAME = Disk 4
    
84. [System Disk 5]
    
85. DEV_BUS=B00:D23:F0
    
86. DEV_PORT = 4
    
87. SLOT_NAME = Disk 5
    
88. [System Disk 6]
    
89. DEV_BUS=B00:D23:F0
    
90. DEV_PORT = 5
    
91. SLOT_NAME = Disk 6
    
92. [System Disk 7]
    
93. DEV_BUS=B00:D23:F0
    
94. DEV_PORT = 6
    
95. SLOT_NAME = Disk 7
    
96. [System Disk 8]
    
97. DEV_BUS=B00:D23:F0
    
98. DEV_PORT = 7
    
99. SLOT_NAME = Disk 8
    
100. [System Disk 9]
     
101. DISK_FORM_TYPE = PD_FORM_M_2_PCIE
     
102. BUS_TYPE = NVME
     
103. DISK_DRV_TYPE = M_2
     
104. DEV_BUS=B06:D00:F0
     
105. DEV_PORT = 0
     
106. PCI_SWITCH_PORT = 2
     
107. SLOT_NAME = M.2 SSD 1
     
108. [System Disk 10]
     
109. DISK_FORM_TYPE = PD_FORM_M_2_PCIE
     
110. BUS_TYPE = NVME
     
111. DISK_DRV_TYPE = M_2
     
112. DEV_BUS=B03:D00:F0
     
113. DEV_PORT = 0
     
114. PCI_SWITCH_PORT = 2
     
115. SLOT_NAME = M.2 SSD 2
     
116. [System Disk 11]
     
117. DISK_FORM_TYPE = PD_FORM_M_3_PCIE
     
118. BUS_TYPE = NVME
     
119. DISK_DRV_TYPE = M_2
     
120. DEV_BUS=B05:D00:F0
     
121. DEV_PORT = 0
     
122. PCI_SWITCH_PORT = 0
     
123. SLOT_NAME = M.2 SSD 3
     
124. [System Network 1]
     
125. DEV_BUS = B04:D00:F0
     
126. DEV_PORT = 0
     
127. [System Network 2]
     
128. DEV_BUS = B00:D31:F6
     
129. PCI_SWITCH_PORT = 0
     
130. DEV_PORT = 31
     
131. [System PCIE SLOT 1]
     
132. DEV_BUS = B00:D01:F0
     
133. 
     
134. [Usb Enclosure]
     
135. VENDOR = INTEL
     
136. MODEL = USB
     
137. MAX_PORT_NUM = 9
     
138. EXT_PORT_NUM = 2
     
139. USB3_PORT_BITMAP = 0xFE
     
140. [Usb Port 1]
     
141. DEV_BUS = B00:D20:F0
     
142. DEV_PORT_SSP = 4
     
143. DEV_PORT_SS = 4
     
144. DEV_PORT_NS = 7
     
145. [Usb Port 2]
     
146. DEV_BUS = B00:D20:F1
     
147. DEV_PORT_SSP = 5
     
148. DEV_PORT_SS = 5
     
149. DEV_PORT_NS = 6
     
150. [Usb Port 3]
     
151. DEV_BUS = B00:D20:F2
     
152. DEV_PORT_SSP = 2
     
153. DEV_PORT_SS = 2
     
154. DEV_PORT_NS = 5
     
155. [Usb Port 4]
     
156. DEV_BUS = B00:D20:F7
     
157. DEV_PORT_SSP = 1
     
158. DEV_PORT_SS = 1
     
159. DEV_PORT_NS = 4
     
160. [Usb Port 5]
     
161. DEV_BUS = B00:D20:F0
     
162. DEV_PORT_SSP = 3
     
163. DEV_PORT_SS = 3
     
164. DEV_PORT_NS = 3
     
165. [Usb Port 6]
     
166. DEV_BUS = B00:D20:F1
     
167. PCI_SWITCH_PORT = 2
     
168. DEV_PORT = 2
     
169. [Usb Port 7]
     
170. DEV_BUS = B00:D20:F2
     
171. PCI_SWITCH_PORT = 2
     
172. DEV_PORT = 1
     
173. [Usb Port 8]
     
174. DEV_BUS = B00:D20:F7
     
175. DEV_PORT = 1
     
176. [Usb Port 9]
     
177. DEV_BUS = B00:D20:F0
     
178. DEV_PORT = 2
     
179. [Boot Enclosure]
     
180. VENDOR = QNAP
     
181. MODEL = BOOT
     
182. MAX_DISK_NUM = 1
     
183. DISK_DRV_TYPE = USB
     
184. [Boot Disk 1]
     
185. DEV_BUS = B00:D20:F0
     
186. IN_HUB = 1
     
187. DEV_PORT = 8
     
188. [Memory I2C 1]
     
189. DEV_BUS = B00:D31:F4
     
190. DEV_PORT = 0
     
191. [System Memory]
     
192. MAX_CHANNEL_NUM = 2
     
193. MAX_SLOT_NUM = 2
     
194. SLOT1_ADDR = 1, 0x50
     
195. SLOT2_ADDR = 2, 0x52
     
196. [Model Name Extension]
     
197. EXT_BITMAP=0x0002
     
198. EXT_BIT_0 = MEM,ECC,EC
     
199. EXT_BIT_1 = PSU,DUAL,RP
     
200. EXT_BIT_2 = PCI,1fc9:4024 | 1fc9:4022,+

复制代码

model.conf 里， disk的部分， 最好BUS：DEVICE:FUNCTION 里 BUS的值保持00
比如你的nvme是B03， B05， B06，
最好用lspci -vtnn查到他们对应的PCIe port 地址， 用这个地址就能让QTS认出来

jimmyUC 发表于 2021-9-1 22:23
model.conf 里， disk的部分， 最好BUS：DEVICE:FUNCTION 里 BUS的值保持00
比如你的nvme是B03， B05， B0 ...

您的意思是nvme还必须要指定dev port?  那么我lspci -vtnn试试看

但是lspci -vtnn也没有显示哪个设备的是哪个dev_port啊


[~] # lspci -vtnn

1. 
   
2. -[0000:00]-+-00.0  Intel Corporation Xeon E3-1200 v5/E3-1500 v5/6th Gen Core Processor Host Bridge/DRAM Registers [8086:191f]
   
3.            +-01.0-[01-05]----00.0-[02-05]--+-02.0-[03]----00.0  Samsung Electronics Co Ltd NVMe SSD Controller SM961/PM961/SM963 [144d:a804]
   
4.            |                               +-04.0-[04]----00.0  Tehuti Networks Ltd. TN9710P 10GBase-T/NBASE-T Ethernet Adapter [1fc9:4027]
   
5.            |                               \-06.0-[05]----00.0  Samsung Electronics Co Ltd NVMe SSD Controller SM961/PM961/SM963 [144d:a804]
   
6.            +-02.0  Intel Corporation HD Graphics 530 [8086:1912]
   
7.            +-14.0  Intel Corporation 100 Series/C230 Series Chipset Family USB 3.0 xHCI Controller [8086:a12f]
   
8.            +-16.0  Intel Corporation 100 Series/C230 Series Chipset Family MEI Controller #1 [8086:a13a]
   
9.            +-17.0  Intel Corporation Q170/Q150/B150/H170/H110/Z170/CM236 Chipset SATA Controller [AHCI Mode] [8086:a102]
   
10.            +-1d.0-[06]----00.0  Samsung Electronics Co Ltd NVMe SSD Controller SM961/PM961/SM963 [144d:a804]
    
11.            +-1f.0  Intel Corporation H170 Chipset LPC/eSPI Controller [8086:a144]
    
12.            +-1f.2  Intel Corporation 100 Series/C230 Series Chipset Family Power Management Controller [8086:a121]
    
13.            +-1f.3  Intel Corporation 100 Series/C230 Series Chipset Family HD Audio Controller [8086:a170]
    
14.            +-1f.4  Intel Corporation 100 Series/C230 Series Chipset Family SMBus [8086:a123]
    
15.            \-1f.6  Intel Corporation Ethernet Connection (2) I219-V [8086:15b8]
    

复制代码

你这个lspci真的难以阅读， 直接转成单行显示的贴图吧
对于你这张万兆+m2 卡， 一共3个子设备， D03 ， D05 是m.2， D04是Tehuti万兆网卡的
所以switch port不用写2， 0就可以， dev port 也一直是0， 但是要写DEV_BRIDGE_BUS

• [System Disk 10]
• DISK_FORM_TYPE = PD_FORM_M_2_PCIE
• BUS_TYPE = NVME
• DISK_DRV_TYPE = M_2
• DEV_BUS=B0001:F0
  
• DEV_BRIDGE_BUS = B0300:F0
• DEV_PORT = 0
  
• PCI_SWITCH_PORT = 0
• SLOT_NAME = M.2 SSD 2
  

D05 那个同理改动
以上两个是在QNAP的卡上的， 应该是插在CPU出的PCIEx16上
还有一个B0600:F00的m.2 nvme, 应该是插在主板m.2上了， 由lspci -vtnn可知， pciport 是B0029:F0  (00:1d:00), 这个port后面也没有bridge， 就它一个设备， 所以这样写

• [System Disk 9]
• DISK_FORM_TYPE = PD_FORM_M_2_PCIE
• BUS_TYPE = NVME
• DISK_DRV_TYPE = M_2
• DEV_BUS=B0029:F0
• DEV_PORT = 0
• PCI_SWITCH_PORT = 0
• SLOT_NAME = M.2 SSD 1
  

关于这些BDF的B 部分不是0的system disk 设备该怎么写model.conf, 总结可以看坛子里这篇

关于黑qnap model里各种硬件写法的探讨（抛砖引玉）
嗯， 好像不许我回复里加论坛自己的链接， 你搜搜主题吧

jimmyUC 发表于 2021-9-2 12:52
你这个lspci真的难以阅读， 直接转成单行显示的贴图吧
对于你这张万兆+m2 卡， 一共3个子设备， D03 ， D0 ...

我大致看懂意思了 意思是写带nvme插槽的网卡的父级总线所在的BDF做DEV_BUS,写自己的BDF做DEV_BRIDGE_BUS,独立插槽在主板上的写插槽所在的总线的BDF做DEV_BUS，因为是独立的所以不必写DEV_BRIDGE_BUS?
我这样理解是否正确？

更新一下使用体验： Qumagie和Qvideo目前暂时无法安装 其依赖项目container station和QuAICore倒是没有问题 可以使用 另外找到了这张主板的SIO设备的具体型号是NCT5539D 图片可放大清晰可见 突然感觉好玩起来

jimmyUC 发表于 2021-9-2 12:52
你这个lspci真的难以阅读， 直接转成单行显示的贴图吧
对于你这张万兆+m2 卡， 一共3个子设备， D03 ， D0 ...

另外回复您 你提到的写法是正确的 我经过提点已经成功认到主板上之前认不到的nvme盘了 非常感谢 这次我的黑Q终于开始有实用价值了  虽然认到但是我不打算启用 我发现QuTs hero比truenas scale少支持一种metadata的vdev来提高写入随机速度 不过加了zfs的cache 和zil 用来加速单盘也是一种很舒服的fusionZFS体验  
只需要命令行zfs add zpool cache /dev/nvme2n1p?就可以了 趁这次重做boot盘，顺便在init/service.sh里面注释掉了默认卷中开启swap这样就不会在很慢的机械硬盘里用上swap了 真是个鸡肋和无用的设计 这次默认就是把swap都放在nvme盘里 小内存跑zfs也是有点性能的 不错 白威联通也可以用这个黑Q来Qsync互相备份了。gitlab in kubernetes 跑得非常流畅 ，仍然有个问题是刚才提到的NCT5539D这颗芯片估计是没有正确的kernel modules 我也没找到 所以监控里的转速都是错误的 不过温度都能正确显示 勉强堪用
棒棒棒 之后再看qumagie怎么办

jewelz 发表于 2021-9-3 02:38
另外回复您 你提到的写法是正确的 我经过提点已经成功认到主板上之前认不到的nvme盘了 非常感谢 这次我的 ...

你上的机型还是TVS-872? 上了QTS hero？
老实说我没上过hero固件， 但好处是所有APP都可用

jimmyUC 发表于 2021-9-3 21:31
你上的机型还是TVS-872? 上了QTS hero？
老实说我没上过hero固件， 但好处是所有APP都可用

其实类似quTS cloud，app他们都开始卖钱了 我真的无所谓 可以用老版本的photo来分类人脸 甚至可以用Kubectl加入我自己局域网内的集群装photoprisim这都不是事儿 现在硬件基本充分利用上了 我就考虑未来增加PCIE-x16的1分二 不过要300多 好贵

目前这个PCIeX16插着QNAP这块垃圾卡 位宽是自己板载的marvell桥接芯片限制了的 看起来总宽度是4x 但是网卡和nvme盘各自都是跑2x，感觉非常奇怪和矫情 难怪再怎么测 读写都过不了800MB/s，两块盘在普通主办的nvme槽内都可以跑到2.6GB/s,所以是真心浪费

有了那个软线一分二 我还可以分出8X插显卡 或者nvme盘加上tensor-flow运算卡都比现在强百倍 或许未来盘可以丢x8的1分2总线上 加速卡对带宽需求不高 x2真的足矣