• 那是云首页
  • 快捷导航
  • 更多
    设为首页收藏本站
  • |

新的quTS总算是认出来万兆网卡上的固态盘了 不过主板上的

查看数: 5116 | 评论数: 11 | 收藏 4
关灯 | 提示:支持键盘翻页<-左 右->
    组图打开中,请稍候......
发布时间: 2021-8-31 23:34

正文摘要:

本帖最后由 jewelz 于 2021-9-1 04:43 编辑 新的quTS总算是认出来QM2-2P10G1T万兆网卡上的固态盘了 不过主板上的固态盘m.2的接口在model.conf里定义了BDF还是没用 也许我会把这个盘换到别的机器上 换成Coral M.2 ...

回复

jewelz 来自 中国湖南长沙 发表于 2021-9-21 02:32
本帖最后由 jewelz 于 2021-9-21 02:36 编辑

另外 由于我希望定制启动脚本 结果乱弄init.d/etc/profile导致启动失败(none)login,记录下来以后要换一种思路搞qutsHero到了5.0BETA释出 内核终于更新到5.10 我貌似刷入 发现之前的admin被彻底禁用玩残 只能自定加sudoer 有点烦人
这个版本的zfs仍然不支持向zpool增加special形式的vdev做metadata加速 所以呃 说到底还是不如proxmox或者truenas scale,要不是photoprism目前仍然不支持TPU加速,我是真不想用QNAP ,另外BETA就是个大大的警告 真的会有kernel panic出现各种bug追不完

巧妙地是qumagie在这个版本正常了 我真的是见了鬼了

jewelz 来自 中国湖南长沙 发表于 2021-9-3 22:58
# zpool status -v
  pool: zpool1
state: ONLINE
  scan: none requested
prune: last pruned 0 entries, 0 entries are pruned ever
        total pruning count #1, avg. pruning rate = 0 (entry/sec)
config:

        NAME                                          STATE     READ WRITE CKSUM
        zpool1                                        ONLINE       0     0     0
          qzfs/enc_23/disk_0x170001_S2U3NX0J304382_3  ONLINE       0     0     0
          qzfs/enc_23/disk_0x170002_S2U3NX0H900707_3  ONLINE       0     0     0

errors: No known data errors

  pool: zpool2
state: ONLINE
  scan: none requested
prune: never
config:

        NAME                                      STATE     READ WRITE CKSUM
        zpool2                                    ONLINE       0     0     0
          qzfs/enc_0/disk_0x5_5000CCA28EDD9268_3  ONLINE       0     0     0
        logs
          nvme2n1p5                               ONLINE       0     0     0
        cache
          nvme2n1p4                               ONLINE       0     0     0

errors: No known data errors


补充内容 (2021-9-21 02:28):
新买了E-key的google corol dual Edge TPU 插上之后就能转码加速了 本来6500k其实速度不慢 导入照片识别时CPU开销在60%左右 有了2颗TPU显著降低到25% 识别速度的确有小幅提升 主要是识别人脸和相似物件奇快
jewelz 来自 中国湖南长沙 发表于 2021-9-3 22:54
本帖最后由 jewelz 于 2021-9-3 22:56 编辑
jimmyUC 发表于 2021-9-3 21:31
你上的机型还是TVS-872? 上了QTS hero?
老实说我没上过hero固件, 但好处是所有APP都可用

其实类似quTS cloud,app他们都开始卖钱了 我真的无所谓 可以用老版本的photo来分类人脸 甚至可以用Kubectl加入我自己局域网内的集群装photoprisim这都不是事儿 现在硬件基本充分利用上了 我就考虑未来增加PCIE-x16的1分二 不过要300多 好贵

目前这个PCIeX16插着QNAP这块垃圾卡 位宽是自己板载的marvell桥接芯片限制了的 看起来总宽度是4x 但是网卡和nvme盘各自都是跑2x,感觉非常奇怪和矫情 难怪再怎么测 读写都过不了800MB/s,两块盘在普通主办的nvme槽内都可以跑到2.6GB/s,所以是真心浪费

有了那个软线一分二 我还可以分出8X插显卡 或者nvme盘加上tensor-flow运算卡都比现在强百倍 或许未来盘可以丢x8的1分2总线上 加速卡对带宽需求不高 x2真的足矣
jimmyUC 来自 中国北京 发表于 2021-9-3 21:31
jewelz 发表于 2021-9-3 02:38
另外回复您 你提到的写法是正确的 我经过提点已经成功认到主板上之前认不到的nvme盘了 非常感谢 这次我的 ...

你上的机型还是TVS-872? 上了QTS hero?
老实说我没上过hero固件, 但好处是所有APP都可用

点评

其实类似quTS cloud,app他们都开始卖钱了 我真的无所谓 可以用老版本的photo来分类人脸 甚至可以用Kubectl加入我自己局域网内的集群装photoprisim这都不是事儿 现在硬件基本充分利用上了 我就考虑未来增加PCIE-x16  详情 回复 发表于 2021-9-3 22:54
jewelz 来自 中国湖南长沙 发表于 2021-9-3 02:38
本帖最后由 jewelz 于 2021-9-3 02:50 编辑
jimmyUC 发表于 2021-9-2 12:52
你这个lspci真的难以阅读, 直接转成单行显示的贴图吧
对于你这张万兆+m2 卡, 一共3个子设备, D03 , D0 ...

另外回复您 你提到的写法是正确的 我经过提点已经成功认到主板上之前认不到的nvme盘了 非常感谢 这次我的黑Q终于开始有实用价值了  虽然认到但是我不打算启用 我发现QuTs hero比truenas scale少支持一种metadata的vdev来提高写入随机速度 不过加了zfs的cache 和zil 用来加速单盘也是一种很舒服的fusionZFS体验  
只需要命令行zfs add zpool cache /dev/nvme2n1p?就可以了 趁这次重做boot盘,顺便在init/service.sh里面注释掉了默认卷中开启swap这样就不会在很慢的机械硬盘里用上swap了 真是个鸡肋和无用的设计 这次默认就是把swap都放在nvme盘里 小内存跑zfs也是有点性能的 不错 白威联通也可以用这个黑Q来Qsync互相备份了。gitlab in kubernetes 跑得非常流畅 ,仍然有个问题是刚才提到的NCT5539D这颗芯片估计是没有正确的kernel modules 我也没找到 所以监控里的转速都是错误的 不过温度都能正确显示 勉强堪用
棒棒棒 之后再看qumagie怎么办

点评

你上的机型还是TVS-872? 上了QTS hero? 老实说我没上过hero固件, 但好处是所有APP都可用  详情 回复 发表于 2021-9-3 21:31
jewelz 来自 中国湖南长沙 发表于 2021-9-2 18:54
本帖最后由 jewelz 于 2021-9-2 21:32 编辑
jimmyUC 发表于 2021-9-2 12:52
你这个lspci真的难以阅读, 直接转成单行显示的贴图吧
对于你这张万兆+m2 卡, 一共3个子设备, D03 , D0 ...

我大致看懂意思了 意思是写带nvme插槽的网卡的父级总线所在的BDF做DEV_BUS,写自己的BDF做DEV_BRIDGE_BUS,独立插槽在主板上的写插槽所在的总线的BDF做DEV_BUS,因为是独立的所以不必写DEV_BRIDGE_BUS?
我这样理解是否正确?



jimmyUC 来自 中国 发表于 2021-9-2 12:52
你这个lspci真的难以阅读, 直接转成单行显示的贴图吧 Screenshot 2021-09-02 123406.jpg
对于你这张万兆+m2 卡, 一共3个子设备, D03 , D05 是m.2, D04是Tehuti万兆网卡的
所以switch port不用写2, 0就可以, dev port 也一直是0, 但是要写DEV_BRIDGE_BUS
  • [System Disk 10]
  • DISK_FORM_TYPE = PD_FORM_M_2_PCIE
  • BUS_TYPE = NVME
  • DISK_DRV_TYPE = M_2
  • DEV_BUS=B0001:F0
  • DEV_BRIDGE_BUS = B0300:F0
  • DEV_PORT = 0
  • PCI_SWITCH_PORT = 0
  • SLOT_NAME = M.2 SSD 2

D05 那个同理改动
以上两个是在QNAP的卡上的, 应该是插在CPU出的PCIEx16上
还有一个B0600:F00的m.2 nvme, 应该是插在主板m.2上了, 由lspci -vtnn可知, pciport 是B0029:F0  (00:1d:00), 这个port后面也没有bridge, 就它一个设备, 所以这样写
  • [System Disk 9]
  • DISK_FORM_TYPE = PD_FORM_M_2_PCIE
  • BUS_TYPE = NVME
  • DISK_DRV_TYPE = M_2
  • DEV_BUS=B0029:F0
  • DEV_PORT = 0
  • PCI_SWITCH_PORT = 0
  • SLOT_NAME = M.2 SSD 1



关于这些BDF的B 部分不是0的system disk 设备该怎么写model.conf, 总结可以看坛子里这篇

关于黑qnap model里各种硬件写法的探讨(抛砖引玉)
嗯, 好像不许我回复里加论坛自己的链接, 你搜搜主题吧

点评

另外回复您 你提到的写法是正确的 我经过提点已经成功认到主板上之前认不到的nvme盘了 非常感谢 这次我的黑Q终于开始有实用价值了 虽然认到但是我不打算启用 我发现QuTs hero比truenas scale少支持一种metadata的vd  详情 回复 发表于 2021-9-3 02:38
我大致看懂意思了 意思是写nvme插槽的父级总线所在的BDF?这样子才能检测得到?  详情 回复 发表于 2021-9-2 18:54
jewelz 来自 中国湖南长沙 发表于 2021-9-2 03:28
本帖最后由 jewelz 于 2021-9-3 03:45 编辑

但是lspci -vtnn也没有显示哪个设备的是哪个dev_port啊


[~] # lspci -vtnn


  1. -[0000:00]-+-00.0  Intel Corporation Xeon E3-1200 v5/E3-1500 v5/6th Gen Core Processor Host Bridge/DRAM Registers [8086:191f]
  2.            +-01.0-[01-05]----00.0-[02-05]--+-02.0-[03]----00.0  Samsung Electronics Co Ltd NVMe SSD Controller SM961/PM961/SM963 [144d:a804]
  3.            |                               +-04.0-[04]----00.0  Tehuti Networks Ltd. TN9710P 10GBase-T/NBASE-T Ethernet Adapter [1fc9:4027]
  4.            |                               \-06.0-[05]----00.0  Samsung Electronics Co Ltd NVMe SSD Controller SM961/PM961/SM963 [144d:a804]
  5.            +-02.0  Intel Corporation HD Graphics 530 [8086:1912]
  6.            +-14.0  Intel Corporation 100 Series/C230 Series Chipset Family USB 3.0 xHCI Controller [8086:a12f]
  7.            +-16.0  Intel Corporation 100 Series/C230 Series Chipset Family MEI Controller #1 [8086:a13a]
  8.            +-17.0  Intel Corporation Q170/Q150/B150/H170/H110/Z170/CM236 Chipset SATA Controller [AHCI Mode] [8086:a102]
  9.            +-1d.0-[06]----00.0  Samsung Electronics Co Ltd NVMe SSD Controller SM961/PM961/SM963 [144d:a804]
  10.            +-1f.0  Intel Corporation H170 Chipset LPC/eSPI Controller [8086:a144]
  11.            +-1f.2  Intel Corporation 100 Series/C230 Series Chipset Family Power Management Controller [8086:a121]
  12.            +-1f.3  Intel Corporation 100 Series/C230 Series Chipset Family HD Audio Controller [8086:a170]
  13.            +-1f.4  Intel Corporation 100 Series/C230 Series Chipset Family SMBus [8086:a123]
  14.            \-1f.6  Intel Corporation Ethernet Connection (2) I219-V [8086:15b8]
复制代码
快速回复 返回列表 搜索 官方QQ群
懒人地图| 手机版|小黑屋| 智能生活 , 上那是云 |闽ICP备2020018196号-1 |网站地图