DQ77KB经典小板简洁部署ESXI+LEDE+DSM+Windows10

原贴地址:https://koolshare.cn/thread-160574-1-1.html

 

 

起因:
1,电视机自带的播放器虽然播放效果很好,在HDR点亮时很震撼,结合群晖的VIDEO STATION也算是操作方便,但是他不支持原盘,不支持特效字幕,每次看电影都要手动转一次SRT,有些带格式的,转换还很麻烦,故一直想弄个HEVC的独显机器作为视频播放专机。
7X24小时开机,这样老人小孩开电视就是桌面,使用付费版的优酷或爱奇异,看看动画片电视剧很方便。

2,梅林AC1900P下的酸酸乳性能不够,foxmail收发Gmail经常性失败。而且我赚饭票的工具,有很大一部分都要用到外网。早就听说软路由很强劲,所以一直想试试软路由。虽然原来啥软路由都没用过。


3,下载原来用群晖,但是那么多硬盘7x24工作有点累,且费电。后来用一个淘汰的笔记本T410s作为下载专机,装win版的transmission。效果还可以,但算上适配器的效率,总功耗也有20W+。


4,完全干净的的群晖。原来用群晖,活动的后台任务有两个,一个是下载,一个是docker下的Jriver服务器。这两个服务会阻止群晖休眠,但是这两个服务又必须用。费电,5盘运行,正常情况都是60W了


所以就有了弄个虚拟机的想法。
选中DQ77,是因为这个小板子五脏俱全,扩展性超强。关键,板砖电源效率高,可靠啊!

入正题:

1,三大件:(不足千元)
DQ77kb,385元
i5-3570s,280元,(本来有库存1610,但不支持VTD,不支持Vpro)
8GBx2,360元(原来的库存)

2,附件:
全新1050ti ,没花钱                      (这个主要是为了支持hevc的4k 10bit HDR接电视机)
转接卡,某宝,ADT 4X pcie转接线,80元。
ASM1062 ,SATA转接卡,75元X2
薄散热器,50元
铝机箱,免费。

====================================================


先上图说梗概吧,大家有疑问可以讨论。

中间的坑太多,花了挺多时间。

DQ77kb主板,2个ASM1062的miniPCIE的半高的双口SATA

3,配置规划:

软件框架:

内部5个SATA存储盘,USB外接3个8T的USB硬盘

用的这个SATA扩展卡:ASM1062,这玩意很成熟了,很多主板上都是这个芯片,扩展SATA,速度上也没啥瓶颈。

WEB界面ESXI资源监视器
、、

3个虚拟机运行中

windows虚拟机的配置、

LEDE运行界面

lede配置网口要注意顺序,
eth0是连在第一个虚拟交换机
eth1连的第二个虚拟交换机

在LEDE内部,我将eth0分配给wan,eth1分配给lan
第二虚拟交换机的状态如下:

群晖直通硬盘,没有使用任何虚拟硬盘,
采用USB启动,完全物理机运行的模式,拔掉ESXI的系统硬盘的话,群晖可以直接在物理机直接启动,跟虚拟机下状态完全相同。

可读取硬盘smart信息,可休眠。

插上BK650的USB通讯线,分配给群晖,

群晖正常识别,然后将群晖当做UPS服务器

分别连接win10和ESXI

ESXI也联通了UPS

整机轻载功耗45W:(群晖硬盘休眠状态)

而且LEDE的硬盘也支持休眠(设置10分钟无活动链接后)


意外收获,这次折腾,轻松搞定了IPV6

ipv6.png (76.78 KB, 下载次数: 0)

下载附件

2019-5-9 02:27 上传

这个ping值,难道不应该感动一下?

win直通显卡也成功,非常稳定,虽工作在4X,实际损耗应该在5%以内.

因为中间的坑实在太多,感觉写下来提醒大家,
遂简单写了个教程,要点基本都记下了,

但是要做到对新手的傻瓜效果可能还是有点难度。

结语:
==========================================================
45W功耗的三合一机器,已经稳定运行两周。
所有任务均重负荷测试通过。

其中,使用madvr设高品质播放时,整机功耗可到170W左右。(使用230W的DELL外星人板砖电源)

折腾告一段落,截至目前,可认为该项目成功。

 

========================================================================

直观感受:
1,ESXI运行效率很高,只要部署得当,采用低功耗运行模式(BIOS要设置C3),整个系统的功耗可以做的更低
2,LEDE能力很强,内网妥妥的持续112MB/S,外网300M下载满速稳定。
3,尤其S梯子S运行稳定的让人想哭,比起梅林下的效果强100倍,我也不知道为啥
4,弄好了需要及时备份,做快照。没事不要折腾,就当工具用。有时容易折腾出问题。

 

1,制作ESXI6.5UPDATE1的安装U盘,这个要注意替换

ESXI的安装盘(启动U盘)的制作

1,用UltroISO打开esxi 6.5的iso镜像文件,用创建硬盘镜像方式写到U盘;

2,在“写入硬盘镜像”窗口,点“便捷启动”,选“写入新驱动器引导扇区”,选择“syslinux”,这样就更新了U盘首扇区;

3,把U盘上 isolinux.cfg文件改名为syslinux.cfg

测试U盘启动并安装通过,没有第2、3步不行。网上有人说只需第一步,我测试启动错误。

2,插入U盘,开机界面选择U盘启动,ESXI正常安装即可,下一步下一步。。。。按照屏幕提示完成,这个简单。直到提示你拔掉U盘,重启。
祝贺,你装好了ESXI。

建议:
1,安装的时候,最好是拔掉82574口的那根网线,只连接82579那根,方便以后在LAN口使用AMT管理功能。
2,安装ESXI时不要连接其他的硬盘,只挂一个宿主机的SSD。
3,装好后重启,先进bios确认下启动顺序是否正确。
4,安装成功后注意及时关闭bios的USB启动项。(在BOOT标签内)

esxi6.5只能使用web管理,我在Chrome下运行完全正常,没有遇到很多帖子里说的web管理不正常的地方
可放心使用。
不用怀念vspere client

在部署虚拟机之前,需要做点准备,咱们先把网络关节打通。
ESXI安装好以后,系统自动就会给你配置一个虚拟交换机,等于有了一个虚拟的子网。
我们在此基础上,还要添加另一个虚拟交换机,一个端口组。
新建的这个,是为了连接主板上的另外那个千兆网口,用于WAN的连接。
按照如下配置

先添加一个虚拟交换机:
要点:
1,注意选中另外一张物理网卡。
我这个里面的序号有点点乱了,你不要被误导。
DQ77有2个网口,AMT口和82579公用物理接口,另外一个单独的是82579.

我在安装esxi时,插的网线在82574上,这样后来就一直使用82574作为宿主机的web管理接口了。后来为了使用Amt远程开关机,在esxi里面强行将82579改回来的。所以我前面建议安装Esxi时只插82579的网线就是这个原因。

2,注意安全选项里面,三相都选中“接受”
如下图

添加端口组,这个比较简单,选中对应的物理网卡。
安全这里,选择接受,或者你选从vswitch继承也行。



这是另一个交换机,用来连LAN口的这些机器




这是我的直通部分界面

3,配置虚拟机安装LEDE

网络部分搞定,就可以装LEDE了。虽然我以前没玩过软路由,还好图形界面的操作不算难。
RDM直通4T的2.5硬盘,挂载为sdb1,作为transmission的PT下载专用盘,并将下载文件夹共享给局域网。


LEDE我使用论坛下载区的2.3版本,直接虚拟机部署。
装好后,RDM直通一块硬盘给LEDE就行了,然后在LEDE里面挂载即可。

下面是LEDE的配置情况,很简单:

要点:
1,网卡的先后顺序,直接关系到哪个接LAN,哪个接WAN,所以你自己心里一定要清楚。
2,LEDE默认启动后LAN口IP是192.168.1.1,若你PC原来不在192.168.1.X网段,注意把PC的IP地址临时改一下,才可进去LEDE后台web。访问密码koolshare。进去后,修改一下lede的LAN口的IP.待lede重启后再把PC的改回来就行了。比如,下图中的192.168.2.2;

3,原本认为WAN的那个网口直通就行了,试验了后发现直通后能工作,但是CPU占用一直居高不下,查esxi后台情况(ssh下输入esxtop命令)得知,这个直通的口一直在向上层要dhcp地址。遂改回虚拟交换机,得以恢复。

LAN口,WAN口的分配,可按照如下配置

WAN口配置那里,填上你的PPPOE账号密码,重启就可以上网了。

在重启lede之前,请进入到左侧导航栏的 系统--启动项,关闭下面这两个服务的自启动。

正常运行后:

拨号成功,IPV6顺利达成

然后,填入花生壳,(左侧导航栏,服务-动态DNS)开启端口转发(左侧导航栏,网络-防火墙-端口转发),群晖5000,transmission的9091,
这就可以愉快的玩耍了。

4,配置虚拟机安装DSM,直通主板的硬盘控制器,直通一个ASM1062控制器。分配USB外接设备给DSM。这个其实是最简单的,只要你直通了硬盘控制器。

配置虚拟机如下:

要点:
1,先用这台机器(去掉装ESXI的硬盘,只安装群晖的硬盘),用物理机的方式配置好群晖:做好启动U盘,给群晖装好系统。这个物理机装群晖的教程有几万个了,摆渡下,大家都会,不多讲。
2,虚拟机配置中,务必要选择UEFI启动,直通你的群晖USB启动U盘给DSM虚拟机。
3, 群晖开机,启动瞬间的界面,狂按方向键向下选择第3项,也就是虚拟机ESXI环境那个选项.
进去后就是跟你物理机的群晖完全一样一样的。
4,这时因为你已经插了很多硬盘和USB了,在物理机开机时务必第一时间先进去BIOS,确认启动顺序。保证安装ESXI的SSD在第1位,并关闭所有USB启动项。否则,嘿嘿,你懂的,会进物理机群晖哦。。。。





SMART信息都读出来了,目标达成。

5,配置win10虚拟机,直通显卡,直通USB
配置如下。

先创建个50-80G的虚拟硬盘,(放在ESXI的这个SSD母盘就行)
在微软官网下载一个win10的最新ISO镜像,把它载入到虚拟机,挂上光驱,开机,跟物理机一样安装win10。
装好后配置下远程桌面就行了。以后就可以直接进远程桌面,这样很方便,不需要VM tools也行。

要点:
1,关于DQ77kb的USB控制器:

配置PCI设备直通,选上USBenhanced host controller #2
这个对应于主板上独立的那个4针的USB2.0口(靠近输入电源插座的位置)
主板前方,2组的双USB2.0接口,均对应的是USB enhanced host controller #1
直通后,接鼠标,U盘这些,即可在win10下面直通。跟物理机一样的效果。
 
 
2,显卡:直通N卡是稍显麻烦的,需要按照下面的方式操作:
目前家里的ESXi服务器集成了路由器,写代码,囤东西,下东西,测试之类的作用.就差个玩游戏就完美了. 所以我就看上了Intel Direct I/O技术. 可以将PCIE上的设备直接映射至虚拟机内从而降低性能的损耗.
不过在ESXi兼容列表内的NVIDIA显卡只有Quadro系列卡,而且卖的死贵死贵. 所以我固然就尝试了在外网寻找如何使用Direct I/O将GeForce系列显卡映射至虚拟机内.
如果在国内搜索相关N卡在ESXi内的相关信息, 只会说明到需要在该虚拟机.VMX配置文件中添加一行:

 

我机器里的文件位置:(开启SSH,使用winscp登录进去来操作)
/vmfs/volumes/5cb189c1-XXXXXXXXXXXXXXX/Win10

 

hypervisor.cpuid.v0 = "FALSE"

 

经过尝试后证实只做这一步是不行的,在Windows系统能可以看到的确显卡驱动已经正常加载了没有43错误, 但是等一有负载显卡驱动就会立即退出.
由于这个问题我在网上寻找了几天,最终在一个Reddit一个有关于AMD+NVIDIA平台直通教程内发现了关键的一步:
在ESXi主机/etc/vmware/passthru.map文件内根据PCIE ID添加以下行:

 

10de 1c82 d3d0 false

 

其中10de是PCIE设备的供应商ID. [size=13.3333px]d3d0是PCIE设备的设备ID.
(这个在BIOS下可以找到相关信息,也可以在windows的设备管理器中找到)
当添加完毕之后重启ESXi主机后,直通后的显卡就应该可以工作了.
已测试平台:
CPU: i5-3570s
主板: INTEL-DQ77KB
显卡: GTX1050ti
驱动版本: NVIDA官网最新下载
操作系统:Windows 10
ESXi版本:6.5.0 Update 1 (Build 7388607)

 

 
直通成功了,win虚拟机开机后,电视机上就有win画面了.
[size=14.6667px]安装最新的官网驱动,停用虚拟机自带的那个显示器,并设置只在显示器2上显示。
开启10Bit。HDR可不开。让madvr来管理。
 
ok,enjoy 4K HDR.
 

虚拟机下有9万多分,够了。
我百度搜了下物理机的1050ti娱乐大师评分,一般也就是9万出头

6,配置虚拟机按序自动延时启动
将DSM作为ups服务器,链接ESXI宿主机和win虚拟机,停电后各个子系统及宿主可按顺序自行关机ESXI教程链接
https://www.wonote.com/studies/esxi-ups-auto-shutdown.html

Win下的:
https://www.punygear.com/2018/11/24/synology%E7%BE%A4%E6%99%96%E4%B8%8Ewindows%E6%9C%8D%E5%8A%A1%E5%99%A8%E5%85%B1%E4%BA%AB%E5%AE%B6%E5%BA%ADups%E6%9C%8D%E5%8A%A1%E5%99%A8%E8%A7%A3%E5%86%B3%E6%96%B9%E6%A1%88/

上面的这些教程都写的很详细,认真看就没问题了。

关于自动启动虚拟机,此处有坑,遂把教程转载贴出来:
有小波澜,请看完。
实际有效内容为下面标红的那句话
[size=14.6667px]

[size=14.6667px]

1、选中虚拟机,
2、点击右侧“属性”——>勾选“允许虚拟机与系统一起启动和停止”
3、选择一个虚拟机,然后“上移”到"自动启动"队列中
4、选定的虚拟机状态已启用,其余虚拟机状态仍为禁用。可以从启动宿主机看看效果!
(注意:一定要在VM处于关闭状态下设置,否则是无效的!)
参考链接:htt去p://blog.s掉ina.co中m.cn/s/blog_538439270101r4g0.ht文ml
本以为这么简单的一设置就好了,重启之后发现虚拟机还是关闭电源状态,这就有点气了(⊙_⊙) exo me?
难道是因为用6.0版本的VMware vSphere Client操作ESXI 6.5的问题?接着我又在ESXi Web Client上找到了自动启动选项,那我就在这上面再重新操作一遍试试吧。
1. 导航器——管理——系统——自动启动——编辑设置 修改自动启动状态已启用是
2. 导航器——虚拟机 勾选虚拟机 右键——自动启动——提高优先级
(─.─|||这下应该可以了吧,重启~
经常漫长的几分钟开机,再通过Web Client进入ESXi,看到状态的那一刻我是懵逼的(好气啊!!!
什么鬼,已关闭的电源。 肯定就是开机启动没生效的问题。
解决方案如下:(取消注册虚拟机,再重新注册)
1. 开启SSH
启用自动启动:/bin/vim-cmd -U roothostsvc/autostartmanager/enable_autostart 1
获取启动顺序:/bin/vim-cmd -U roothostsvc/autostartmanager/get_autostartseq
startAction为空????别着急,按步骤来可以解决
2. 取消注册虚拟机
3. 注册现有虚拟机
4.提高优先级
勾选虚拟机——右键——自动启动——提高优先级
5. 再重新查看自动启动顺序
获取启动顺序:/bin/vim-cmd -U roothostsvc/autostartmanager/get_autostartseq
此时startAction为powerOn了,大功告成~
重启生效 ╰( ̄▽ ̄)╮虚拟机开机延迟60秒后自动启动

 

点赞

发表评论