抽

“梁博，你能不能介绍下蒸馏，经常听到这个概念，蒸馏和你刚刚说的偷师是不是一个意思？”蒸馏一般都是参数规模远远小于原模型的，比如原来的模型在大量显卡，多台服务器跑的，蒸馏出来的模型可以在移动设备上跑，参数规模不是一个量级。其次蒸馏一般面向特定任务，不会什么都精通，比如在手机端运行的，或者车机上运行的（非联网情况）只能完成特定的任务，或者特定领域。我刚刚说的偷师是特指增强学习范畴，主要是用来做大模型的，提高大模型能力的。蒸馏的过程一般是这样的，其实也是一种偷师，拿大量的提问去问大模型，得到大量提问回答对，然后用小模型回答同样的问题，得到的结果和大模型的结果“求差”，这个差值用一个损失函数来表达，然后用来调整小模型的参数来缩小这个损失。最终用很少参数规模的小模型达到大模型一样的能力。也就是说的模型压缩，大模型压缩到小模型，提高推理的速度，降低成本。

但凡能借给我1亿，马上就不一样了，可惜我都有这个勇气贷，只是银行没有这个勇气借。。。风投是肯定指望不上了，毛病太多了，动不动就投给你以后，第二年能怎么样，第三年能怎么怎么样。都想投瑞幸咖啡那种，快速起盘的项目。。银行嘛虽然一副可怜相，天天打电话求我们贷款，给的额度都少的可怜，根本解决不了问题，对一些个体户，或者小公司可能还好，对我们这种准“大厂”基本不友好，让人失望。政府领导出面打招呼也不好使，现在银行电话我基本都直接挂。。创业真不能指望风投，也不能指望银行，如果父母也是普通人，真只能指望自己，不能偷不能抢，搞量化就没问题，炒股炒X就一堆人指指戳戳。。再苦再难也要坚持下去，毕竟马学第一要义就是不要抱怨，别人不帮忙是正常的，困难是正常的，不困难就轮不到自己了。。同志们啊。

总之就是不贷给我们民企，抵押房产也只能给60%额度。。//@八大山债人:纯民企发了多少？。。。#债见# 。。。

去老婆家过年，普普通通的农民家庭，四层小别墅，一层吃饭，二层打牌，三层打乒乓，不亦乐乎，唯一不足之处是软装差了点，艺术性缺乏了点，农村软装市场前途挺大的 ​​​

维护费也不低，还是要大力发展房地产，才能有钱。//@凯喜博士DrCash://@樊建川://@屈畅ccxx:转发微博

假如，我说假如啊，有公司如果提供这种协助“偷师”业务，比如注册大量OpenAI账号，大量提交问题和回答对，让大模型来评价，用于辅助调优，会不会有什么风险？

我认为计算数据方面的工作核心价值，还是要提升数据对模型参数修正的价值。。 也就是需要高水平的“答案”和“评价”。 高水平答案可以通过一些启发式的猜测，比如互动数高，引用数高等来获得。也可以通过人工和机器标注。 前两个是我厂之前的主要工作重心。。现在大量引用了增强学习，需要有对结果评价的能力，从而获得模型输出和最佳评价结果的“误差”，给大模型提供提高的机会。 我想这个阶段我厂目前没有参与，我猜“可能”需要“偷师”现有其他大模型，比如训练过程中，模型同时给出三个结果，让其他大模型来打分，最终选择最好的，从而依靠其他大模型的能力来提高自己。我认为这个阶段“可能”大家都在用，最终大家结果都差不多，正常的。。不过，越是领先的大模型，通过卖血被动挣“同行”的钱就越多，但是不长久，同行水平很快就提高了，又不能完全避免，这就导致一个现实问题：很多大厂提供的API接口的数据和用户在app或者web方式看到的不一样，这几家不一样的，我不点名，大概率他们就偷师别人的，同时又避免自己被偷师。

怎么还保守起来了呢？现在不考虑全人类的利益，而只考虑美国zf和自身的利益了？//@古月中心相心:好好捂着//@fishermen://@海老六代目:他先给公司改名叫closeAI吧

主要看怎么制裁，厂职工这会要抓紧把在美帝的财产转移回来，或者转移到安全的地方；厂长近期最好不要随便出国，特别是美国和其仆从国；做到这两点应该差不多了。