MobileSideBar

SEARCH

MENU

  • 打赏
  • 公式
  • 天象
  • 链接
  • 时光
  • 博览
  • 归档

CATEGORIES

  • 千奇百怪
  • 天文探索
  • 数学研究
  • 物理化学
  • 信息时代
  • 生物自然
  • 图片摄影
  • 问题百科
  • 生活/情感
  • 资源共享

NEWPOSTS

  • msign算子的Newton-Sc...
  • Transformer升级之路:2...
  • 一道概率不等式:盯着它到显然成立为止!
  • SVD的导数
  • 智能家居之手搓一套能接入米家的零冷水装置
  • Transformer升级之路:1...
  • 矩阵的有效秩(Effective ...
  • 通过梯度近似寻找Normaliza...
  • MoE环游记:4、难处应当多投入
  • 高阶muP:更简明但更高明的谱条件缩放

COMMENTS

  • @ZhangRuichong: 我之前优化过更稳定的系数 4.01 -9.22 5.80 3....
  • StarNight: 收到了,万分感谢!
  • Dongraemon: 基于Reflow的一致性训练
  • rpsun: 之前有在神经网络里塞过类似的东西,当时只是把左右场设出来,然后...
  • kingdeewang: [comment=27575]苏剑林[/comment] 就是...
  • 苏剑林: 这里边有数值稳定性的问题,如果你去到边缘附近,那么就很容易由于...
  • yxlllc: 其实初值这里还有进一步改良的空间。注意到上面画的图都是横坐标在...
  • 苏剑林: Q RoPE共享,除了节省一点参数量外没有实质价值。
  • 苏剑林: 比如一个100维的向量,先乘以100*10的矩阵,再乘以10*...
  • 苏剑林: 但MHA增加heads就会增加kv cache,MLA不会。

USERLOGIN

  • 登录
科学空间|Scientific Spaces
  • 登录
  • 打赏
  • 公式
  • 天象
  • 链接
  • 时光
  • 博览
  • 归档
渴望成为一个小飞侠

  • 欢迎订阅

  • 个性邮箱

  • 天象信息

  • 观测ISS

  • LaTeX

  • 关于博主

欢迎访问“科学空间”,这里将与您共同探讨自然科学,回味人生百态;也期待大家的分享~

  • 千奇百怪Everything
  • 天文探索Astronomy
  • 数学研究Mathematics
  • 物理化学Phy-chem
  • 信息时代Big-Data
  • 生物自然Biology
  • 图片摄影Photograph
  • 问题百科Questions
  • 生活/情感Life-Feeling
  • 资源共享Resources
  • 千奇百怪
  • 天文探索
  • 数学研究
  • 物理化学
  • 信息时代
  • 生物自然
  • 图片摄影
  • 问题百科
  • 生活/情感
  • 资源共享

链接

  • Cool Papers
  • 数学研发
  • Seatop
  • Xiaoxia
  • 积分表-网络版
  • 丝路博傲
  • ph4ntasy 饭特稀
  • 数学之家
  • 有趣天文奇观
  • TwistedW
  • godweiyang
  • AI柠檬
  • 王登科-DK博客
  • ESON
  • 枫之羽
  • Mathor's blog
  • coding-zuo
  • 博科园
  • 孔皮皮的博客
  • 运鹏的博客
  • jiming.site
  • OmegaXYZ
  • Blog by Eacls
  • EAI猩球
  • 文举的博客
  • 用代码打点酱油
  • 申请链接

科学空间

微信打赏

科学空间

支付宝打赏

因为网站后台对打赏并无记录,因此欢迎在打赏时候备注留言。
你还可以点击这里或在下方评论区留言来告知你的建议或需求。

你也许还对下面的内容感兴趣

  • 通用爬虫探索(二):落实到论坛爬取上
  • 厨房,菜市场,其实都是武林
  • 获取并处理中文维基百科语料
  • 2012年全年天象大观
  • 【NASA每日一图】黎明天空中的奋进号太空梭
  • 2012诺贝尔奖...
  • 数学基本技艺(A Mathematical Trivium)
  • 科学空间“微信群|聊天机器人”上线测试
  • 【NASA每日一图】星系的扭曲和断裂
  • 【备忘】访问Google的方法(更新)
发表你的看法
    1. «
    2. 1
    3. 2
    4. 3
    5. 4
    6. 5
    7. 6
    8. »
左玉晖

May 15th, 2021

苏神您好,您的文章总是让我鹈鹕灌顶,通过您的文章不仅学到了知识,还学到了对待问题的态度和思考方式。希望可以和您交换友链:http://coding-zuo.github.io/

回复评论
苏剑林 发表于 May 17th, 2021

谢谢,已加。

回复评论
AI柠檬博主

May 23rd, 2021

苏神你好,我是AI柠檬,我的博客域名从ailemon.me切换到ailemon.net啦,友链这里也请有空更新一下啦~
链接:https://blog.ailemon.net/

回复评论
苏剑林 发表于 May 24th, 2021

好的,已经同步。

回复评论
博科园

May 25th, 2021

苏老师您好:我们博科园网站是一个广泛领域的科学知识园地,专注于科学、科技、科研、科普方向的科学知识传播与普及,促进大众人群各学科领域的兴趣发展和教育,追逐大美宇宙科学,分享提供各学科领域的科学知识、科技资讯、科研成果、百科知识、反伪破迷、科普辟谣的知识内容等。希望可以与您【交换友链:https://www.bokeyuan.net】共同学习,助力科学传播,谢谢

回复评论
博科园 发表于 May 25th, 2021

补充一下:是与科学空间 spaces.ac.cn 这个域名交换,谢谢♪(^∇^*)

回复评论
博科园 发表于 May 25th, 2021

我们链接的是 spaces.ac.cn 这个域名

回复评论
苏剑林 发表于 May 25th, 2021

已加~

回复评论
博科园 发表于 May 25th, 2021

谢谢

回复评论
宇宙探索

November 3rd, 2021

苏:
您好!我有一小站想申请友情链接。小站已加入链接。
域名:https://www.yztsw.cn
本站主要内容是:
使众多富有传奇色彩的历史谜题掀开其神秘面纱,给人们一窥真相的阅读快感。在这种严肃而充满趣味的探索中,不但披露了大量鲜为人知的细节,再现了历史的丰富与变幻,同时让读者从中获得思考与发现的乐趣。

回复评论
孔西皮

January 24th, 2023

苏神您好,在您的博客学到很多非常感谢!我已经加了您的友链,下面是我的博客,创立了 3 年目前已稳定运行,主要是计算机视觉和其他技术文章,不知能否与您交换友链

名称:孔皮皮的博客
链接:https://www.kppkkp.top/

回复评论
苏剑林 发表于 January 30th, 2023

感谢,已加~

回复评论
张朝明

May 22nd, 2023

您的专业能力让我十分倾佩,我们团队也有两个可以和您的能力相匹配的人,我想把大家聚在一起聊聊 希望你能给机会了解我们。

回复评论
KuoCh'ing Chang

September 11th, 2023

苏老师,你好,一直在看你的文章。
我现在在日本的京都大学研究生在读,有的时候也会在自己的博客上写一些文章,希望能够分享给大家,并获得更多的意见。

回复评论
苏剑林 发表于 September 14th, 2023

幸会~

回复评论
Jiming Zheng

October 23rd, 2023

苏老师您好!您的文章十分透彻深刻,我在您的博客学到很多。我目前在美国读博,从事和非平衡热力学有关的研究。我有一个个人博客,希望能与您交换友链。

回复评论
Jiming Zheng 发表于 October 23rd, 2023

jiming.site

回复评论
苏剑林 发表于 November 1st, 2023

已添加,谢谢。

回复评论
Yi Xu

December 6th, 2023

苏老师您好,您的Transformer升级之路给了我很多启发和思考。希望可以和您交换友链,站点已运行5年主要记录一些阅读笔记和程序代码。

回复评论
苏剑林 发表于 December 8th, 2023

已加

回复评论
时格

March 4th, 2024

剑林老师您好,我从您博客中学到了很多深度的内容,对我很有启发。想和您交换友链,https://www.eacls.top/ 时格,已经稳定运营 3 年+,主要记录一些思考想法方面的内容,谢谢。

回复评论
苏剑林 发表于 March 7th, 2024

已加

回复评论
    1. «
    2. 1
    3. 2
    4. 3
    5. 4
    6. 5
    7. 6
    8. »
取消回复

1. 可以使用LaTeX代码,点击“预览效果”可查看效果;
2. 可以通过点击评论楼层编号来引用该楼层;
3. 网站可能会有点卡,如非确认评论失败,请不要重复点击提交。

关于站长

科学空间logo
苏剑林|BoJone,科学空间博主,【数学、天文、理论物理、写作、阅读、计算机、中国象棋、厨房】爱好者(但不专业)......目前32岁,还在单调递增。希望能一直在此分享科学之美~
你也许会关心:
  • 科学空间|Scientific Spaces 介绍
  • 科学空间QQ交流群:67729435
  • 科学空间微信交流群:spaces_ac_cn
  • 常见问题集:《科学空间FAQ》
  • 智能搜索

    支持整句搜索!网站自动使用结巴分词进行分词,并结合ngrams排序算法给出合理的搜索结果。

    热门标签

      生成模型 attention 语言模型 模型 优化 网站 概率 梯度 转载 微分方程 天象 矩阵 深度学习 分析 积分 python 力学 无监督 优化器 几何 扩散 节日 生活 文本生成 数论

    随机文章

    • 重温SSM(四):有理生成函数的新视角
    • 不在家的国庆
    • 用ALBERT和ELECTRA之前,请确认你真的了解它们
    • 从马尔科夫过程到主方程(推导过程)
    • 大学,如水年华
    • 测试一个强悍的功能——ScienceWord
    • 从最大似然到EM算法:一致的理解方式
    • BN究竟起了什么作用?一个闭门造车的分析
    • 今天升级了Blog(欢迎大家来“顶”!)
    • 与首都机场的“难分难舍”

    最近评论

    • @ZhangRuichong: 我之前优化过更稳定的系数 4.01 -9.22 5.80 3.49 -6.38 3.23 3....
    • StarNight: 收到了,万分感谢!
    • Dongraemon: 基于Reflow的一致性训练
    • rpsun: 之前有在神经网络里塞过类似的东西,当时只是把左右场设出来,然后将各种约束用损失函数的形式进行约...
    • kingdeewang: [comment=27575]苏剑林[/comment] 就是公式4,从第三步推导到第四步。
    • 苏剑林: 这里边有数值稳定性的问题,如果你去到边缘附近,那么就很容易由于数值误差导致越界而训崩,为了这点...
    • yxlllc: 其实初值这里还有进一步改良的空间。注意到上面画的图都是横坐标在 0-1 区间。实际上往外画一点...
    • 苏剑林: Q RoPE共享,除了节省一点参数量外没有实质价值。
    • 苏剑林: 比如一个100维的向量,先乘以100*10的矩阵,再乘以10*100的矩阵,比直接乘以100*...
    • 苏剑林: 但MHA增加heads就会增加kv cache,MLA不会。

    友情链接

    • Cool Papers
    • 数学研发
    • Seatop
    • Xiaoxia
    • 积分表-网络版
    • 丝路博傲
    • ph4ntasy 饭特稀
    • 数学之家
    • 有趣天文奇观
    • TwistedW
    • godweiyang
    • AI柠檬
    • 王登科-DK博客
    • ESON
    • 枫之羽
    • Mathor's blog
    • coding-zuo
    • 博科园
    • 孔皮皮的博客
    • 运鹏的博客
    • jiming.site
    • OmegaXYZ
    • Blog by Eacls
    • EAI猩球
    • 文举的博客
    • 用代码打点酱油
    • 申请链接

    署名-非商业用途-保持一致 本站采用创作共用版权协议,要求署名、非商业用途和保持一致。转载本站内容必须也遵循“署名-非商业用途-保持一致”的创作共用协议。
    © 2009-2025 Scientific Spaces. All rights reserved. Theme by laogui. Powered by Typecho. 备案号: 粤ICP备09093259号-1/2。